O Método de Avaliação SCAMPI
Alexandre Vasconcelos
SCAMPI
1/47
Método de Avaliação SCAMPI


Um método de avaliação tem como objetivo determinar o
nível de aderência de um processo, ou conjunto de
processos, à um modelo de referência
Um dos produtos do projeto CMMI é o método de
avaliação SCAMPI – Standard CMMI Appraisal Method
for Process Improvement
SCAMPI
2/47
Método de Avaliação SCAMPI

Objetivos





SCAMPI
Coletar dados para entender os processos implementados
Determinar o nível de aderência de um processo, ou conjunto de
processos, nos projetos eleitos como representativos na
organização, às práticas do CMMI
Determinar o grau de satisfação das metas investigadas na
avaliação
Identificar pontos fortes e fracos do processo
Atribuir classificação (se requerido pelo patrocinador da
avaliação)
3/47
Método de Avaliação SCAMPI: Principais
Aspectos


Realizada colaborativamente por uma equipe liderada por
um Lead Appraiser autorizado pelo SEI
Seleção do escopo organizacional


Unidade organizacional previamente definida em comum acordo
com o contratante.
Verificação através de evidências objetivas

SCAMPI
Informações qualitativas ou quantitativas, registros, declaração de
fatos que caracterizam a implementação de elementos do
processo
4/47
Método de Avaliação SCAMPI: Principais
Aspectos

Implementação das práticas baseadas em Indicadores de Implementação
das Práticas
“PII-based process appraisal”
Tipos de indicadores
 Artefatos diretos, artefatos indiretos e afirmativas


Artefatos indiretos:
PP SP1.1-1
Atas de reuniões, Anotações do
desenvolvimento do WBS
Estabelecer um WBS (work breakdown structure) de
alto nível para o escopo do projeto
Artefatos diretos:
WBS, descrição de tarefas, descrição
dos pacotes do projeto
Informações:
SCAMPI
“Eu trabalhei na equipe de definição do WBS”, “Eu
utilizei o WBS como base para minhas atividades”
5/47
Método de Avaliação SCAMPI: Principais
Aspectos

“Corroboração” das informações


Artefatos diretos combinados com artefatos indiretos ou
informações obtidas em apresentações e entrevistas
Cobertura da avaliação


Evidências objetivas suficientes para a implementação de cada
prática
Evitar avaliações baseadas somente em papel, devem haver
afirmações declaradas (chamadas face-to-face F2F)
Pelo menos 50% das práticas de cada meta
SCAMPI
6/47
Método de Avaliação SCAMPI: Classes de
Avaliação
Características
Evidência objetiva
Geração de ratings
Uso de recursos
Tamanho da equipe
SCAMPI
Classe C
baixa
não
baixo
pequeno
 mínimo 1
Classe B
média
não
médio
médio
 mínimo 2
Classe A
alta
sim
alto
grande
 mínimo 4 e
máximo 9
7/47
Método de Avaliação SCAMPI: Atividades

Planejar e preparar a avaliação


Conduzir a avaliação


Média de tempo de três meses
Média de 6-8 dias
Reportar os resultados da avaliação



SCAMPI
Resultado preliminar
Resultado final
Ocorre imediatamente após a realização da avaliação
8/47
Método de Avaliação SCAMPI: Papéis em
uma Avaliação

Participantes da avaliação




Patrocinador da avaliação
Gerentes de projeto
Lideres de equipe
Membros da equipe de desenvolvimento
As pessoas a serem entrevistadas são selecionadas desde a fase do
planejamento
SCAMPI
9/47
Método de Avaliação SCAMPI: Papéis em
uma Avaliação

Equipe de avaliação




Média de 4 a 5 pessoas
Líder da avaliação – Possui a responsabilidade geral sobre a
avaliação
Membros da equipe - Se dividem em mini-equipes por área de
processo a ser avaliada
Outras Responsabilidades a serem atribuídas na equipe:
Coordenador – responsável pela logística da avaliação
Bibliotecário – responsável por toda documentação da avaliação
Controlador do tempo
Todos devem tomar nota de tudo durante o processo


SCAMPI
Equipe completa => REVISA TODO O TRABALHO
O resultado final de uma avaliação é consensual!!
10/47
Processo de Obtenção de Ratings
Ratings de nível de capacidade
e/ou maturidade
Ratings de satisfação dos objetivos (metas)
Caracterização da implementação das práticas (PIIs)
em nível de unidade organizacional
Caracterização da implementação das práticas (PIIs)
em nível das instanciações (projetos)
SCAMPI
11/47
Caracterização da Implementação
Nível de
Implementação da
Prática
FI (Fully Implemented)
LI (Largelly Implemented)
PI (Partially Implemented)
NI (Not Implemented)
SCAMPI
Caracterização
 O indicador direto está presente e julgado
adequado
 Existe pelo menos um indicador indireto e/ou
afirmação para confirmar a implementação
 Não foi notada nenhuma fraqueza substancial
 O indicador direto está presente e julgado
adequado
 Existe pelo menos um indicador indireto e/ou
afirmação para confirmar a implementação
 Foi notada uma ou mais fraquezas
 O indicador direto não está presente ou é julgado
inadequado
 Artefatos ou afirmações sugerem que alguns
aspectos da prática estão implementados
 Foi notada uma ou mais fraquezas
 Qualquer situação diferente das acima
12/47
Regras de Agregação em Nível de Processos
Caracterizações
Todas X
Todas LI ou FI
Existe alguma PI,
mas sem NI
Existe algum NI
SCAMPI
Resultado
Notas
X
LI
LI ou PI
Decidido pela
equipe
NI, PI ou LI Decidido pela
equipe
13/47
Exemplo de Diagnóstico
do Nivel de Maturidade
SCAMPI
14/47
Resultado do Diagnóstico do Setor XXX
SCAMPI
15/47
Objetivos


A finalidade do diagnóstico é prover visibilidade para a
gerência do setor XXX a respeito da aderência dos
processos e práticas da unidade ao nível 2 do CMMI;
Para atingir o objetivo proposto, se torna indispensável o
entendimento a respeito do status atual dos processos e
práticas quanto ao atendimento ao nível 2 do CMMI.
SCAMPI
16/47
Descrição dos Papéis na Avaliação
Papel
Descrição
Responsável
Responsabilidade
Patrocinador
Alta gerência
João Xyz
- Revisar e aprovar este plano
- Promover recursos necessários para avaliação
- Providenciar a sala e equipamentos conforme requisitos
colocados
da
Representante do setor avaliado, responsável
por facilitar a condução da avaliação
Fabio Abc
- Organizar a documentação dos projetos e dos processos e
torná-las disponíveis para consulta na sala de trabalho
- Fazer o intercâmbio de informações com os avaliadores,
assegurando que todos os aspectos aqui definidos estarão sendo
atendidos
- Obtenção das assinaturas dos envolvidos e patrocinadores no
documento de planejamento até a data prevista no cronograma.
Avaliador
Externa
Equipe
Avaliadores responsáveis por conduzir a
avaliação e apresentar resultados
Alexandre Vasconcelos
e ...
- Elaborar o plano da avaliação e submetê-lo à aprovação
- Conduzir a avaliação através de entrevistas e análise de
documentos
- Reportar resultados
Avaliador
Interna
Equipe
Avaliadores internos, representantes do setor
avaliado
Fabio Abc e ...
- Apoiar os Avaliadores Equipe Externa no entendimento dos
processos e práticas do setor
- Não divulgar os resultados dos avaliadores antes da
comunicação final.
Participantes das equipes de projetos de
desenvolvimento e manutenção
Maria, Martha, ...
- Comparecer com antecedência a hora marcada nas entrevistas
previstas, no local comunicado
- Fornecer todas as informações requisitadas pelos Avaliadores
Coordenador
Avaliação
Equipe avaliada
SCAMPI
17/47
Condução do Diagnóstico




Conduzido por: Alexandre Vasconcelos e ...
Data: de xx/yy/zz a xx/yy/zz
Local: XXX
Técnica:




Processo adaptado do método de avaliação oficial CMMI, com
menos rigor, tempo e envolvidos
Entrevistas a membros da equipe
Análise de documentos
Foram realizadas x sessões de entrevistas com um total
de y pessoas e algumas entrevistas informais
complementares.
SCAMPI
18/47
Escopo Avaliação

Escopo: Unidade de Sistemas


Tipos de Serviços Avaliados


Projetos XXX e YYY
Desenvolvimento de Sistemas e Manutenção
Escopo do Modelo

SCAMPI
Nível de maturidade 2 do CMMI, com exceção da Área de
Processo SAM - Gerência do Contrato do Fornecedor, por
entendermos como não aplicável
19/47
Riscos da Avaliação

A avaliação não foi realizada no nível de profundidade de
uma avaliação oficial



SCAMPI
Nem todas as subpráticas foram analisadas
Não houve corroboração das informações coletadas
Nem todos os documentos associados foram analisados
20/47
Critérios de Avaliação

Foi julgado para cada prática:

Definição de Processos: quanto a prática está documentada em relação a como
deve ser realizada






TD: Totalmente Definido
LD: Largamente Definido
PD: Parcialmente Definido
ND: Não Definido
NR: Não Definido
Institucionalização: quanto a prática está em uso na organização
 TI: Totalmente Implementado (os dois projetos atendem)
 LI: Largamente Implementado (um projeto atende, e o outro está quase)
 PI: Parcialmente Implementado (Os dois projetos atendem parcialmente / um dos projetos
atende e ou outro não)
 NI: Não Implementado (Nenhum dos projetos executou a prática / ou um dos projeto
executou parcialmente)
SCAMPI
21/47
Dados Organizacionais
SCAMPI
22/47
A Empresa (1) – Descrição

Objetivo da obtenção do CMMI-2



Missão/Negócio


Controle e Melhoria do processo de desenvolvimento
Marketing, vantagem competitiva no mercado, exportação de
software.
Usar a melhor solução tecnológica para satisfazer os clientes dos
clientes.
Tamanho

SCAMPI
X pessoas: y diretores, z pessoas administrativo-financeira, n
pessoas de suporte ao usuário e o restante como
desenvolvedores.
23/47
A Empresa (2) – Organograma
Diretoria
Geral
SQA
Conectividade
e Segurança
Consultoria
Organizacional
Unidade de
Sistemas
(USI)
Foco da certificação
Unidade
Administrativa/
Financeira
SCAMPI
24/47
A Empresa (3)
• Mapeamento dos papeis do CMMI nível 2 nos papéis da organização
Papel CMMI
Papel na Empresa
Gerência Sênior
Diretor geral
Gerente de Projetos
Outros diretores
SQA
Engenheiro de Qualidade
Gerente de Configuração
Acumulado pelo SQA. Gradativamente
passando para os projetos
SCAMPI
25/47
A Empresa (4)
• Ferramentas
Propósito
Ferramenta
GC
CVS, Ant + XML (geração de builds)
Controle de Mudanças
Helpdesk da Portais, Mantis
RM
Word, Access (tracking)
PP/PMC
MS Project, AllNetic Time Tracker
SCAMPI
26/47
Dados dos Projetos Avaliados
SCAMPI
27/47
Dados dos Projetos


A empresa atualmente possui um total de x projetos de
desenvolvimento / manutenção de software
Os x projetos foram avaliados, com o objetivo de se
conhecer as principais características dos projetos
desenvolvidos na empresa







SCAMPI
Tipo de cliente
Objetivos
Ciclo de vida
Identificar a atividade primária (desenvolvimento ou manutenção)
Tamanho da equipe
Cronograma
Aspectos de Sub-contratação
28/47
Dados de Projetos

Os projetos de evolução têm ciclos pequenos de
desenvolvimento (1 mês).

Projetos de curta duração < 1 ano utilizam o ciclo em
cascata.

Projeto mais longos utilizam o ciclo iterativo e
incremental.

Podem existir projetos com uma única pessoa.
SCAMPI
29/47
Projeto XXX

Cliente


YYY
Objetivo

SCAMPI
Abc...
30/47
Projeto XXX

Equipe do projeto


Modelo de ciclo de vida adotado


1 desenvolvedor em tempo integral; 1 gerente em tempo parcial.
cascata
Cronograma



SCAMPI
Inicio em xx/yy/zzzz
Atualmente o projeto encontra-se na etapa de Análise e Projeto
Situação atual: no prazo
31/47
Resultados da Avaliação
SCAMPI
32/47
Resultados – Práticas Genéricas
Gráfico Qualitativo de Aderência às Áreas de Processo
INSTITUCIONALIZAÇÃO PRÁTICAS GENÉRICAS
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
SCAMPI
REQM
PP
P MC
SAM
MA
P P QA
CM
PA
0
0
0
0
0
0
0
NI
0
0
0
0
0,2
0,1
0,1
PI
0,2
0
0
0
0,2
0,1
0,1
LI
0,4
0,2
0,2
0
0,2
0,2
0,4
TI
0,4
0,8
0,8
0
0,4
0,6
0,4
33/47
Resultados – Definição de Processos
Gráfico Qualitativo de Aderência às Áreas de Processo
DEFINIÇÃO DOS PROCESSOS
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
SCAMPI
REQM
PP
P MC
SAM
MA
P P QA
CM
NR
0%
0%
0%
0%
0%
0%
0%
ND
0%
0%
0%
0%
0%
0%
0%
PD
20%
0%
0%
0%
0%
0%
0%
LD
0%
0%
0%
0%
0%
50%
20%
TD
80%
100%
100%
0%
100%
50%
80%
34/47
Resultados – Institucionalização
Gráfico Qualitativo de Aderência às Áreas de Processo
INSTITUCIONALIZAÇÃO DAS PRÁTICAS ESPECÍFICAS
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
SCAMPI
REQM
PP
P MC
SAM
MA
P P QA
PA
0%
0%
0%
NI
20%
0%
0%
PI
40%
14%
LI
20%
14%
TI
20%
71%
CM
0%
0%
0%
0%
0%
13%
0%
43%
10%
0%
38%
0%
29%
40%
0%
13%
50%
14%
50%
0%
38%
50%
14%
35/47
Práticas Genéricas – Principais Aspectos
Pontos Fortes
Desvios Encontrados






Existe política definida para os processo
Os recursos necessários são
disponibilizados para a equipe
As responsabilidades estão bem definidas
pelo processo
 Os papéis na área de medição precisam
ser melhor definidos
Treinamentos nos processos foram
realizados
Os processos estão sendo avaliados pelo
SQA
 Com exceção do processo de MA, que
sofreu apenas uma auditoria
SCAMPI



Nem todos aparentam conhecer a política
dos processos
Nem todos os processos estão sendo
seguidos, em geral os processos não estão
sendo controlados nem por medições nem
por atividades planejadas X realizadas (a PA
de medição está tendo a institucionalização
iniciada)
O acompanhamento dos processos está
sendo feito de maneira informal e sob
demanda pela alta gerência
O grupo de SQA não está sendo avaliado
quanto a aderência
36/47
REQM – Principais Aspectos
Pontos Fortes
 Criação de protótipos para homologação dos


requisitos
definição de critérios de aceitação e de provedores
de requisitos
A aceitação dos requisitos está sendo realizada
através de um checklist
Desvios Encontrados



SCAMPI
Algumas reuniões não estão sendo
documentadas (comprometimento da equipe
interna);
O processo de gestão de mudanças ainda
não foi executado;
 Atenção: O conceito de mudança de
requisitos está com foco em mudanças
solicitadas pelo cliente (mudanças
levantadas internamente)
Um dos projetos não tem matriz de
rastreabilidade (análise de impacto
empírica);
37/47
PP – Principais Aspectos
Pontos Fortes
SCAMPI
Desvios Encontrados
38/47
PMC – Principais Aspectos
Pontos Fortes
SCAMPI
Desvios Encontrados
39/47
MA – Principais Aspectos
Pontos Fortes
SCAMPI
Desvios Encontrados
40/47
PPQA – Principais Aspectos
Pontos Fortes
SCAMPI
Desvios Encontrados
41/47
CM – Principais Aspectos
Pontos Fortes
SCAMPI
Desvios Encontrados
42/47
Observações Gerais
Informações não relacionadas com o CMMI
SCAMPI
43/47
Aspectos Gerais
 Pontos fortes



Existe um grupo de definição de processos atuante;
Existe um processo de testes definido;
A empresa tem certificação ISO9001 (cultura de qualidade).
 Observações


SCAMPI
O papel e a composição da gerência sênior precisa ser melhor trabalhado
internamente e o processo precisa ser ajustado
Não está claro para a equipe de desenvolvimento o papel de cada um
dos coordenadores
Necessidade de melhor conhecimento sobre o organograma da
empresa, papéis e responsabilidades de alguns cargos
44/47
Recomendações Gerais
SCAMPI
45/47
Recomendações Gerais



Recomendação 1: xxx.
Recomendação 2: yyy.
Recomendação 3: zzz.
SCAMPI
46/47