Modelos de Avaliação de Processos
EQPS 2007
Tayanna Sotero
[email protected]
:: Agenda






Motivação
Conceitos Básicos
Modelos de Avaliação
Comparativo
Conclusão
Referências
14.11.07
2
:: Motivação
 Necessidade de Aumento da Qualidade no
desenvolvimento dos softwares/produtos;
 Modelos de Melhoria de Processo com foco
na melhoria;
 Avaliação dos processos para analisar se a
melhoria foi implantada;
14.11.07
[XAVIER, J.]
3
:: Conceitos Básicos
 Produto
Resultado de um processo
[ISO 9001:2000; CMMI; JURAN, J.M.,GRYNA, F.M.]
 Processo
Conjunto de atividades
interrelacionadas ou interativas que
transforma insumos (entradas) em
produtos (saídas). [SPÍNOLA, R., PESSOA M.]
14.11.07
4
:: Conceitos Básicos
 O que é um bom processo de
software?
Definido
Mantido
Documentado
Controlado
Treinado
Verificado
Praticado
Validado
Suportado
Medido
Habilitado a melhoria
14.11.07
[SPÍNOLA R., PESSOA M.]
5
:: Conceitos Básicos
 Modelo:
“Deciding what dishes to prepare when
planning a meal and knowing what
complements what, which ingredients
are in season and available, the taste
preferences of the guests, and so on
requires careful planning and a clear
understanding of the range of options.
Similarly, when working to improve
processes in an enterprise, many
tools and techniques are
available.”
14.11.07
[Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D., ]
6
:: Conceitos Básicos
 Auditoria:
 Uma auditoria é uma avaliação
independente de produtos de trabalho ou
processos para verificar sua conformidade
a padrões, procedimentos e
especificações baseados em critérios
objetivos. [IEEE 1028]
14.11.07
7
:: Conceitos Básicos
 Avaliação:
 Método formal e estruturado de examinar
a forma como projetos de software são
construídos e mantidos [Capers J.]
 Exame de um ou + processos, por uma
equipe de profissionais treinados que
utiliza um modelo de referência de
avaliação como base para determinar os
pontos fortes e fracos. [CMMI Product
Team, 2002]
14.11.07
8
:: Conceitos Básicos
 Premissas das auditorias:
 Imparcialidade
 Evitar conflitos de interesse na seleção;
 Não auditar as atividades exercidas por eles.
 Independência
 Não podem ter dependência de pessoas por
eles auditadas
14.11.07
9
:: Conceitos Básicos
 Resultados de avaliações
 Orientar decisões de melhoria;
 Planejar da estratégia de melhoria da
organização;
 Fornecer a conformidade ou gerar nível
de maturidade/capacidade;
 Reduzir riscos na aquisição,
desenvolvimento e monitoração de
desenvolvimento de produtos.
14.11.07
10
:: Conceitos Básicos
 Tipos de avaliação
 Primeira parte: realizada por elementos
da própria organização fornecedora de
software;
 Segunda parte: quando o cliente avalia o
fornecedor;
 Terceira parte: quando uma terceira
organização (independente) avalia o
fornecedor.
[ISO 9001:2000]
14.11.07
11
:: Conceitos Básicos
 Estratégias de avaliação
 Rigor X Relevância;
 Modelo X Problema;
 Intervenção X Gerenciamento diário.
[Nielsen&Pries-Heje, 2002]
14.11.07
12
After the dishes have been
prepared and the guests are
seated at the table, if you wait
too long to serve them you may
hear the question, "Where's the
beef?" Or, if the menu is
seafood you may of course
hear instead, "Where's the
shrimp?" In any case,
keeping diners waiting too
long can lead either to
impatience or boredom.
Similarly, when readers pick
up a book on process
appraisals, the authors
should not keep them
waiting too long to get to the
meat of the subject.
14.11.07
[Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D., ]13
:: SCAMPI
 Método Oficial do SEI para avaliar
organizações com modelos CMMI.
 Identifica as forças e fraquezas dos
processos revela riscos de
desenvolvimento/aquisição e
determina a capacidade e o nível de
maturidade.
14.11.07
14
:: SCAMPI - Origem
AFIRMAÇÃO


DESCOBERTA
AMBOS:
• Método de Benchmarking RIGOROSO
3 Tipos de source:
• Encontrar as evidências de que os
objetivos foram satisfeitos;
-Info de artefatos;
• Revisão de documentos;
-Entrevistas;
• Entrevistas.
14.11.07
Uso de
questionários para
coletar;
Entrevistas para
esclarecer os gaps
dos questionários.
-Tools;
Só que de diferentes formas e ênfases.
15
:: SCAMPI - Documentos
ARC
MDD
Guidance for Government
Source Selection and
Contract Process Monitoring
14.11.07
16
:: SCAMPI – ARC (v1.2/2006)
 Influenciado:
 CAF [CMM] – CMM Appraisal Framework
 EIA/IS Appraisal Method
 ISO/IEC 15504
14.11.07
17
:: SCAMPI – ARC (v1.2/2006)
 Princípios:
 Iniciar com um modelo de referência de
avaliação;
 Utilizar um processo de avaliação formalizado;
 Envolver a gerência sênior como sponsor;
 Focar a avaliação nos objetivos de negócio do
sponsor;
 Observar a confidencialidade e a distribuição de
informação;
 Utilizar a abordagem de avaliação colaborativa
 Foco no retorno das atividades e tomada de
decisão baseada nos resultados da avaliação.
14.11.07
18
:: SCAMPI – ARC (v1.2/2006)
 Responsabilidades
SPONSOR
 Verificar se o líder da avaliação tem a
devida experiência, conhecimento e skills;
 Garantir que as unidades da organização
estão dentro de avaliação;
 Garantir recursos para realização da
avaliação;
 Revisar e aprovar o input inicial da
avaliação.
14.11.07
19
:: SCAMPI – ARC (v1.2/2006)
 Responsabilidades
APPRAISAL
LEADER
 Garantir que a avaliação está sendo conduzida
de acordo com processo documentado;
 Confirmar o comprometimento do sponsor na
realização da avaliação;
 Garantir que os participantes então cientes do
propósito, escopo e abordagem da avaliação;
 Garantir que os participantes da avaliação tem a
devida experiência, conhecimento e skills;
 Confirmar que os outputs da avaliação foram
entregues ao sponsor.
14.11.07
20
:: SCAMPI – ARC (v1.2/2006)
ARC
14.11.07
21
:: SCAMPI
Comparativo entre as avaliações
Classe A
Classe B
Classe C
Classifica a organização
em um nível de
maturidade e/ou
capacidade
(Institucionalization)
Análise de alguns
projetos da
organização
(Development).
NC com ISO 15504
Análise de
documentos do
processo
(Approach)
ARC
FOCO
# Evidências
objetivas
Geração de
Pontuação
# Recursos
Tam. Time
Requisitos para
o avaliador
14.11.07
Lead Appraiser
Lead Appraiser ou
pessoa treinada e
experiente
Pessoa treinada e
experiente.
22
:: SCAMPI – MDD(v1.2/2006)
Planejar e
preparar para a
avaliação
Objetivos do
Sponsor
Escopo
Conduzir a
avaliação
Resultado
14.11.07
Relatar os
resultados
23
:: SCAMPI – MDD(v1.2/2006)
 Equipe:
OUC –
Organization Unit
Coordinator
Sponsor
Líder da
avaliação
Time de
avaliação
14.11.07
Participantes
selecionados
24
:: SCAMPI – MDD(v1.2/2006)
Características
Acuracidade
“Ratings”da avaliação refletem
verdadeiramente na maturidade/capacidade e
podem ser utilizados para comparação entre
organizações
Repetibilidade
“Ratings” tem que ser consistentes de forma
que se outra organização vier avaliar tem que
dar o mesmo resultado.
Efetividade de
Custo/Recursos
O método de avaliação é eficiente no
planejamento, preparação e execução da
avaliação.
Resultados significativos Os resultados devem ser utilizados para
tomada de decisão por parte do SPONSOR.
14.11.07
25
:: SCAMPI – MDD(v1.2/2006)
 Pressupostos e Princípios [SCAMPI A]
 Método de Benchmarking;
 Graduações (ratings) de objetivos são funções
do cumprimento de práticas (específicas e
genéricas);
 Evidência objetiva é usada para embasar a
implementação de determinada prática;
 Documentos;
 Entrevistas.
 Uso de indicadores de implementação da prática.
14.11.07
26
:: SCAMPI – MDD(v1.2/2006)
Artefatos diretos
Resultados diretos da
implementação da prática
genérica ou específica.
Produtos listados nas
práticas;
Documentos,
deliverables, materiais de
treinamento, etc.
Artefatos indiretos
Consequência do uso da
prática
Meeting minutes, review
results, status reports,
presentations, etc.
Performance measures
Afirmações
Afirmações Orais ou
escritas para confirmar a
implementação de uma
prática.
Interviews
Presentations,
demonstrations,
14.11.07
27
:: SCAMPI – MDD(v1.2/2006)
 Exemplo:
SG 1 Establish Estimates
[SCAMPI]
14.11.07
28
:: SCAMPI – MDD(v1.2/2006)
 Processo de transformação e
graduação.
[SCAMPI]
14.11.07
29
:: SCAMPI – MDD(v1.2/2006)
O objetivo é graduado satisfeito
quando:
• Todas as práticas são LI ou FI e
os pontos fracos associados não
tem impacto negativo com o
alcance do objetivo.
[SCAMPI]
14.11.07
30
:: SCAMPI – MDD(v1.2/2006)
MDD
14.11.07
31
:: MA-MPS (v1.1/2007)
[MPS.BR – Guia de Avaliação]
14.11.07
32
:: MA-MPS (v1.1/2007)
 O Método de Avaliação (MA-MPS) visa
verificar a maturidade da organização
na execução de seus processos de
software.
[MPS.BR – Guia de Avaliação]
14.11.07
33
:: MA-MPS (v1.1/2007)
 Fatores de sucesso de uma avaliação:






Comprometimento do sponsor;
Motivação;
Fornecimento de feedback;
Confidencialidade;
Percepção dos benefícios;
Credibilidade.
[MPS.BR – Guia de Avaliação]
14.11.07
34
:: MA-MPS (v1.1/2007)
 Resultados da execução:
 São obtidos dados e informações que
caracterizam os processos de software da
organização/unidade organizacional;
 É determinado o grau em que os
resultados esperados são alcançados e os
processos atingem o seu propósito;
 É atribuído um nível de maturidade do
MR-MPS à organização/unidade
organizacional.
[MPS.BR – Guia de Avaliação]
14.11.07
35
:: MA-MPS (v1.1/2007)
[MPS.BR – Guia de Avaliação]
14.11.07
36
:: MA-MPS (v1.1/2007)
[MPS.BR –
Guia de Avaliação]
14.11.07
37
:: MA-MPS (v1.1/2007)
14.11.07
[MPS.BR – Guia de Avaliação]
38
:: MA-MPS (v1.1/2007)
[MPS.BR – Guia de Avaliação]
14.11.07
39
:: MA-MPS (v1.1/2007)
Guia de Avaliação
14.11.07
40
:: Comparativo
Característica
MA-MPS
SCAMPI
Organização e Avaliador Líder
Organização e Avaliador Líder
3a8
4a9
Nível de Maturidade
Nível de Maturidade ou
capacidade
Cronograma
Responsável pela elaboração
do plano de avaliação
Coleta de informações
organizacionais
Seleção de participantes
Orientação aos participantes
Tamanho da equipe
Graduação com consenso da
equipe
Graduação
Apresentação dos resultados
pre-liminares
Levantamento dos pontos
fortes e fracos
14.11.07
[XAVIER, J.]
41
:: Conclusão
 Equipes de avaliação também seguem
processo, e SÃO AUDITADAS!
 Modelos de melhoria de processo
precisam de um auxílio extra
(Avaliação) para garantir a
conformidade da melhoria.
 Automatização do trabalho dos
auditores pode ser um fator que
reduzirá o custo (futuramente...)
14.11.07
42
:: Referências







Appraisal Requirements for CMMI, Version 1.1 (ARC, V1.1),
(CMU/SEI-2001-TR-034). Pittsburgh, Software Engineering Institute,
Carnegie Mellon University, December 2001.
CMMI for Development version 1.2, Pittsburgh, Software Engineering
Institute, Carnegie Mellon University, August 2006.
Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D.,
“CMMI® SCAMPI Distilled Appraisals for Process Improvement ”,
Addison Wesley Professional, 2005.
IEEE Std. 1028-1997, "IEEE Standard for Software Reviews“.
ISO 9001:2000, NBR/ISO 9000, 2000, “Sistema de Gestão da
Qualidade – Fundamentos e Vocabulário” Associação Brasileira de
Normas Técnicas, Rio de Janeiro, Brasil
JONES, Capers. How not to measure programming quality.
Computerworld : In Depth, Framingham, v. 20, n. 3, p. 73-82, jan.
1986.
JURAN, J.M.,GRYNA, F.M. Controle da qualidade handbook:
conceitos, políticas e filosofia da qualidade. São Paulo: Makron,
McGraw-Hill, 1991.V.I.
14.11.07
43
:: Referências
 MPS.BR – Guia de Avaliação, v1.1, Julho/2007, Softex.
 SPÍNOLA, R., PESSOA M., Gestão da Qualidade de Software e
a Gestão da Qualidade Total, CITS 2000.
 Standard CMMI Appraisal Method for Process Improvement
Version 1.1: Method Definition Document (CMU/SEI-2001-HB001). Pittsburgh, Software Engineering Institute, Carnegie
Mellon University, December 2001.
 Standard CMMI Appraisal Method for Process Improvement
(SCAMPI), Version 1.1: Method Implementation Guidance for
Government Source Selection and Contract Process Monitoring
(CMU/SEI-2002-HB-002). Pittsburgh, Software Engineering
Institute, Carnegie Mellon University, September 2002.
 XAVIER, J. , Proevaluator: uma ferramenta para avaliação de
processos de software, dissertação de mestrado do Cin –
UFPE, 2007.
14.11.07
44
:: Reflexão...
 “Somos o que repetidamente fazemos.
A excelência, portanto, não é um feito,
mas um hábito.”
Aristóteles.
14.11.07
45
:: Perguntas?
 Obrigada!
 Contato: Tayanna Sotero
[email protected]
14.11.07
46