Avaliação de Processos
Mariano Montoni
COPPE/UFRJ
Programa de Engenharia de Sistemas e Computação
Sumário

Motivação para Avaliar Processos

Funções Principais de Avaliação de Processos

Métodos de Avaliação

Metodologia do SCAMPI
Motivação para Avaliar Processos

Mercados competitivos

Necessidade de melhorar continuamente os processos

Importante identificar pontos fracos e fortes dos
processos através da análise do negócio, gerência e
processos

Avaliações são instrumentos para mudanças
organizacionais
Motivação para Avaliar Processos

Avaliações focam na estrutura de trabalho
organizacional

Avaliações ajudam a transformar a organização de
forma funcional
Motivação para Avaliar Processos

Avaliações de processos são apenas ferramentas de
melhoria de processo

O modelo mais compacto e completo dos estágios de
melhoria de processo é o modelo IDEAL para melhoria
organizacional

O modelo IDEAL fornece um guia para a inicialização,
planejamento e implementação de atividades de um
programa de melhoria de processos
Modelo IDEAL
Funções Principais da Avaliação

Analisar como uma organização trabalha
 Avaliações representam a forma como as empresas
realmente trabalham
 Análise de uma avaliação depende de critérios
estabelecidos por um modelo de referência
“Se você não sabe onde se encontra,
um mapa não vai lhe ajudar.”
Watts Humphrey
Funções Principais da Avaliação

Motivar a organização em realizar mudanças positivas
 Avaliações estimulam culturas técnicas e
organizacionais a evoluir
 Avaliações requerem participação ampla para
distribuir e limitar exposições
 O foco das mudanças é nos processos e não nas
pessoas
Funções Principais da Avaliação

Transformar as organizações através de
procedimentos estabelecidos
 Avaliações treinam e habituam organizações a
fazerem auto-crítica de forma não-defensiva
 Avaliações mudam a perspectiva das pessoas
sobre seu ambiente de trabalho local e global
 O envolvimento da alta gerência no processo de
melhoria se perpetua após a avaliação
Funções Principais da Avaliação

Educar a organização através da exposição de boas
práticas da indústria
 Avaliações não apenas motivam empresas a
melhorar, mas também as ensina como melhorar
Métodos de Avaliação

CMM CBA IPI

ISO 9000-3

Bootstrap

SPICE (ISO 15504)

SCAMPI
CMM CBA IPI

Inicialmente existiam dois tipos de avaliações do CMM:
 SPA (Software Process Assesment)
 Utilizado por organizações para obter conhecimento
sobre sua própria capacidade de desenvolvimento de
software e para priorizar ações de melhoria de processo
 SCE (Software Capability Evalution)
 Utilizado em avaliações externas do processo de
software de uma organização

Método oficial de avaliação do CMM
 CBA IPI (CMM-Based Appraisals for Internal Process
Improvement)
CMM CBA IPI
Requisitos do CBA IPI
 Presença de um líder qualificado
 Constituição de uma equipe de avaliação
 Foco na organização como um todo
 Concentração em uma hierarquia de níveis de maturidade
 Importância de entrevistas pessoais
 Confidencialidade
 Corroboração de informações
 Identificação do nível de maturidade da organização
avaliada (ratings)
 Recomendações
 Apresentação de resultados
ISO 9000

Em 1987, a ISO consolidou os padrões de manufatura
para incluir entre outros um padrão para desenvolvimento
de software

Esse conjunto é formado de 5 padrões relacionados, que
combinados constituem um sistema de qualidade
 O padrão de software corresponde à ISO 9000-3

A idéia principal da ISO 9000-3 é que os ciclos de vida de
desenvolvimento de software devem ser documentados
cuidadosamente como processos de manufatura
ISO 9000

A certificação segundo a ISO 9000-3 não trata níveis de
maturidade nem incentivos para melhoria de processos

O foco é no controle de não-conformidades de produtos e
recomendação de ações corretivas e preventivas

A técnica de auditoria da ISO 9000-3 é chamada de TickIT
 Uma versão simplificada do SPA (Software Process
Assessment) do SEI
Bootstrap

Projeto ESPRIT concluído em 1993

A equipe do projeto era formada por empresas e institutos
de pesquisa da Áustria, Bélgica, Finlândia, Alemanha e
Itália

Aplicou o Modelo SEI à indústria européia de software
 Adotou e estendeu o questionário original do SEI com
questões baseadas na ISO 9000 e no modelo de
processo da European Space Agency
Bootstrap

Aumentar a aplicação da tecnologia de Engenharia de software na
indústria de software européia

Desenvolveram uma metodologia para acesso ao processo tendo
o modelo SEI como referência básica, com os seguintes objetivos:
 Determinar e apresentar um perfil analítico da qualidade de
“unidades produtoras de software” e seus projetos
A partir da análise, traçar um plano de ação para melhoria
a curto e longo prezo
 Transformar o plano de ação em uma série de mini projetos
para implementação das melhorias recomendadas
Bootstrap

Descreve como avaliar o processo

Determina o nível de maturidade de uma
organização

Identifica seus pontos fortes e fracos (capacidade)

Oferece diretrizes para melhoria (planos de ação)
Bootstrap

A metodologia tem três passos:
 Preparação: apresentação da metodologia para
a gerência e equipe técnica da organização
 Planejamento: seleção, com os representantes
da organização, das “unidades produtoras de
software” e dos projetos a serem avaliados
 Avaliação no local
Bootstrap
Questionário

As questões estão divididas em três grupos:
 Questões sobre a organização
 Questões sobre o processo e know-how em
Engenharia de Software
 Questões sobre tecnologia e sua transferência

As respostas são em cinco níveis: Ausente, Fraco,
Satisfatório, Extensivo, Não Aplicável
SPICE
1991 - Comitê de Engenharia de Software da ISO aprovou
a realização de estudos para analisar as necessidades de
um
padrão
para
avaliação
de
processo
de
desenvolvimento de software
 estudo apontou um consenso internacional sobre
necessidade de um padrão e a importância de se
implementar melhorias no processo de desenvolvimento
 1993 - foi criado o projeto SPICE (Software Process
Improvement and Capability dEtermination), um acordo
internacional de coordenação mundial: Austrália, EUA,
Inglaterra e Canadá
SPICE
Objetivo: produzir normas que orientem a avaliação de processo de
software visando melhoria contínua do processo e determinação
da capacitação
 baseou-se no que havia de melhor de modelos pré-existentes,
principalmente no CMM

SPICE provê uma estrutura para a avaliação de processos de
software. Esta estrutura pode ser usada por organizações
envolvidas em planejamento, gerenciamento, monitoramento,
controle e melhoria da aquisição, fornecimento, desenvolvimento,
operação, evolução e suporte de software.
SPICE
Abordagem

Entender o estado dos processos da organização para a
melhoria do processo

Determinar a adequação dos processos da organização a
um requisito particular ou classe de requisitos

Determinar a adequação dos processos de outra
organização para um contrato particular ou classe de
contratos
SPICE

Em 1998, SPICE foi convertido em um modelo e
partes de avaliação de processos da norma
ISO/IEC 15504
SCAMPI

O SCAMPI (Standard CMMI Appraisal Method for Process
Improvement ) foi desenvolvido para prover indicadores de
qualidade relativos ao CMMI (Capability Maturity Model
Integration)

Aplicável a vários modos de avaliações de processos
 Melhoria interna de processos
 Determinação externa de nível de capacidade

Atende aos requisitos de avaliações para o CMMI e apóiam
a realização de avaliações ISO/IEC 15504
SCAMPI
O objetivo do SCAMPI é:

Obter informação sobre a capacidade de engenharia de uma
organização através da identificação de pontos fracos e
fortes dos processos

Relacionar os pontos fracos e fortes com o modelo CMMI

Priorizar planos de melhoria

Focar em melhorias mais urgentes da organização

Derivar indicador do nível de capacidade e maturidade

Identificar riscos de desenvolvimento / aquisição relativos a
determinações de capacidade / maturidade
SCAMPI

O SCAMPI, por ser um método de avaliação de
benchmarking, depende de agregação de evidências
coletada através de instrumentos, apresentações,
documentos e entrevistas

A equipe de avaliação observa, ouve, e lê informação que é
transformada em:
 Notas
 Declarações de falhas na implementação de práticas
ou pontos fortes
– Achados preliminares
SCAMPI

Os achados preliminares são avaliados pela
unidade organizacional antes de se tornarem
achados finais

Essas transformações são aplicáveis a dados que
refletem os processos executados na unidade
organizacional e no CMMI, formando a base para
ratings e outros resultados da avaliação
 Planejamento da avaliação é essencial
Metodologia do SCAMPI
Consiste em três fases e 11 processos essenciais
 Fase 1: Planejar e Preparar para a Avaliação
 Fase 2: Conduzir a Avaliação
 Fase 3: Relatar Resultados
Processos do SCAMPI
1: Planejar e Preparar para a Avaliação
1.1 Analisar Requisitos
1.2 Desenvolver Plano da Avaliação
1.3 Selecionar e Preparar a Equipe
1.4 Obter e Analisar Evidências Objetivas Iniciais
1.5 Preparar para a Coleta de Evidências Objetivas
2: Conduzir a Avaliação
2.1 Examinar Evidências Objetivas
2.2 Verificar e Validar Evidências Objetivas
2.3 Documentar Evidências Objetivas
2.4 Gerar Resultados da Avaliação
3: Relatar Resultados
3.1 Entregar Resultados da Avaliação
3.2 Empacotar e Arquivar Ativos da Avaliação
Fase 1: Planejar e Preparar para a Avaliação
A fase 1 do SCAMPI envolve o seguinte:

Escolher a data da Avaliação

Identificar um coordenador da unidade organizacional

Planejar a avaliação

Definir uma equipe de avaliação

Definir os produtos finais da avaliação

Selecionar os projetos a serem avaliados

Selecionar as pessoas a serem entrevistadas

Distribuir questionários

Treinar a equipe da avaliação
Fase 1: Planejar e Preparar para a Avaliação

Antes de iniciar a avaliação, membros da organização
avaliada devem preparar as evidências objetivas para
agilizar o processo
 Isto difere do CBA IPI, onde a equipe avaliadora
deveria procurar todas as evidências desde o início

Evidências objetivas são informações qualitativas ou
quantitativas, registros ou afirmações sobre um fato
pertencentes a uma característica de um item ou
serviço ou a existência e implementação de um
elemento de processo
Fase 1: Planejar e Preparar para a Avaliação

Durante a avaliação onsite a equipe avaliadora verifica
e valida as evidências diretas fornecidas pela
organização avaliada para identificar os pontos fortes
e fracos relativos ao modelo de referência CMMI

O processamento da informação é agilizado devido ao
fornecimento das evidência previamente
 Ganha-se tempo e esforço ao não se executar o
processo de “descoberta”
Fase 1: Planejar e Preparar para a Avaliação

Análise das evidências objetivas preliminares é crucial
 Se dados substanciais não estão presentes, então
os passos seguintes da avaliação podem ser
postergados ou mesmo cancelados
Fase 1: Planejar e Preparar para a Avaliação
A coleta prévia de evidências provê os seguintes
benefícios:

Melhoria na acurácia dos resultados das avaliações

Entendimento detalhado sobre a forma de
implementação das práticas do modelo de referência

Facilidade em monitorar a conformidade com o
processo e o progresso da melhoria de processo

Resíduos de avaliações podem ser reutilizadas em
avaliações subseqüentes, minimizando o esforço de
preparação
Fase 2: Conduzir a Avaliação
A fase 2 do SCAMPI envolve o seguinte:

Realizar a reunião de Kick-Off e outras apresentações

Coletar e gerenciar os dados a partir de:
 Questionários
 Documentos
 Entrevistas
 Apresentações

Consolidar os dados
Fase 2: Conduzir a Avaliação

A idéia fundamental por trás dos Indicadores de
Implementação de Práticas (PIIs – Practice
Implementation Indicators) é que a condução de uma
atividade ou implementação de uma prática resulta em
uma “impressão digital” – evidência que provê a base
para a verificação das práticas ou atividades
Fase 2: Conduzir a Avaliação
O conceito principal da fase 2 é a “cobertura” o que
implica

Coletar dados suficientes para cada componente do
modelo dentro do escopo selecionado pelo
patrocinador da avaliação

Obter uma amostra representativa dos processos em
andamento
Fase 2: Conduzir a Avaliação

Os ratings são gerados após a confirmação de que foi
obtida suficiente cobertura do modelo de referência e
da unidade organizacional

Os goal ratings são determinados para cada área de
processo, os quais são usados coletivamente para
determinar o rating para as áreas de processo
individuais, assim como o rating da maturidade do
processo para a unidade organizacional como um todo
Fase 3: Relatar Resultados
A fase 3 do SCAMPI envolve o seguinte:
 Consolidar achados preliminares
 Realizar reuniões para relatar os achados
preliminares
 Consolidar os achados finais e estabelecer os
ratings
 Apresentar informalmente os achados finais ao
patrocinador da avaliação
 Realizar apresentação dos achados finais
 Realizar reunião executiva para discutir os achados
finais
 Fechamento da equipe da avaliação
Tempo e Esforço de uma Avaliação SCAMPI

São necessários 2 a 3 meses para realizar as
atividades de planejamento da avaliação e para treinar
a equipe de avaliação

Atividades de planejamento geralmente iniciam entre 6
e 8 semanas antes da avaliação onsite

O treinamento dos membros da equipe da avaliação
requer 5 a 6 dias:
 2,5 a 3 dias no treinamento do modelo de
referência
 2,5 a 3 dias no treinamento da equipe de avaliação
Tempo e Esforço de uma Avaliação SCAMPI

O treinamento da equipe pode ser combinada com
outras atividades do planejamento (análise da
resposta dos questionários, revisão de documentos e
desenvolvimento de scripts de entrevistas)
 Estas atividades devem ser concluídas entre 2 a 3
semanas antes do período onsite

A avaliação onsite leva em torno de 10 dias
Tempo e Esforço de uma Avaliação SCAMPI

Mês 1 e 2 – Treinamento da equipe da avaliação e
planejamento

Mês 3 – Avaliação onsite

Mês 4 – Revisão do plano de ação

Meses 5-24 – Implementação do plano de ação

Mês 12 – Avaliação interna

Meses 18-30 – SCAMPI de acompanhamento
Avaliação de Processos
Mariano Montoni
COPPE/UFRJ
Programa de Engenharia de Sistemas e Computação