Modelos de Avaliação de Processos EQPS 2007 Tayanna Sotero [email protected] :: Agenda Motivação Conceitos Básicos Modelos de Avaliação Comparativo Conclusão Referências 14.11.07 2 :: Motivação Necessidade de Aumento da Qualidade no desenvolvimento dos softwares/produtos; Modelos de Melhoria de Processo com foco na melhoria; Avaliação dos processos para analisar se a melhoria foi implantada; 14.11.07 [XAVIER, J.] 3 :: Conceitos Básicos Produto Resultado de um processo [ISO 9001:2000; CMMI; JURAN, J.M.,GRYNA, F.M.] Processo Conjunto de atividades interrelacionadas ou interativas que transforma insumos (entradas) em produtos (saídas). [SPÍNOLA, R., PESSOA M.] 14.11.07 4 :: Conceitos Básicos O que é um bom processo de software? Definido Mantido Documentado Controlado Treinado Verificado Praticado Validado Suportado Medido Habilitado a melhoria 14.11.07 [SPÍNOLA R., PESSOA M.] 5 :: Conceitos Básicos Modelo: “Deciding what dishes to prepare when planning a meal and knowing what complements what, which ingredients are in season and available, the taste preferences of the guests, and so on requires careful planning and a clear understanding of the range of options. Similarly, when working to improve processes in an enterprise, many tools and techniques are available.” 14.11.07 [Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D., ] 6 :: Conceitos Básicos Auditoria: Uma auditoria é uma avaliação independente de produtos de trabalho ou processos para verificar sua conformidade a padrões, procedimentos e especificações baseados em critérios objetivos. [IEEE 1028] 14.11.07 7 :: Conceitos Básicos Avaliação: Método formal e estruturado de examinar a forma como projetos de software são construídos e mantidos [Capers J.] Exame de um ou + processos, por uma equipe de profissionais treinados que utiliza um modelo de referência de avaliação como base para determinar os pontos fortes e fracos. [CMMI Product Team, 2002] 14.11.07 8 :: Conceitos Básicos Premissas das auditorias: Imparcialidade Evitar conflitos de interesse na seleção; Não auditar as atividades exercidas por eles. Independência Não podem ter dependência de pessoas por eles auditadas 14.11.07 9 :: Conceitos Básicos Resultados de avaliações Orientar decisões de melhoria; Planejar da estratégia de melhoria da organização; Fornecer a conformidade ou gerar nível de maturidade/capacidade; Reduzir riscos na aquisição, desenvolvimento e monitoração de desenvolvimento de produtos. 14.11.07 10 :: Conceitos Básicos Tipos de avaliação Primeira parte: realizada por elementos da própria organização fornecedora de software; Segunda parte: quando o cliente avalia o fornecedor; Terceira parte: quando uma terceira organização (independente) avalia o fornecedor. [ISO 9001:2000] 14.11.07 11 :: Conceitos Básicos Estratégias de avaliação Rigor X Relevância; Modelo X Problema; Intervenção X Gerenciamento diário. [Nielsen&Pries-Heje, 2002] 14.11.07 12 After the dishes have been prepared and the guests are seated at the table, if you wait too long to serve them you may hear the question, "Where's the beef?" Or, if the menu is seafood you may of course hear instead, "Where's the shrimp?" In any case, keeping diners waiting too long can lead either to impatience or boredom. Similarly, when readers pick up a book on process appraisals, the authors should not keep them waiting too long to get to the meat of the subject. 14.11.07 [Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D., ]13 :: SCAMPI Método Oficial do SEI para avaliar organizações com modelos CMMI. Identifica as forças e fraquezas dos processos revela riscos de desenvolvimento/aquisição e determina a capacidade e o nível de maturidade. 14.11.07 14 :: SCAMPI - Origem AFIRMAÇÃO DESCOBERTA AMBOS: • Método de Benchmarking RIGOROSO 3 Tipos de source: • Encontrar as evidências de que os objetivos foram satisfeitos; -Info de artefatos; • Revisão de documentos; -Entrevistas; • Entrevistas. 14.11.07 Uso de questionários para coletar; Entrevistas para esclarecer os gaps dos questionários. -Tools; Só que de diferentes formas e ênfases. 15 :: SCAMPI - Documentos ARC MDD Guidance for Government Source Selection and Contract Process Monitoring 14.11.07 16 :: SCAMPI – ARC (v1.2/2006) Influenciado: CAF [CMM] – CMM Appraisal Framework EIA/IS Appraisal Method ISO/IEC 15504 14.11.07 17 :: SCAMPI – ARC (v1.2/2006) Princípios: Iniciar com um modelo de referência de avaliação; Utilizar um processo de avaliação formalizado; Envolver a gerência sênior como sponsor; Focar a avaliação nos objetivos de negócio do sponsor; Observar a confidencialidade e a distribuição de informação; Utilizar a abordagem de avaliação colaborativa Foco no retorno das atividades e tomada de decisão baseada nos resultados da avaliação. 14.11.07 18 :: SCAMPI – ARC (v1.2/2006) Responsabilidades SPONSOR Verificar se o líder da avaliação tem a devida experiência, conhecimento e skills; Garantir que as unidades da organização estão dentro de avaliação; Garantir recursos para realização da avaliação; Revisar e aprovar o input inicial da avaliação. 14.11.07 19 :: SCAMPI – ARC (v1.2/2006) Responsabilidades APPRAISAL LEADER Garantir que a avaliação está sendo conduzida de acordo com processo documentado; Confirmar o comprometimento do sponsor na realização da avaliação; Garantir que os participantes então cientes do propósito, escopo e abordagem da avaliação; Garantir que os participantes da avaliação tem a devida experiência, conhecimento e skills; Confirmar que os outputs da avaliação foram entregues ao sponsor. 14.11.07 20 :: SCAMPI – ARC (v1.2/2006) ARC 14.11.07 21 :: SCAMPI Comparativo entre as avaliações Classe A Classe B Classe C Classifica a organização em um nível de maturidade e/ou capacidade (Institucionalization) Análise de alguns projetos da organização (Development). NC com ISO 15504 Análise de documentos do processo (Approach) ARC FOCO # Evidências objetivas Geração de Pontuação # Recursos Tam. Time Requisitos para o avaliador 14.11.07 Lead Appraiser Lead Appraiser ou pessoa treinada e experiente Pessoa treinada e experiente. 22 :: SCAMPI – MDD(v1.2/2006) Planejar e preparar para a avaliação Objetivos do Sponsor Escopo Conduzir a avaliação Resultado 14.11.07 Relatar os resultados 23 :: SCAMPI – MDD(v1.2/2006) Equipe: OUC – Organization Unit Coordinator Sponsor Líder da avaliação Time de avaliação 14.11.07 Participantes selecionados 24 :: SCAMPI – MDD(v1.2/2006) Características Acuracidade “Ratings”da avaliação refletem verdadeiramente na maturidade/capacidade e podem ser utilizados para comparação entre organizações Repetibilidade “Ratings” tem que ser consistentes de forma que se outra organização vier avaliar tem que dar o mesmo resultado. Efetividade de Custo/Recursos O método de avaliação é eficiente no planejamento, preparação e execução da avaliação. Resultados significativos Os resultados devem ser utilizados para tomada de decisão por parte do SPONSOR. 14.11.07 25 :: SCAMPI – MDD(v1.2/2006) Pressupostos e Princípios [SCAMPI A] Método de Benchmarking; Graduações (ratings) de objetivos são funções do cumprimento de práticas (específicas e genéricas); Evidência objetiva é usada para embasar a implementação de determinada prática; Documentos; Entrevistas. Uso de indicadores de implementação da prática. 14.11.07 26 :: SCAMPI – MDD(v1.2/2006) Artefatos diretos Resultados diretos da implementação da prática genérica ou específica. Produtos listados nas práticas; Documentos, deliverables, materiais de treinamento, etc. Artefatos indiretos Consequência do uso da prática Meeting minutes, review results, status reports, presentations, etc. Performance measures Afirmações Afirmações Orais ou escritas para confirmar a implementação de uma prática. Interviews Presentations, demonstrations, 14.11.07 27 :: SCAMPI – MDD(v1.2/2006) Exemplo: SG 1 Establish Estimates [SCAMPI] 14.11.07 28 :: SCAMPI – MDD(v1.2/2006) Processo de transformação e graduação. [SCAMPI] 14.11.07 29 :: SCAMPI – MDD(v1.2/2006) O objetivo é graduado satisfeito quando: • Todas as práticas são LI ou FI e os pontos fracos associados não tem impacto negativo com o alcance do objetivo. [SCAMPI] 14.11.07 30 :: SCAMPI – MDD(v1.2/2006) MDD 14.11.07 31 :: MA-MPS (v1.1/2007) [MPS.BR – Guia de Avaliação] 14.11.07 32 :: MA-MPS (v1.1/2007) O Método de Avaliação (MA-MPS) visa verificar a maturidade da organização na execução de seus processos de software. [MPS.BR – Guia de Avaliação] 14.11.07 33 :: MA-MPS (v1.1/2007) Fatores de sucesso de uma avaliação: Comprometimento do sponsor; Motivação; Fornecimento de feedback; Confidencialidade; Percepção dos benefícios; Credibilidade. [MPS.BR – Guia de Avaliação] 14.11.07 34 :: MA-MPS (v1.1/2007) Resultados da execução: São obtidos dados e informações que caracterizam os processos de software da organização/unidade organizacional; É determinado o grau em que os resultados esperados são alcançados e os processos atingem o seu propósito; É atribuído um nível de maturidade do MR-MPS à organização/unidade organizacional. [MPS.BR – Guia de Avaliação] 14.11.07 35 :: MA-MPS (v1.1/2007) [MPS.BR – Guia de Avaliação] 14.11.07 36 :: MA-MPS (v1.1/2007) [MPS.BR – Guia de Avaliação] 14.11.07 37 :: MA-MPS (v1.1/2007) 14.11.07 [MPS.BR – Guia de Avaliação] 38 :: MA-MPS (v1.1/2007) [MPS.BR – Guia de Avaliação] 14.11.07 39 :: MA-MPS (v1.1/2007) Guia de Avaliação 14.11.07 40 :: Comparativo Característica MA-MPS SCAMPI Organização e Avaliador Líder Organização e Avaliador Líder 3a8 4a9 Nível de Maturidade Nível de Maturidade ou capacidade Cronograma Responsável pela elaboração do plano de avaliação Coleta de informações organizacionais Seleção de participantes Orientação aos participantes Tamanho da equipe Graduação com consenso da equipe Graduação Apresentação dos resultados pre-liminares Levantamento dos pontos fortes e fracos 14.11.07 [XAVIER, J.] 41 :: Conclusão Equipes de avaliação também seguem processo, e SÃO AUDITADAS! Modelos de melhoria de processo precisam de um auxílio extra (Avaliação) para garantir a conformidade da melhoria. Automatização do trabalho dos auditores pode ser um fator que reduzirá o custo (futuramente...) 14.11.07 42 :: Referências Appraisal Requirements for CMMI, Version 1.1 (ARC, V1.1), (CMU/SEI-2001-TR-034). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, December 2001. CMMI for Development version 1.2, Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August 2006. Hayes, W., Ferguson, J., Clouse, A., Armstrong, J., Ahern D., “CMMI® SCAMPI Distilled Appraisals for Process Improvement ”, Addison Wesley Professional, 2005. IEEE Std. 1028-1997, "IEEE Standard for Software Reviews“. ISO 9001:2000, NBR/ISO 9000, 2000, “Sistema de Gestão da Qualidade – Fundamentos e Vocabulário” Associação Brasileira de Normas Técnicas, Rio de Janeiro, Brasil JONES, Capers. How not to measure programming quality. Computerworld : In Depth, Framingham, v. 20, n. 3, p. 73-82, jan. 1986. JURAN, J.M.,GRYNA, F.M. Controle da qualidade handbook: conceitos, políticas e filosofia da qualidade. São Paulo: Makron, McGraw-Hill, 1991.V.I. 14.11.07 43 :: Referências MPS.BR – Guia de Avaliação, v1.1, Julho/2007, Softex. SPÍNOLA, R., PESSOA M., Gestão da Qualidade de Software e a Gestão da Qualidade Total, CITS 2000. Standard CMMI Appraisal Method for Process Improvement Version 1.1: Method Definition Document (CMU/SEI-2001-HB001). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, December 2001. Standard CMMI Appraisal Method for Process Improvement (SCAMPI), Version 1.1: Method Implementation Guidance for Government Source Selection and Contract Process Monitoring (CMU/SEI-2002-HB-002). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, September 2002. XAVIER, J. , Proevaluator: uma ferramenta para avaliação de processos de software, dissertação de mestrado do Cin – UFPE, 2007. 14.11.07 44 :: Reflexão... “Somos o que repetidamente fazemos. A excelência, portanto, não é um feito, mas um hábito.” Aristóteles. 14.11.07 45 :: Perguntas? Obrigada! Contato: Tayanna Sotero [email protected] 14.11.07 46