QUALIDADE DE SOFTWARE – UMA ABORDAGEM BASEADA NA SATISFAÇÃO DO USUARIO SIMONE VASCONCELOS SILVA UNIVERSIDADE ESTADUAL DO NORTE FLUMINENSE – UENF CAMPOS DOS GOYTACAZES – RJ MARÇO - 2003 QUALIDADE DE SOFTWARE – UMA ABORDAGEM BASEADA NA SATISFAÇÃO DO USUARIO SIMONE VASCONCELOS SILVA “Dissertação apresentada ao Centro de Ciência e Tecnologia, da Universidade Estadual do Norte Fluminense, como parte das exigências para obtenção do título de Mestre em Ciências da Engenharia, na área de Engenharia de Produção.” Orientador: Prof. Daniel Ignácio De Souza Júnior, Ph. D. CAMPOS DOS GOYTACAZES – RJ MARÇO - 2003 QUALIDADE DE SOFTWARE – UMA ABORDAGEM BASEADA NA SATISFAÇÃO DO USUARIO SIMONE VASCONCELOS SILVA “Dissertação apresentada ao Centro de Ciência e Tecnologia, da Universidade Estadual do Norte Fluminense, como parte das exigências para obtenção do título de Mestre em Ciências da Engenharia, na área de Engenharia de Produção.” Aprovada em ___________ de ____________ de 2003. Comissão Examinadora: _____________________________________________ Prof. André Luís Policani Freitas, D. Sc. (UENF – CCT – LEPROD) _____________________________________________ Prof. Renato de Campos, D. Sc. (UENF – CCT – LEPROD) _____________________________________________ Prof. Rogério Atem de Carvalho, D. Sc. (CEFETCampos) ______________________________________________ Prof. Daniel Ignácio De Souza Júnior, Ph. D. (UENF – CCT – LEPROD) Orientador Dedico este trabalho aos meus pais Claudinier e Maria das Graças, e a minha filha Rafaella por toda atenção, carinho e apoio. iv AGRADECIMENTOS A Deus por está sempre presente me iluminado e dando forças para seguir adiante. Aos meus pais que sempre me apoiaram em todas as fases da minha vida. A minha filha pela compreensão e paciência. Ao professor e orientador Prof. Daniel Ignácio De Souza Júnior pela sua dedicação. À Petrobrás por contribuir para a pesquisa de campo deste trabalho. Ao hospital Álvaro Alvin pela confiança e atenção dedicada a este trabalho. A todas as pessoas que participaram da pesquisa através dos questionários. Em especial, a amiga Simone, que possibilitou e promoveu a pesquisa no hospital Álvaro Alvin. A todos os amigos do CEFETCampos que sempre me apoiaram, em especial Henry, Ricardo e Roberto. Em especial aos amigos Desirré, Patrícia e Stephenson por estarem ao meu lado em todos os momentos. Aos amigos Joélio e Jussara que sempre me incentivaram. A todos os amigos e professores da UENF, em especial do LEPROD. Ao bolsista Luciano pela ajuda prestada na coleta de dados. E a todas as pessoas que diretamente ou indiretamente possibilitaram a realização deste trabalho. v LISTA DE TABELAS TABELA 2.1 - Relacionamento das atividades do ciclo de qualidade e o ciclo de vida do software________________________________________________________ 10 TABELA 2.2 – Implantação de programas da qualidade total, sistemas da qualidade ou similares________________________________________________________ 26 TABELA 2.3 - Realização de pesquisa de satisfação dos clientes______________27 TABELA 3.1-Tamanho das amostras____________________________________ 59 TABELA 3.2 -Exemplo de descrição do Help por campo_____________________ 60 TABELA 3.3 - Classificação das subcaracterísticas da usabilidade de acordo com cada critério________________________________________________________63 TABELA 4.1-Peso inicial das opções da avaliação__________________________66 TABELA 4.2 - Intervalos p/ classificação dos critérios em relação ao peso final___ 67 TABELA 4.3 -Grau das opções da avaliação_____________________________ 67 TABELA 4.4-Intervalos para classificação dos critérios em relação ao grau final__ 68 TABELA 4.5-Escala da usabilidade para classificação do software_____________70 TABELA 5.1 - Classificação dos critérios de acordo com a prioridade na área de Biblioteca_________________________________________________________ 77 TABELA 5.2-Classificação dos critérios na área de Engenharia Civil___________ 81 TABELA 5.3-Classificação dos critérios na área de Laboratório Cínico_________ 85 TABELA 5.4-Classificação dos critérios na área de Coordenação Acadêmica____ 89 TABELA 6.1-Prioridade dos critérios na área de Gestão de Plataformas________ 96 TABELA 6.2-Qualidade dos critérios no produto de software APLAT___________99 TABELA 6.3-Aferição da usabilidade para o produto de software APLAT______ 100 TABELA 7.1-Prioridade dos critérios na área de Gestão de Hospitalar________ 109 TABELA 7.2-Qualidade dos critérios em relação ao produto de software SGH__ 114 TABELA 7.3-Aferição da usabilidade para o produto de software SGH________ 116 TABELA 8.1-Distribuição da amostra em relação aos setores_______________ 120 TABELA 8.2-Qualidade dos critérios do software SGH para o setor de Ambulatório______________________________________________________121 TABELA 8.3-Aferição da usabilidade do produto de software SGH para o setor de Ambulatório______________________________________________________122 TABELA 8.4-Qualidade dos critérios do software SGH para o setor de Secretaria_______________________________________________________124 TABELA 8.5-Aferição da usabilidade do produto de software SGH para o setor de Secretaria_______________________________________________________125 TABELA 8.6-Qualidade dos critérios do software SGH para o setor de Farmácia_______________________________________________________ 126 TABELA 8.7-Aferição da usabilidade do produto de software SGH para o setor de Farmácia_______________________________________________________ 127 TABELA 8.8 -Qualidade dos critérios do software SGH para o setor SAME____129 TABELA 8.9-Aferição da usabilidade do produto de software SGH para o setor SAME__________________________________________________________130 TABELA 8.10-Qualidade dos critérios do software SGH para o setor de Laboratório______________________________________________________131 TABELA 8.11-Aferição da usabilidade do produto de software SGH para o setor de Laboratório______________________________________________________132 TABELA 8.12-Qualidade dos critérios do software SGH para o setor NPD_____134 TABELA 8.13-Aferição da usabilidade do produto de software SGH para o setor NPD___________________________________________________________ 135 TABELA 8.14-Fator de Usabilidade por Setor___________________________136 vi TABELA 8.15-Distribuição da amostra em relação aos intervalos de tempo de experiência no uso do produto de software SGH_________________________ 137 TABELA 8.16-Qualidade dos critérios do software SGH para o intervalo de tempo entre 0 e 1 ano___________________________________________________138 TABELA 8.17-Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 0 e 1 ano___________________________________________139 TABELA 8.18-Qualidade dos critérios do software SGH para o intervalo de tempo entre 1 e 2 anos__________________________________________________ 141 TABELA 8.19-Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 1 e 2 anos__________________________________________ 142 TABELA 8.20-Qualidade dos critérios do software SGH para o intervalo de tempo entre 2 e 3 anos__________________________________________________ 143 TABELA 8.21-Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 2 e 3 anos__________________________________________144 TABELA 8.22-Qualidade dos critérios do software SGH para o intervalo de tempo entre 3 e 4 anos__________________________________________________146 TABELA 8.23-Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 3 e 4 anos_________________________________________ 147 TABELA 8.24-Fator de usabilidade por tempo de experiência______________ 148 TABELA A.1-Dados para aferição____________________________________170 vii LISTA DE FIGURAS FIGURA 2.1-Ciclo de Shewhart_________________________________________ 8 FIGURA 2.2-Ciclo de vida clássico do software____________________________ 9 FIGURA 2.3-Estrutura hierárquica do modelo de qualidade__________________ 17 FIGURA 2.4-Relacionamento dos processos de avaliação com o suporte a avaliação_________________________________________________________ 21 FIGURA 2.5-Processo de avaliação____________________________________ 23 FIGURA 2.6-Modelo de processo de avaliação de um produto de software______ 24 FIGURA 2.7-Categorias de software desenvolvidas pelas organizações________ 26 FIGURA 2.8-Evolução da porcentagem de empresas de software certificadas pela ISO 9000 no Brasil__________________________________________________ 27 FIGURA 2.9-Conhecimento de normas da qualidade de produtos_____________ 28 FIGURA 2.10-Evolução da porcentagem de empresas de software que utilizaram a ISO/IEC 9126______________________________________________________ 28 FIGURA 2.11-Esquema do conceito de usabilidade (ISO 9241-11, 1998)_______ 32 FIGURA 2.12-Relação do custo de modificação com o ciclo de vida do software_ 40 FIGURA 2.13-A evolução dos projetos de software________________________ 42 FIGURA 2.14-Seqüência de eventos da prototipação______________________ 43 FIGURA 3.1-Fluxograma das etapas de adequação do questionário___________ 53 FIGURA 3.2-Problemas de usabilidade x nº e informantes___________________58 FIGURA 4.1-Exemplo de escala sugerida pela norma NBR ISO/IEC 14598-1____ 70 FIGURA 4.2-Diagrama das etapas para avaliação do produto de software______ 72 FIGURA 5.1-Peso final dos critérios para área de biblioteca_________________ 77 FIGURA 5.2-Prioridade dos Critérios para a área de Biblioteca_______________ 78 FIGURA 5.3-Pesos dos critérios para área de Engenharia Civil_______________ 81 FIGURA 5.4-Prioridade dos Critérios para a área de Engenharia Civil__________ 82 FIGURA 5.5-Pesos dos critérios para área de Laboratório Clínico_____________ 85 FIGURA 5.6-Prioridade dos Critérios para Área de Laboratório Clínico_________ 86 FIGURA 5.7-Pesos dos critérios para área de Coordenação Acadêmica_______ 89 FIGURA 5.8-Prioridade dos Critérios para Área de Coordenação Acadêmica____90 FIGURA 5.9-Comparação da prioridade dos critérios nas quatro áreas selecionadas_____________________________________________________ 91 FIGURA 6.1-Peso final dos critérios para área de Gestão de Plataformas______ 96 FIGURA 6.2-Prioridade dos critérios para a área de Gestão de Plataformas____ 97 FIGURA 6.3-Grau final dos critérios para a área de Gestão de Plataformas___ 100 FIGURA 7.1-Peso final dos critérios para área de Gestão Hospitalar_________ 109 FIGURA 7.2-Prioridade dos critérios para a área de Gestão Hospitalar_______ 110 FIGURA 7.3-Grau final dos critérios para a para o produto de software SGH__ 114 FIGURA 8.1-Grau final dos critérios para o setor de Ambulatório___________ 122 FIGURA 8.2-Grau final dos critérios para o setor de Secretaria____________ 124 FIGURA 8.3-Grau final dos critérios para o setor de Farmácia_____________ 127 FIGURA 8.4-Grau final dos critérios para o setor SAME__________________ 129 FIGURA 8.5-Grau final dos critérios para o setor de Laboratório____________ 132 FIGURA 8.6-Grau final dos critérios para o setor NPD___________________ 134 FIGURA 8.7-Variação do fator de usabilidade em relação aos setores_______ 136 FIGURA 8.8-Grau final dos critérios para o tempo de experiência no intervalo de 0 a 1 ano_______________________________________________________ 139 FIGURA 8.9-Grau final dos critérios para o tempo de experiência no intervalo de 1 a 2 anos______________________________________________________ 141 viii FIGURA 8.10-Grau final dos critérios para o tempo de experiência no intervalo de 2 a 3 anos_______________________________________________________ 144 FIGURA 8.11-Grau final dos critérios para o tempo de experiência no intervalo de 3 a 4 anos_______________________________________________________ 146 FIGURA 8.12-Variação do fator de usabilidade em relação aos intervalos de tempo___________________________________________________________148 FIGURA C.1-Diagrama de Classes____________________________________162 FIGURA C.2 – Interface para cadastro das características__________________165 FIGURA C.3 – Interface para cadastro das subcaracterísticas_______________165 FIGURA C.4 – Interface para cadastro dos critérios_______________________166 FIGURA C.5 – Interface para cadastro dos produtos______________________ 166 FIGURA C.6 – Interface para avaliação das prioridades dos critérios_________ 167 FIGURA C.7 – Interface para avaliação da qualidade dos critérios___________ 167 FIGURA A.1- Prioridade dos Critérios_________________________________ 169 ix SIGLAS E ABREVIATURAS ABERGO Associação Brasileira de Ergonomia ABNT Associação Brasileira de Normas Técnicas APLAT Gestão Integrada e Padronizada de Plataformas ASQC Associação Americana para Controle da Qualidade ASSESPRO/RS Associação das Empresas Brasileiras de Software e Serviços de Informática B Bom CEFETCampos Centro Federal de Educação Tecnológica de Campos CELEPAR Companhia de Informática do Paraná CenPRA Centro de Pesquisa Renato Archer CNP Conselho Nacional de Petróleo CTI Centro Tecnológico para Informática EPM Ecole Poly Techinique de Monntréal Gf Grau final do critério após a avaliação GI Grande Importância Gi Grau da opção da avaliação I Inexistente i Quantidade de opções da avaliação para cada critério IEC International Electrotechnical IHC Interação Homem-Computador INRIA Instituto Francês de Pesquisa em Informática e Automação INSOFT Incubadora de Software ISO International Organization for Standardization LabIUtil Laboratório de Utilizabilidade de Informática da Universidade Federal de Santa Catarina LAQS Laboratório de Avaliação da Qualidade de Software LQS Laboratório de Qualidade de Software M Médio MB Muito Bom MCT Ministério da Ciência e Tecnologia Merlin Méthodes pour I’Ergonomie des Logiciels Interactip MI Média Importância NI Nenhuma Importância x NPD Núcleo de Processamento de Dados OTC Offshore Technology Conference P Péssimo P27 Plataforma 27 da Bacia de Campos PBQP Programa Brasileiro de Qualidade e Produtividade Pf Peso final do critério após a avaliação Pfeq Porcentagem referente à freqüência obtida em cada opção na avaliação do critério. PI Pouca Importância Pi Peso da opção da avaliação R Ruim SAME Setor de Atendimento aos Médicos SEPIN Secretaria de Política de Informática SEPRORS Sindicato das Empresas de Informática do Rio Grande do Sul SGH Sistema de Gestão Hospitalar SOFTEX Programa para Promoção da Excelência do Software Brasileiro SOFTSUL Sociedade Sulriograndense de Apoio ao Desenvolvimento de Software SQA Software Quality Assurance SUS Sistema Único de Saúde TI Tecnologia da Informação TIBC Tecnologia de Informação da Bacia de Campos U Usabilidade UENF Universidade Estadual do Norte Fluminense UML Unified Modeling Language UPA Usability Profissionals Association xi SUMÁRIO LISTA DE TABELAS__________________________________________________vi LISTA DE FIGURAS_________________________________________________viii LISTA DE SIGLAS E ABREVIATURAS___________________________________ x RESUMO_________________________________________________________ xvi ABSTRACT_______________________________________________________ xvii CAPÍTULO 1 – INTRODUÇÃO__________________________________________1 1.1. Apresentação_________________________________________________ 1 1.2. Objetivo______________________________________________________3 1.3. Justificativas__________________________________________________ 4 1.4. Estrutura do Trabalho___________________________________________5 CAPÍTULO 2 – REVISAO BIBLIOGRAFICA________________________________7 2.1. Qualidade____________________________________________________7 2.2. Engenharia de Software_________________________________________8 2.3. Qualidade de Software__________________________________________8 2.4. Métricas de Software__________________________________________ 12 2.4.1. Métricas de Produtos de Software____________________________13 2.5. Qualidade do Produto de Software_______________________________ 14 2.6. Normas de Qualidade do Produto de Software______________________ 15 2.6.1. ISO/IEC 9126____________________________________________16 2.6.1.1. ISO/IEC 9126-1 (NBR 13596)___________________________16 2.6.1.1.1. Definição das Características e Subcaracterísticas_________18 2.6.2. ISO/IEC 14598___________________________________________20 2.6.2.1. NBR ISO/IEC 14598-1 e NBR ISO/IEC 14598-5____________ 21 2.6.2.1.1. Processo de Avaliação___________________________ 21 2.7. Modelo de Processo de Avaliação de um Produto de Software_________ 24 2.8. Qualidade no Setor de Software Brasileiro_________________________24 2.9. Ergonomia e Interação Homem-Computador (IHC)__________________ 29 2.10. Usabilidade_________________________________________________30 2.10.1. Introdução_____________________________________________ 30 2.10.2. Definições_____________________________________________ 32 2.10.3. Objetivos e Benefícios da Usabilidade_______________________ 34 2.10.4. Classificação dos Usuários________________________________ 35 2.10.5. Avaliação da Usabilidade_________________________________ 36 2.10.5.1. Métodos de Avaliação_______________________________ 37 2.10.5.1.1. Revisões Especializadas_______________________ 37 2.10.5.1.2. Testes e Estudos Laboratoriais___________________ 38 2.10.5.1.3. Pesquisas de Opinião_________________________ 39 2.10.5. 2. Avaliação Durante o Projeto__________________________ 40 2.10.5.3. Avaliação da Qualidade dos Produtos de Software e da Usabilidade no Brasil________________________________________________________44 2.11. Garantia de Qualidade de Software_____________________________ 45 CAPÍTULO 3 – METODOLOGIA PROPOSTA____________________________ 47 3.1. Introdução__________________________________________________ 47 3.2. Hipóteses Principais__________________________________________ 48 xii 3.3. Características das Áreas de Aplicação Selecionadas para a Pesquisa__ 49 3.3.1. Área de Biblioteca_______________________________________ 50 3.3.2. Área de Engenharia Civil__________________________________ 50 3.3.3. Área de Laboratório_____________________________________ 50 3.3.4. Área de Coordenação Acadêmica___________________________ 51 3.3.5. Área de Gestão de Plataformas_____________________________ 51 3.3.6. Área de Gestão Hospitalar_________________________________ 51 3.4. Questionário: Instrumento de Pesquisa___________________________ 52 3.4.1. Questionários Utilizados na Parte Inicial do Trabalho, Durante o Préteste__________________________________________________________ 53 3.4.1.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios 53 3.4.1.2. Questionário Utilizado para Avaliação da Qualidade dos Critérios 54 3.4.2. Questionários Utilizados no Decorrer do Trabalho, após o Pré-teste_55 3.4.2.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios 55 3.4.2.2. Questionário Utilizado para Avaliação da Qualidade dos Critérios 55 3.5. Aplicação da Metodologia_____________________________________ 56 3.5.1. Na Fase Inicial, Utilizando os Questionários do Pré-teste_________ 56 3.5.2. No Decorrer do Trabalho, Utilizando os Questionários Após o Préteste__________________________________________________________ 57 3.6. Identificação da População Amostral_____________________________57 3.7. Definição dos Critérios Utilizados para Avaliar a Usabilidade__________ 59 3.7.1. Classificação das Subcaracterísticas da Usabilidade de Acordo com os Critérios_______________________________________________________ 63 CAPÍTULO 4 – TÉCNICAS UTILIZADAS NA METODOLOGIA_______________ 65 4.1. Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade______________________________________________________65 4.1.1. Descrição______________________________________________ 65 4.2. Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade______________________________________________________67 4.2.1.Descrição_______________________________________________67 4.3. Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário_______________________________________69 4.3.1. Descrição______________________________________________ 69 4.4. Roteiro para Avaliação do Produto de Software Pela Usabilidade Através da Satisfação do Cliente, Utilizando as Técnicas Citadas Acima______________71 CAPÍTULO 5 – APLICAÇÃO PRÁTICA DA TÉCNICA PARA CLASSIFICAÇÃO DOS CRITÉRIOS DA USABILIDADE EM ORDEM DE PRIORIDADE______________ 73 5.1. Introdução__________________________________________________73 5.2. Resultados Obtidos__________________________________________ 74 5.2.1. Área de Aplicação: Biblioteca_______________________________74 5.2.2. Área de Aplicação: Engenharia Civil_________________________ 78 5.2.3. Área de Aplicação: Laboratório Clínico_______________________ 82 5.2.4. Área de Aplicação: Coordenação Acadêmica__________________ 86 5.3. Comparação dos Resultados Obtidos____________________________ 90 CAPÍTULO 6 – PRIMEIRO ESTUDO DE CASO: GESTÃO DE PLATAFORMAS_ 92 6.1. Introdução__________________________________________________92 6.2. Descrição da Instituição_______________________________________ 92 6.3. Descrição do Produto de Software Avaliado_______________________ 93 6.4. Resultados Obtidos__________________________________________ 93 xiii 6.4.1. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade__________________________________________94 6.4.2. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade__________________________________________97 6.4.3. Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário______________________100 6.4.3.1. Soluções para Aumentar o Fator da Usabilidade do Produto de Software Avaliado________________________________________________101 CAPÍTULO 7 – SEGUNDO ESTUDO DE CASO: GESTÃO HOSPITALAR_____ 102 7.1. Introdução_________________________________________________ 102 7.2. Descrição da Instituição_______________________________________102 7.3. Descrição do Produto de Software Avaliado_______________________ 102 7.4. Resultados Obtidos__________________________________________ 103 7.4.1. Relação dos Critérios com suas Formulações Utilizadas pelo Questionário___________________________________________________ 104 7.4.2. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade__________________________________________105 7.4.3. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade__________________________________________111 7.4.4. Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário______________________ 116 7.4.4.1. Soluções para Aumentar o Fator da Usabilidade do Produto de Software Avaliado________________________________________________ 117 CAPÍTULO 8 – ESTUDO DE CASO: GESTÃO HOSPITALAR DE ACORDO COM O PERFIL DOS USUÁRIOS____________________________________________118 8.1. Introdução_________________________________________________ 118 8.2. Definição do Perfil dos Usuários________________________________ 119 8.2.1. Variação do Fator da Usabilidade por Setor___________________ 119 8.2.1.1. Resultados Obtidos_________________________________ 120 8.2.1.2. Comparação do Fator de Usabilidade Encontrado para Cada Setor__________________________________________________________136 8.2.2. Variação do Fator da Usabilidade por Tempo de Experiência em Relação ao Uso do Produto de Software_____________________________ 137 8.2.2.1. Resultados Obtidos________________________________ 137 8.2.2.2. Comparação do Fator da Usabilidade Encontrado em Cada um dos Intervalos de Tempo de Experiência___________________________________ 148 CAPÍTULO 9 – CONCLUSÕES_______________________________________ 150 9.1. Considerações Finais_________________________________________150 9.2. Sugestões para Trabalhos Futuros______________________________ 151 REFERÊNCIAS BIBLIOGRÁFICAS____________________________________152 Apêndice A- Questionários Utilizados na Fase do Pré-teste_________________157 A.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios_____ 157 A.2. Questionário Utilizado para Avaliação da Qualidade dos Critérios_____ 158 Apêndice B- Questionários Utilizados Após a Fase do Pré-teste_____________159 B.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios_____159 B.2. Questionário Utilizado para Avaliação da Qualidade dos Critérios_____160 xiv Apêndice C- O Software Desenvolvido para Auxiliar a Metodologia__________161 Anexo A – Metodologia da CELEPAR para Avaliação da Usabilidade________168 xv RESUMO SILVA, Simone Vasconcelos. Qualidade de Software – Uma Abordagem Baseada na Satisfação do Usuário. 2003. 187f. Dissertação (Mestrado em Ciências de Engenharia) – Área de Engenharia de Produção, UENF, Campos-RJ. Este trabalho propõe uma metodologia baseada nas normas ISO/IEC 9126-1 (Modelo de Qualidade) e ISO/IEC 14598 (Processos para Avaliação); com o objetivo de avaliar o grau de satisfação dos usuários com relação a produtos de software. A metodologia proposta é dividida em quatro partes: a primeira é a técnica para classificação dos critérios da usabilidade em ordem de prioridade, a segunda é a técnica para classificação dos critérios em ordem de qualidade, a terceira é a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário e a quarta é a utilização da técnica apresentada na terceira parte de acordo com o perfil dos usuários. Este trabalho apresenta um experimento que foi realizado em quatro áreas diferentes com o objetivo de analisar como os critérios da usabilidade variam de acordo com a área de aplicação. São apresentados também dois estudos de caso, sendo que o primeiro foi realizado na fase preliminar da pesquisa e o segundo na fase mais evoluída do trabalho. Em cada estudo de caso foi possível determinar o grau de usabilidade do produto de software avaliado através da metodologia proposta neste trabalho, assim como sugerir melhorias para que tal produto atenda as necessidades de seus usuários. É feita uma abordagem do segundo estudo de caso em relação ao perfil do usuário, onde é realizada uma análise de como o valor da usabilidade de um determinado produto de software pode variar de acordo com o perfil do usuário. Palavras-chave: qualidade, usuários, usabilidade de software. xvi ABSTRACT SILVA, Simone Vasconcelos. Quality of Software – A Boarding Based on the Satisfaction of the User. 2003. 187f. Dissertation (Master in Sciences Engineering) – Production Engineering, UENF, Campos-RJ. This work considers a methodology based on norms ISO/IEC 9126-1 (Quality Model) and ISO/IEC 14598 (Evaluation Processes); whit the objective is to evaluate the degree of satisfaction of the users with regard to software products. The methodology proposal is divided in four parts: the first one is the technique for classification of the criteria in usability priority, second is the technique for classification of the criteria in quality order, third is the technique for evaluation of software quality in accordance to user satisfaction, and fourth it is the use of the technique presented in the third part, in accordance to the user profile. This work presents on experiment that was carried out in four different areas with the objective of analyzing the criteria variation according to the specific area. Two case studies are also presented: the first one was carried out in the preliminary phase of the research, and the second in the more advanced phase. In each case study was possible to determine the degree of usability of the software evaluated through the proposed methodology, as well as suggesting improvements so that such products fit the necessities of its users. An user profile approach is shown, where an analysis of how software value can vary in accordance to user profile. Key-words: quality, users, usability of software. xvii 1 CAPÍTULO 1 – INTRODUÇÃO Neste capítulo encontra-se a apresentação, o objetivo e as justificativas deste trabalho, bem como a estrutura de organização do mesmo. 1.1. Apresentação. A Sociedade Americana para Controle da Qualidade (ASQC) define qualidade como sendo “a totalidade das características de um produto que determina a sua habilidade em satisfazer um determinado usuário” (DE SOUZA, 2001). Atualmente a avaliação da qualidade de produtos ou serviços tornou-se uma necessidade, visto que os usuários estão cada vez mais exigentes quanto à qualidade dos produtos ou serviços adquiridos. E na visão do usuário um produto de qualidade é aquele que atende as suas necessidades, que seja fácil de usar e que funcione no seu ambiente organizacional (SILVA, 2002a). Na busca da qualidade, surgem três fatores fundamentais: tomada de decisão por parte dos empresários, escolha da métrica (medida) mais apropriada e indicação da medição por parte do usuário. A área de Engenharia de Software tem como objetivo principal à qualidade de software, ou seja, a qualidade dos programas utilizados pelo computador. A qualidade de software é dividida em dois tipos: qualidade do processo e qualidade do produto. Atualmente, muitas instituições se preocupam em criar normas para permitir a correta avaliação da qualidade tanto de produtos de software quanto de processos de desenvolvimento de software. Neste trabalho será avaliada a qualidade do produto de software, ou seja, será avaliada a qualidade do resultado gerado pelo processo de desenvolvimento, não apurando os métodos utilizados no processo que levaram a tal resultado. De acordo com a quinta edição da pesquisa de Qualidade e Produtividade no Setor de Software Brasileiro – 2001 (MCT/SEPIN, 2002), os produtos de softwares podem ser de quatro diferentes tipos: os de uso geral, os de uso específico, os para Internet e os embutidos. Os softwares de uso geral são aqueles colocados à disposição de um grande público consumidor e desenvolvidos segundo uma especificação de requisitos, sendo o mais abrangente possível (são os chamados pacotes de software). Os softwares de uso específico são os desenvolvidos sob encomendas e devem basear-se em especificações de requisitos bastante rígidas. 2 Os softwares para Internet são desenvolvidos especificamente para a criação de sites. E os softwares embutidos são aqueles comercializados juntamente com o hardware. Neste trabalho o tipo de produto de software abordado será o de uso específico. Segundo PRESSMAN (1995), surge, constantemente, a seguinte questão: Por Que Avaliar o Produto de Software? O produto de software é avaliado por muitas razões: • Indicar a qualidade do produto; • Avaliar a produtividade das pessoas que produzem o produto; • Avaliar os benefícios derivados de novos métodos e ferramentas de software; • Formar uma linha básica para estimativas; • Ajudar a justificar os pedidos de novas ferramentas ou treinamento adicional. Durante décadas o desenvolvimento de software tem-se concentrado nos aspectos estruturais e de funcionamento do produto. A interface de utilização, ou Interface Homem-Computador, usualmente tem seu projeto significativamente influenciado pelo funcionamento. Com bastante freqüência, o projeto da interface de utilização de produtos prioriza a facilidade de implementação ante a facilidade de utilização. O resultado imediato desta abordagem é a frustração dos usuários diante da dificuldade de obter no software o apoio necessário para a execução de suas tarefas, o que, em situações extremas, leva ao abandono do produto. A indústria de software, em todo o mundo, vem passando por um processo natural de amadurecimento como já aconteceu há algum tempo nas engenharias tradicionais. Um sinal claro desse processo é a preocupação crescente com metodologias de produção de software que permitam o controle da qualidade dos programas e a satisfação do usuário, dentre outras características. Um dos importantes aspectos da engenharia de software, mais precisamente da qualidade de software, que tem merecido crescente atenção é a qualidade da interação entre o usuário e os programas de computador, a chamada usabilidade. A usabilidade pode ser entendida como uma filosofia de concepção ou de projeto, a qual coloca ao nível mais elevado as necessidades dos diversos usuários na lista de prioridades do projeto (CALDEIRA, 2000). Para muitos dos domínios de aplicação da tecnologia de informação, a comunicação dos usuários com o sistema, a usabilidade, está se tornando tão importante quanto à computação realizada pelo próprio sistema. 3 Técnicas de avaliação e testes da usabilidade podem vir a auxiliar o setor de desenvolvimento de software a alcançar um grau de satisfação maior dos usuários em relação aos produtos desenvolvidos. E assim, aproximar as características de seus produtos de software às demandas dos usuários. Neste trabalho a qualidade do produto de software de uso específico será avaliada de acordo com o grau de satisfação dos usuários, ou seja, de acordo com a usabilidade. 1.2. Objetivo. O objetivo principal deste trabalho é propor a metodologia que será apresentada, para a avaliação da usabilidade de produtos de software de uso específico. Essa metodologia é baseada em questionários dirigidos aos usuários como instrumento para a avaliação da satisfação dos mesmos com os produtos de software utilizados. Para melhor entendimento, o objetivo principal pode ser dividido em objetivos específicos, como: • Sugerir um modelo de questionário de avaliação de satisfação dos usuários; • Fazer uma análise do produto de software a fim de realizar uma medição de sua qualidade frente à interação com o usuário; • Demonstrar, através de um experimento, que os critérios da usabilidade variam de acordo com a área de aplicação do produto de software; • Definir a prioridade dos critérios da usabilidade de acordo com a área de aplicação; • Definir o grau de qualidade de cada critério da usabilidade em relação ao produto de software avaliado; • Verificar, através de um estudo de caso, como a usabilidade pode variar de acordo com o perfil dos usuários; • Propor a utilização da metodologia apresentada tanto no produto final como durante o processo de desenvolvimento do produto; • Sugerir, através da metodologia apresentada, quais os critérios que devem ser melhorados visando satisfazer as necessidades dos usuários. 4 1.3. Justificativas. Os processos de interação entre o homem e o computador vêm atingindo novos níveis de conhecimento e importância. A interação homem-computador antes negligenciada devido a um maior interesse pelas técnicas de desenvolvimento, ganhou uma grande ênfase após a percepção da necessidade de centralizar o foco principal de um sistema de informação no próprio usuário. Sendo assim, um estudo abordando questões relativas à avaliação da usabilidade de software, justifica-se, basicamente, pelos seguintes aspectos: • A interação homem-computador é crescente e inevitável, mas ainda está longe de ser considerada satisfatória: grande parte da transformação da sociedade moderna baseia-se no uso do computador; mas, a medida na qual o computador disseminase nas atividades profissionais e de lazer, mais evidente são as necessidades de facilitar a forma de utilização; • Os custos de manutenções futuras nos produtos de software podem ser reduzidos significativamente; • O desenvolvimento de software é hoje um grande negócio, muito importante para a economia de diversos países. A facilidade de utilização poderá ser o diferencial que determinará os sobreviventes deste mercado; • Embora a Engenharia de Software disponha de técnicas e metodologias de desenvolvimento em número cada vez maior, ainda é pequena a quantidade de empresas que adotam, de maneira consistente e integral, uma abordagem organizada para a produção de seus programas, especialmente no que se refere ao projeto onde a satisfação do usuário é o foco principal. A avaliação da qualidade do produto de software através da usabilidade depende diretamente da opinião do usuário em relação ao produto utilizado, ficando assim claramente medido o grau de satisfação do usuário (SILVA, 2002a). Com os resultados obtidos, pode-se classificar o produto de software, avaliar e identificar quais critérios devem ser melhorados para satisfazer as necessidades dos usuários e assim atingir a qualidade desejável. A avaliação da qualidade do produto de software baseada na usabilidade pode ser utilizada na fase de construção dos protótipos, onde o produto ainda está em fase de desenvolvimento, ou seja, ainda executa-se o processo (SILVA, 2002b). Os protótipos serão utilizados pelos futuros usuários do sistema, os quais julgarão os critérios da usabilidade de acordo com diversas opções, segundo a metodologia 5 para avaliação da usabilidade apresentada neste trabalho. Sendo assim, facilitará eventuais correções e reduzirá os custos de alterações e manutenções futuras. A metodologia proposta é bastante simples, pois apresenta questionários não muito extensos, objetivos e que utilizam uma linguagem bem próxima do usuário. Com isso evita-se o desgaste do usuário ao respondê-lo e dispensa a intervenção de um especialista. Além disso, o tratamento dos dados coletados pelos questionários é feito de maneira simples e transparente, podendo ser entendido e aplicado sem dificuldades, não necessitando de extensos treinamentos. A metodologia apresentada, pode ser utilizada em qualquer área de aplicação e em relação a qualquer produto de software de uso específico. Sendo este um produto acabado ou em fase de desenvolvimento. 1.4. Estrutura do Trabalho. Este trabalho é composto de nove capítulos, um anexo e três apêndices. Capítulo 1 - Introdução. Capítulo 2 – Revisão Bibliográfica. São abordados os principais conceitos utilizados no trabalho, como qualidade, qualidade software, a evolução da qualidade de software no Brasil, as normas técnicas de qualidade para produtos de software, usabilidade e garantia da qualidade. Capítulo 3 – Metodologia Proposta. Descrição da metodologia utilizada. Capítulo 4 – Técnicas Utilizadas pela Metodologia. Descrição das técnicas utilizadas pela metodologia. Apresenta as técnicas para classificação dos critérios da usabilidade, propostos neste trabalho, em ordem de prioridade e qualidade, assim como a técnica para avaliação da satisfação do usuário. Capítulo 5 – Aplicação Prática da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade. Aplicação prática visando atingir os objetivos da primeira parte da metodologia proposta. Capítulo 6 – Primeiro Estudo de Caso: Gestão De Plataformas. Primeiro estudo de caso, exemplificando as três primeiras partes da metodologia. Capítulo 7 – Segundo Estudo de Caso: Gestão Hospitalar. Segundo estudo de caso, exemplificando as três primeiras partes da metodologia. Capítulo 8 – Estudo De Caso: Gestão Hospitalar De Acordo Com O Perfil Dos Usuários. Utilização do segundo estudo de caso para exemplificar a quarta parte da metodologia proposta, dividindo os usuários de acordo com os perfis. 6 Capítulo 9 – Conclusões. Aborda as considerações finais do trabalho e apresenta algumas sugestões para trabalhos futuros. Anexo A – Metodologia para Avaliação da Usabilidade utilizada pela CELEPAR (Companhia de Informática do Paraná). Apêndice A - Questionários Aplicados na Pesquisa de Campo na Fase do Pré-teste. Apêndice B - Questionários Aplicados na Pesquisa de Campo Após a Fase do Pré-teste. Apêndice C – O Software Desenvolvido para Auxiliar a Metodologia. No próximo capítulo será apresentada a revisão bibliográfica na qual este trabalho foi baseado. 47 CAPÍTULO 3 – METODOLOGIA PROPOSTA Neste capítulo será apresentada a metodologia proposta neste trabalho. A metodologia encontra-se dividida em quatro partes, tendo como base à pesquisa de opinião, onde o instrumento utilizado foi o questionário. 3.1. Introdução. “A pesquisa pode ser definida como o procedimento racional e sistemático que tem como objetivo proporcionar respostas aos problemas que são propostos” (GIL apud MOREIRA et al., 2002). Os requisitos básicos de uma pesquisa são o planejamento e a metodologia aplicada. A pesquisa realizada neste trabalho possui as seguintes classificações: • Exploratória. Freqüentemente realizada antes do planejamento formal do trabalho. Tem por objetivo proporcionar maiores informações, facilitar a delimitação do tema da pesquisa, orientar o estabelecimento de objetivos e a formulação de hipóteses. Para SELLTIZ apud MOREIRA et al. (2002), essas pesquisas envolvem: − Levantamento bibliográfico; − Entrevistas com pessoas que tiveram experiências práticas com o problema pesquisado; − Análise de exemplos que estimulem a compreensão. • Quantitativa. A importância está na coleta e quantificação dos dados. Os resultados se apresentam, com evidência empírica imediata. (SANTOS apud MOREIRA et al., 2002) • De Campo. Consiste na observação de fatos tal como ocorrem espontaneamente, na coleta de dados e no registro de variáveis relevantes para as análises; não se caracteriza como experimental, pois não produz ou reproduz fenômenos. (RUIZ apud MOREIRA et al., 2002) Entre os vários métodos para avaliação da usabilidade, apresentados no capítulo anterior, o método de avaliação utilizado neste trabalho foi à pesquisa de 48 opinião. Este é um método bastante comum de avaliação, comparativamente barato e muito útil para os testes de usabilidade. Portanto a forma de pesquisa de campo utilizada foi baseada no método de pesquisa de opinião, considerando o grau de satisfação dos usuários. 3.2. Hipóteses Principais. A pesquisa de campo foi utilizada para comprovar as hipóteses nas quais se baseia este trabalho: • Os critérios da usabilidade têm prioridades diferentes de acordo com a área de aplicação; • Pode-se medir o grau de qualidade do produto de software avaliado de acordo com a satisfação do usuário; • A medida da usabilidade varia de acordo com o perfil dos usuários. O objetivo da pesquisa de campo é realizar um estudo exploratório cujo compromisso básico é fornecer dados para técnicas de classificação dos critérios propostos para usabilidade em ordem de prioridade e em ordem de qualidade, e ainda, para uma técnica de avaliação da usabilidade dos produtos de software de acordo com o grau de satisfação do usuário. A metodologia proposta foi dividida em quatro partes: • Primeira parte – Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade. O objetivo desta primeira parte é propor um método de classificação dos critérios de acordo com os seus respectivos graus de importância, em relação à área de aplicação selecionada. E demonstrar que a prioridade de cada um desses critérios varia de acordo com a área de aplicação. • Segunda Parte – Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. O objetivo dessa segunda parte é propor um método para classificação dos critérios de acordo com os seus respectivos graus de qualidade, em relação ao produto de software selecionado. • Terceira Parte – Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. 49 O objetivo dessa terceira parte é propor um método para avaliação da usabilidade em um produto de software de acordo com as opiniões dos usuários. Trabalha unificando a técnica apresentada na primeira parte com a técnica apresentada na segunda parte, e deste modo determina um fator de usabilidade, o qual será utilizado para avaliar a qualidade do produto de software selecionado. • Quarta Parte – Utilização da Técnica Apresentada na Terceira Parte, citada acima, de Acordo com o Perfil dos Usuários. O objetivo dessa quarta parte é utilizar a técnica para avaliação da usabilidade de um produto de software, proposta na terceira parte, e através desta avaliar a variação do fator de usabilidade de acordo com os perfis dos usuários. 3.3. Características das Áreas de Aplicação Selecionadas para a Pesquisa. As áreas de aplicação escolhidas para serem pesquisadas na primeira parte da metodologia foram: • Biblioteca; • Engenharia Civil; • Laboratório Clínico; • Coordenação Acadêmica. Esta escolha deve-se aos seguintes fatos: − Por serem quatro áreas bastante distintas; − Pela facilidade de encontrar um número maior de pessoas capacitadas na região para responder ao questionário proposto; − Pela facilidade de acesso, por parte da autora desse trabalho, às pessoas destas áreas. As áreas de aplicação escolhidas para serem pesquisadas nas demais partes da metodologia foram: • Gestão de Plataformas; • Gestão Hospitalar. Esta escolha deve-se ao seguinte fato: − Por serem áreas bastante distintas; − Pela facilidade de acesso aos usuários destas duas áreas. 50 3.3.1. Área de Biblioteca. É a área responsável por consultas e empréstimos de livros, revistas, jornais, periódicos, etc. Sendo de grande importância não só para os estudantes, mas para toda a sociedade. Nesta área as principais tarefas que a caracteriza são: • Consultas; • Empréstimos; • Devoluções; • Controle de multas. 3.3.2. Área de Engenharia Civil. É uma área bastante técnica, de suma importância e que exige uma alta precisão. Responsável pelas construções em geral. A maioria dos usuários de software nesta área é: engenheiro, técnico, orçamentista, eletricista, projetista e bombeiros hidráulicos. Nesta área as principais tarefas que a caracteriza são: • Cálculos estruturais; • Cálculos geotécnicos; • Projetos de instalação elétrica; • Projetos de instalação hidráulica; • Plantas de obras. 3.3.3. Área de Laboratório. É uma área bastante relacionada ao setor de saúde e responsável pela realização de exames clínicos em geral. Nesta área as principais tarefas que a caracteriza são: • Consultas gerais; • Marcação de exames; • Pagamentos e recebimentos; • Diagnósticos; • Convênios. 51 3.3.4. Área de Coordenação Acadêmica. É uma área relacionada ao setor de educação e responsável pelo controle da vida acadêmica dos discentes. Nesta área as principais tarefas que a caracteriza são: • Controle de cursos; • Controle de notas; • Controle de disciplinas; • Inclusão e cancelamento de matrículas; • Geração de declarações e históricos escolares. • Geração de atas e diários para os docentes. 3.3.5. Área de Gestão de Plataformas. É a área responsável pelo controle da exploração de petróleo nas plataformas. Nesta área as principais tarefas que a caracteriza são: • Controle de extração; • Controle de refinamento; • Controle de embarque; • Controle das escalas. 3.3.6. Área de Gestão Hospitalar. É uma área relacionada ao setor de saúde, sendo de grande importância e de suma necessidade para toda comunidade. Nesta área as principais tarefas que a caracteriza são: • Tratamento de exames; • Marcação de consultas; • Internações; • Compras; • Finanças; • Controle dos funcionários; • Controle de convênios. 52 3.4. Questionário: Instrumento de Pesquisa. Para concretizar a pesquisa de campo necessita-se de um instrumento de trabalho. O sucesso das pesquisas de opinião depende da objetividade do instrumento de coleta adotado. Quanto mais dirigido para os dados que se pretende analisar, e quanto menos ambíguo, melhor será a eficácia do instrumento. Entre os instrumentos utilizados em pesquisas de opinião, geralmente entrevistas e questionários, o escolhido foi o questionário. Esta escolha se deve aos seguintes razões: − Por ser um instrumento que necessita de um baixo custo para sua elaboração e aplicação; − Pela possibilidade de entregar os questionários aos usuários no primeiro momento e recolher após um determinado tempo, pois desta maneira não é necessário interromper as atividades dos usuários. − Sendo a pesquisa de campo baseada na opinião dos usuários, a escolha do questionário pareceu ser a mais adequada. Pois com a utilização do questionário, os usuários possuem um tempo maior para respondê-lo, além de se sentirem mais à vontade. Isso acarreta uma maior precisão e estabilidade nas respostas. Segundo PARASURAMAN apud CHAGAS (2000), “um questionário é tão somente um conjunto de questões, feito para gerar os dados necessários para se atingir os objetivos do projeto”. O autor afirma, também, que construir questionários não é uma tarefa fácil e que aplicar tempo e esforço adequados para a construção do questionário é uma necessidade, um fator de diferenciação favorável. A metodologia apresentada utiliza dois questionários. Um foi utilizado para coletar os dados necessários para definir a prioridade dos critérios da usabilidade para cada área de aplicação avaliada. E o outro foi utilizado para coletar os dados necessários para definir a qualidade dos critérios da usabilidade para cada produto de software avaliado. Foram elaborados dois questionários na fase inicial do trabalho, que serviram como pré-teste; estes questionários foram melhorados e deram origem aos dois questionários utilizados no decorrer do trabalho. É importante a realização de um pré-teste porque é provável que não se consiga prever todos os problemas e/ou dúvidas que podem surgir durante a aplicação do questionário. Segundo MATTAR apud CHAGAS (2000), os pré-testes 53 podem ser realizados inclusive nos primeiros estágios, quando o instrumento ainda está em desenvolvimento. Após avaliar as vantagens e desvantagens de cada forma de resposta para os questionários, concluiu-se que para a metodologia proposta o melhor seria que todos os questionários utilizados apresentassem apenas questões de múltipla escolha. Neste caso, os usuários optam por uma das alternativas. Os motivos que levaram a opção por este uso de forma de resposta foram baseados no texto de MATTAR apud CHAGAS (2000), onde apresenta as principais vantagens das questões de múltipla escolha: • Facilidade de aplicação, processo e análise; • Facilidade e rapidez no ato de responder; • Apresentam pouca possibilidade de erros; • Trabalham com diversas alternativas. As etapas relacionadas à adequação do questionário estão representadas na FIGURA 3.1 a seguir. Início Elaboração do Questionário Questionário Aplicação Inicial/ Experimentação Ajustes Técnicos e Operacionais Aprovado? Não Sim Aplicação do Questionário FIGURA 3.1 - Fluxograma das etapas de adequação do questionário. Fonte: Adaptado de RIBAS (2001). 3.4.1. Questionários Utilizados na Parte Inicial do Trabalho, Durante o Préteste. 3.4.1.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios. 54 Este é o primeiro questionário e tem como objetivo definir a prioridade dos critérios propostos para a área de aplicação selecionada. Na primeira parte do questionário foram coletadas as informações referentes à área de aplicação e ao tempo de experiência do usuário na área. Na parte da coleta de dados referente à importância dos critérios, o questionário apresentou onze critérios para a avaliação. Estes critérios foram avaliados pelos usuários através da marcação nas opções referentes aos seguintes conceitos: Grande Importância, Média Importância, Pouca Importância e Nenhuma Importância. • Grande Importância: quando o critério é essencial para a área de aplicação. • Média Importância: quando o critério é importante, mas não impedirá o bom funcionamento do software na área de aplicação. • Pouca Importância: quando o critério tem pouca influência nas funcionalidades da área de aplicação. • Nenhuma Importância: quando o critério não influencia nas funcionalidades da área de aplicação. 3.4.1.2. Questionário Utilizado para Avaliação da Qualidade do Produto de Software em Relação aos Critérios. Este é o segundo questionário e tem como objetivo definir a qualidade do produto de software selecionado em relação aos critérios propostos. Na primeira parte do questionário foram coletadas as informações referentes ao produto de software utilizado, a área de aplicação, ao tempo de experiência do usuário em relação ao uso do produto e a empresa. Na parte da coleta de dados referente à qualidade do produto de software em relação aos critérios, o questionário apresentou os mesmos onze critérios utilizados no primeiro questionário. Estes critérios foram avaliados pelos usuários através da marcação nas opções referentes aos seguintes conceitos: Muito Bom, Bom, Médio, Ruim , Péssimo e Inexistente. • Muito Bom: quando o produto de software é excelente em relação ao critério. • Bom: quando o produto de software é satisfatório em relação ao critério. • Médio: quando o produto de software é utilizável em relação ao critério. • Ruim: quando o produto de software é insatisfatório em relação ao critério. • Péssimo: quando o produto de software é inutilizável em relação ao critério. 55 • Inexistente: quando o critério não existe no produto de software avaliado. Nesta fase inicial do trabalho, os questionários foram utilizados em conjunto com um “entrevistador”, cuja função era esclarecer para os usuários o significado de cada um dos critérios abordados. 3.4.2. Questionários Utilizados no Decorrer do Trabalho, após o Pré-teste. Os critérios, cujos termos eram técnicos, foram transformados para uma linguagem mais próxima à do usuário, dispensando assim a presença do “entrevistador”. Foram acrescentados cinco critérios, que surgiram pelas necessidades sugeridas pelos próprios usuários durante a pesquisa utilizando o questionário do pré-teste. 3.4.2.1. Questionário Utilizado para Avaliação da Prioridade dos Critérios. Este é o primeiro questionário e tem como objetivo definir a prioridade dos critérios propostos para a área de aplicação selecionada. Na primeira parte do questionário foram coletadas as informações referentes à área de aplicação e ao tempo de experiência do usuário na área. Na parte da coleta de dados referente à importância dos critérios, o questionário apresentou dezesseis critérios para a avaliação. Estes critérios foram avaliados pelos usuários através da marcação nas opções referentes aos seguintes conceitos: Grande Importância, Média Importância, Pouca Importância e Nenhuma Importância. 3.4.2.2. Questionário Utilizado para Avaliação da Qualidade do Produto de Software em Relação aos Critérios. Este é o segundo questionário e tem como objetivo definir a qualidade dos critérios propostos para o produto de software selecionado. Na primeira parte do questionário foram coletadas as informações referentes ao produto de software utilizado, a área de aplicação e ao tempo de experiência do usuário em relação ao uso do produto, a empresa e o setor. Essas informações serão necessárias para identificar o produto e a área, e também para traçar o perfil dos usuários. 56 A segunda parte tem a finalidade de fazer uma avaliação geral do produto de software em relação à ocorrência de erros ou falhas, a satisfação das expectativas, a facilidade de uso e ao tempo de execução das operações. Servindo também para verificar se as respostas desta parte geral conferem com as respostas da próxima parte, onde cada parte da avaliação geral foi desmembrada em vários critérios específicos, medindo assim a estabilidade das respostas. Nesta parte as características foram avaliadas segundo suas existências, onde os usuários marcaram uma das seguintes opções: Sim, Não e Às Vezes. Na parte da coleta de dados referente à qualidade do produto de software em relação aos critérios, o questionário apresentou os mesmos dezesseis critérios utilizados no primeiro questionário. Estes critérios foram avaliados pelos usuários através da marcação nas opções referentes aos seguintes conceitos: Muito Bom, Bom, Médio, Ruim , Péssimo e Inexistente. 3.5. Aplicação da Metodologia. 3.5.1. Na Fase Inicial, Utilizando os Questionários do Pré-teste. • Na área de Biblioteca: Os usuários que participaram da pesquisa foram os profissionais que trabalham nas bibliotecas das universidades da região. Foi pesquisado um total de nove bibliotecas localizadas nas escolas e universidades da região. • Na área de Engenharia Civil: Os usuários que participaram da pesquisa foram os profissionais que trabalham na UENF (Universidade Estadual do Norte Fluminense), no CEFETCampos (Centro Federal de Educação Tecnológica de Campos) e na Cooperativa da prefeitura de Campos. Entre os profissionais entrevistados, pode-se citar: engenheiros, professores, técnicos, orçamentistas e projetistas. • Na área de Laboratório: Os usuários que participaram da pesquisa foram os profissionais que trabalham nos laboratórios da região. Foi pesquisado um total de seis laboratórios localizados na região. • Na área de Coordenação Acadêmica: Os usuários que participaram da pesquisa foram os profissionais que trabalham nas coordenações acadêmicas das universidades da região. Foi pesquisado um 57 total de cinco coordenações acadêmicas localizadas nas escolas e universidades da região. Nas quatro áreas citadas acima, a pesquisa foi referente à primeira parte da metodologia proposta. • Na área de Gestão de Plataformas: Os usuários que participaram da pesquisa foram os profissionais que trabalham na Petrobrás de Macaé-RJ, mais precisamente na plataforma 27 (P27) da Bacia de Campos-RJ. A pesquisa foi realizada a pedido da própria empresa, a qual mostrou um grande interesse em participar da pesquisa. A coleta de dados foi realizada nos meses de julho e agosto do ano de 2002. Nesta área, a pesquisa foi referente à primeira, segunda e terceira parte da metodologia proposta. 3.5.2. No Decorrer do Trabalho, Utilizando os Questionários Após o Pré-teste. • Na área de Gestão Hospitalar: Os usuários que participaram da pesquisa foram os profissionais que trabalham no Hospital Álvaro Alvim em Campos- RJ. Foi enviada uma carta ao diretor deste hospital pedindo autorização para a realização da pesquisa no referido estabelecimento. Este contato foi proporcionado por um funcionário do próprio hospital. A autorização foi concedida pelo diretor, o qual demonstrou bastante interesse na pesquisa. A pesquisa foi efetuada em onze setores do hospital. A coleta de dados foi realizada nos meses de setembro e outubro do ano de 2002. Nesta área foi realizado também um estudo da variação do fator de usabilidade em relação ao perfil dos usuários. Para isso, os usuários foram divididos por setor e por tempo de experiência em relação ao uso do produto de software avaliado. Nesta área, a pesquisa foi referente à primeira, segunda, terceira e quarta parte da metodologia proposta. 3.6. Identificação da População Amostral. A pesquisa de campo foi realizada durante os seis primeiros meses de 2002. A amostragem foi considerada aleatória em toda a pesquisa, pois qualquer elemento da população pode ser incluído. Isso se explica pelo fato que qualquer usuário das áreas de aplicações ou dos produtos de software selecionados podem ser incluídos na amostra. 58 Foram pesquisadas seis amostras diferentes, mas todas com as mesmas características citadas acima. O número escolhido de usuários é baseado em um estudo realizado por TOM LANDAUER e JAKOB NIELSEN (NIELSEN apud KULCZYNSKYJ, 2002), onde eles explicam que para se obter resultados satisfatórios em um teste de usabilidade são necessários apenas 5 usuários. A FIGURA 3.2 mostra uma curva que representa melhor o estudo realizado por eles, onde, conforme o número de informantes (usuários), consegue-se descobrir a quantidade de problemas envolvendo a usabilidade. FIGURA 3.2 - Problemas de usabilidade X número de informantes (usuários). Fonte: KULCZYNSKYJ (2002). Outro trabalho baseado nesta quantidade de informantes é o estudo de Monteiro et al. apud KULCZYNSKYJ (2002), onde foi adotada uma posição similar a de NIELSEN, citando que são necessários no mínimo cinco informantes (usuários) para que a maioria dos problemas envolvendo usabilidade seja revelada. Foram selecionadas amostras maiores que a mínima proposta pelos estudos citados acima, para que a população pudesse ser representada de maneira mais efetiva. Em relação à primeira parte da metodologia foi estipulado um tamanho igual para as amostras das áreas de Biblioteca, Engenharia Civil, Laboratório e Coordenação Acadêmica. Em relação às demais partes da metodologia, o tamanho da amostra dependeu diretamente do número de usuários que respondeu aos 59 questionários em cada uma das empresas que colaboraram com a pesquisa. A TABELA 3.1 mostra o tamanho de cada uma das seis amostras. TABELA 3.1 – Tamanho das amostras. Áreas Biblioteca Engenharia Civil Laboratório Coordenação Acadêmica Gestão de Plataformas Gestão Hospitalar Total Tamanho da Amostra 30 30 30 30 20 50 190 3.7. Definição dos Critérios Utilizados para Avaliar a Usabilidade. De acordo com a norma ISO/IEC 9126-1 (NBR 13596) Modelo de Qualidade, descrita no Capítulo II deste trabalho, o terceiro nível da hierarquia do modelo de qualidade é definido pelo usuário do modelo. Sendo assim a definição dos critérios relacionados as subcaraterísticas de cada uma das características proposta pela norma citada acima, é de total responsabilidade do usuário do modelo de qualidade apresentado pela norma ISO/IEC 9126-1. Durante a fase inicial do trabalho foram utilizados os questionários do préteste, como mencionado anteriormente. Estes questionários foram compostos por onze critérios definidos de acordo com os critérios da usabilidade propostos pela metodologia apresentada pela CELEPAR (Companhia de Informática do Paraná). A metodologia da CELEPAR encontra-se no Anexo A. Os onze critérios utilizados nestes questionários para a avaliação da usabilidade foram: • Help On-Line. É um tipo de função existente em um produto de software que fornece informações úteis sobre a utilização desse produto. Este tipo de função pode ser acessado sempre que o usuário necessitar durante o uso interativo do produto de software. Há dois tipos de Help On-Line: − Por função: é a breve descrição do que é, como funciona, para que serve e como usar a função. 60 − Por campo: é a breve descrição do que representa e qual o conteúdo a informar, possibilitando consulta às opções existentes conforme mostra a TABELA 3.2. TABELA 3.2 – Exemplo de descrição de Help por campo Nome do Campo Estado Civil Descrição Informação do estado civil Conteúdo Numérico de 1 até 4 Opções Existentes 1 – Solteiro 2 – Casado 3 – Viúvo 4 – Divorciado 5 - Outros Uma série de questões deve ser analisada em relação às facilidades de ajuda, ou, Help On-Line: − A ajuda está disponível a todas as funções do sistema e o tempo todo durante a interação com o sistema? − Como o usuário solicitará ajuda? Entre as opções incluem-se: um menu de ajuda, uma tecla de função especial, um comando help? − Como a ajuda é representada? − Como o usuário retorna a interação normal? − Como as informações de ajuda são estruturadas? • Navegação. É a facilidade de caminhar entre funções e/ou sistemas, respeitando a segurança de acesso e possibilitando a passagem de parâmetros para uma nova função. A navegação entre telas, é um item importante do ponto de vista do usuário. A passagem de uma tela para outra jamais deve ser lenta pois desmotiva o usuário no seu trabalho. Independentemente da complexidade do código e do seu processamento, a passagem de uma tela para outra deve ser quase transparente no tempo, para que possa fazer sentido ao usuário e ao seu trabalho. Uma série de questões deve ser analisada em relação à navegação: − Toda opção de menu tem um comando correspondente? − Qual a forma dos comandos? 61 − Há algum grau de dificuldade em aprender e lembrar dos comandos? − Os comandos podem ser customizados ou abreviados pelo usuário? • Facilidade de Instalação. É a capacidade do software de interagir com o usuário na instalação para o seu efetivo uso. • Prevenção Contra Erros de Operação. É a capacidade do software de validar os dados e/ou opções de entrada, alertando o usuário quando a operação comprometer a integridade dos dados. • Auditabilidade. É a capacidade do software de verificar a integridade dos dados e de rastrear as atualizações significativas nos dados (quem fez, o que fez e quando fez). • Reaproveitamento da Entrada de Dados. É a capacidade do software de aproveitar os dados já informados em funções anteriores sem a necessidade de nova entrada. • Padronização. Consiste na utilização de um modelo único dentro do software quanto às telas, relatórios e procedimentos. Por exemplo, o software deve apresentar padronização nos seguintes itens: telas, mensagens, relatórios, help, teclas, disposição dos campos na tela, nome dos campos, etc. • Mensagens. Consiste na capacidade do software de interagir com o usuário, através de mensagens claras e objetivas, utilizando-se de um vocabulário comum. O texto que se exibe nas telas é a fonte primária de informação para os usuários. Se o texto é pobre então a interface também o será. As palavras escritas corretamente, sem abreviações e códigos fazem com que o texto seja mais fácil de entender. As mensagens devem ser formuladas positivamente, insinuando a perspicácia do usuário, em como usar a aplicação corretamente. As mensagens devem ser formuladas constantemente e devem ser exibidas em um lugar/posição consistente na tela. As mensagens podem ser de esclarecimento, de consistência ou de instrução. Cada mensagem ou aviso de erro produzido por um sistema interativo deve ter as seguintes características: 62 − A mensagem deve descrever o problema numa linguagem profissional que o usuário possa entender; − A mensagem deve oferecer conselhos construtivos para que se possa recuperar do erro; − A mensagem deve indicar quaisquer conseqüências negativas do erro de forma que o usuário possa verificar para garantir que elas não tenham ocorrido; − A mensagem deve ser acompanhada de um sinal visual ou sonoro. • Documentação. Documentação clara e abrangente, permitindo que o usuário possa conhecer todo o potencial do software. Pode ser composta por Manuais e Cartão de Referência. Este aspecto está refletido na qualidade e adequação do material fornecido aos usuários, para auxiliar sua iniciação no uso da interface e na resolução de seus problemas de uso. A documentação do sistema deve ser detalhada e completa, escrita em uma linguagem simples e compreensível. • Auto-instrução. É a capacidade do software de proporcionar ao usuário aprendizagem através de uma simulação. • Glossário. Consiste na capacidade do software de oferecer ao usuário um dicionário de termos técnicos utilizados pelo mesmo. De acordo com as sugestões recebidas pelos próprios usuários que participaram da pesquisa na fase do pré-teste dos questionários e baseado nos componentes da usabilidade sugeridos por diversos autores, conforme apresentado no Capítulo II deste trabalho; foram adicionados cinco novos critérios aos onze já existentes, originando desta forma o modelo dos questionários finais aplicados após a fase do pré-teste. Os cinco novos critérios utilizados para a avaliação da usabilidade foram: • Precisão. Consiste na capacidade do software de processar e emitir resultados (saídas) com valores corretos e precisos. • Tempo de Processamento. Consiste no tempo necessário para o software processar, emitir resultados e acessar determinadas funções. 63 • Segurança. Consiste na capacidade do software de impedir a entrada de usuários não autorizados e de limitar a autorização de determinadas tarefas de acordo com cada usuário. • Recuperação de Dados. Consiste na capacidade do software de recuperar os dados perdidos em caso de erros e/ou falhas que possam vir a ocorrer. • Resistência aos Erros. Consiste na capacidade do software de dar continuidade ao processamento de dados e a rotina normal de trabalho em caso de erros e/ou falhas que possam vir a ocorrer. 3.7.1. Classificação das Subcaracterísticas da Usabilidade de Acordo com os Critérios. Conforme a norma ISO/IEC 9126-1 (NBR 13596) Modelo de Qualidade, as subcaracterísticas de cada uma das características propostas podem ser avaliadas de acordo com vários critérios ou atributos. A TABELA 3.3 descreve a classificação das subcaracterísticas da usabilidade de acordo com os critérios definidos anteriormente. Cada critério poderá influenciar em uma ou mais subcaracterísticas. TABELA 3.3 – Classificação das subcaracterísticas da usabilidade de acordo com cada critério. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Subcaracterísticas Operacionalidade Aprendizagem Inteligibilidade 64 Pela TABELA 3.3 acima pode-se concluir que os critérios propostos no item 3.7. irão influenciar as subcaraterísticas da usabilidade da seguinte forma: • Operacionalidade: Help On-Line, Navegação, Facilidade de instalação, Prevenção contra erros, Auditabilidade, Reaproveitamento de dados, Padronização, Precisão, Tempo de processamento, Segurança, Recuperação de dados e Resistência aos erros. • Apredizagem: Help On-Line, Padronização, Documentação, Glossário, Mensagens e Auto-instrução. • Inteligibilidade: Help On-Line, Documentação, Glossário, Mensagens e Precisão. No próximo capítulo serão apresentadas as técnicas utilizadas na metodologia proposta. 7 CAPÍTULO 2 – REVISÃO BIBLIOGRÁFICA Neste capítulo, são apresentados alguns conceitos e normas que serviram como base teórica para o desenvolvimento deste trabalho. 2.1. Qualidade. A filosofia da administração fundamentada na melhoria contínua da qualidade nasceu dentro da indústria e atualmente é o grande motivador em todas as áreas de atividade humana. Todos querem fornecer e receber produtos e/ou serviços de qualidade. Na era da globalização e de um mercado altamente competitivo, a qualidade é vista como o grande diferencial, sendo na maioria das vezes a responsável pela permanência do produto e/ou serviço no mercado. Definir qualidade é um tanto difícil, devido às múltiplas abrangências e dimensões da palavra. Diversos autores já propuseram uma definição para “qualidade”, como estas: Segundo CROSBY apud RIBAS (2001), “qualidade é conformidade com os requisitos, é um fator atingível, mensurável com toda precisão e lucrativo, que pode ser estabelecido desde que haja compromisso e compreensão. A não conformidade é a ausência de qualidade”. Para DEMING apud RIBAS (2001), “qualidade é algo como que dá orgulho ao trabalhador pela sua produção (ou prestação de serviços). E esse orgulho, por sua vez, supõe redução nas variações (permanente), conhecimento profundo e habilidades adequadas. Ou projetar e modificar produtos e serviços adequados às exigências do consumidor e produzi-los com a melhoria dos processos”. JURAN apud RIBAS (2001) define a qualidade como uma propriedade do produto (ou serviço) que se torna “adequado ao uso”. E essa “adequação” existe, para ele, quando o produto (ou serviço) é confiável e atende as necessidades de quem o utiliza (ou consome). Segundo este mesmo autor, qualidade tem duas dimensões: a primeira é o perfil do produto que atende às necessidades do cliente; a segunda é a “ausência de defeitos”. Em 1924, o Dr. Walter Shewhart desenvolveu uma maneira de se abordar problemas sugeridos no controle de um processo organizacional em geral (DE 8 SOUZA, 2001). A representação básica desse método é o chamado ciclo de Shewhart ou ciclo da qualidade, conforme mostra a FIGURA 2.1. Planeje Faça Atue Verifique FIGURA 2.1 - Ciclo de Shewhart. Fonte: Adaptado DE SOUZA (2001). 2.2. Engenharia de Software. Usado pela primeira vez em 1968, em Garmisch, Alemanha, durante um workshop destinado aos crescentes problemas da tecnologia de software, o termo Engenharia de Software nomeia a disciplina tecnológica preocupada com a produção e manutenção sistemática de produtos de software, desenvolvidos e modificados dentro de prazos e custos estimados (FARLEY apud MEDEIROS, 1999). Segundo PRESSMAN (1995), a primeira definição de engenharia de software foi proposta por Fritz Bauer, e diz que a engenharia de software é “o estabelecimento e uso de sólidos princípios de engenharia para que se possa obter economicamente um software que seja confiável e que funcione efetivamente em máquinas reais”. Segundo ROCHA (1990) “a engenharia de software tem como objetivo desenvolver produtos de alto nível de qualidade. Para isso preocupa-se com a qualidade do produto e a qualidade do desenvolvimento do produto”. A engenharia de software tem como um dos seus objetivos básicos a qualidade de software. 2.3. Qualidade de Software. Antes de definir qualidade de software é necessário entender o ciclo de vida clássico de desenvolvimento de um produto de software, este ciclo foi modelado em 9 função do ciclo da engenharia convencional. Para PRESSMAN (1995), o ciclo de vida clássico do software é dividido em seis partes e pode ser representado pela FIGURA 2.2. Avaliação Análise Projeto Implementação Entender o problema Entender a solução Selecionar e planejar a melhor solução Fazer a solução funcionar Teste Avaliar os resultados da solução Manutenção Modificar e aperfeiçoar a solução FIGURA 2.2 - Ciclo de vida clássico do software. Fonte: PRESSMAN (1995). O paradigma do ciclo de vida aborda as seguintes atividades: • Avaliação – é a avaliação e engenharia de sistemas. Uma vez que o software sempre faz parte de um sistema mais amplo, o trabalho inicia-se com o estabelecimento dos requisitos para todos os elementos do sistema e prossegue com a atribuição de certo subconjunto desses atributos de software. • Análise – é a análise de requisitos do software. O processo de coleta dos requisitos é intensificado e concentrado especificamente no software. Para entender a natureza dos produtos de software a serem construídos, o engenheiro de software deve compreender o domínio da informação para o software, bem como a função, desempenho e interface exigidos. • Projeto – o projeto de software é um processo de múltiplos passos que se concentra em quatro atributos distintos: estrutura de dados, arquitetura de software, detalhes procedimentais e caracterização da interface. Este processo 10 traduz as exigências numa representação do software que pode ser avaliada quanto à qualidade antes que a codificação se inicie. • Implementação – é a etapa responsável por traduzir o projeto em uma forma legível para a máquina. • Teste – assim que o código for gerado, inicia-se a realização de testes no produto de software. O processo de realização de testes concentra-se nos aspectos lógicos internos do software, garantindo que todas as instruções tenham sido testadas, e concentra-se também nos aspectos lógicos funcionais externos, ou seja, realizando testes para descobrir erros e garantir que a entrada definida produza resultados reais que concordem com os resultados exigidos. • Manutenção – indubitavelmente o produto de software sofrerá mudanças depois que for entregue ao cliente. Ocorrerão mudanças porque erros podem ser encontrados, porque o software deve ser adaptado a fim de acomodar mudanças em seu ambiente externo ou porque o cliente exige acréscimos funcionais ou de desempenho. É possível relacionar o ciclo da qualidade, apresentado no item 2.1, com o ciclo de vida clássico do software apresentado acima. O relacionamento entre as atividades desses dois ciclos pode ser demonstrado de acordo com a TABELA 2.1. TABELA 2.1 - Relacionamento das atividades do ciclo de qualidade e o ciclo de vida do software. Ciclo de Qualidade Planeje Faça Verifique Atue Ciclo de Vida do Software Avaliação, Análise e Projeto Implementação Teste Manutenção A produção de software de alta qualidade é um aspecto crítico para a maior parte das grandes organizações. O ponto crítico, a ser analisado para a qualidade do software, é satisfazer as necessidades do usuário, o que não necessariamente é igual a atender as especificações definidas. Para se ter um sistema de qualidade, o primeiro passo é, então, fazer com que a definição das especificações esteja de acordo com as necessidades do usuário (LAUDON & LAUDON apud DA SILVA, 2001). Enquanto, nos anos 80, a indústria de software se concentrou no aumento da produtividade, a partir da década de 90, o esforço foi dirigido à qualidade de 11 software. Antes, a qualidade de software estava associada somente ao produto dentro das especificações, entrega nos prazos acertados e com custos reduzidos; atualmente, qualidade de software está definida por características como: a confiabilidade, a eficiência, a interação com o usuário, a falta de defeitos, a facilidade para ser modificado e compreendido, etc. Com o progresso da TI (Tecnologia da Informação), ocupando lugar de destaque como forma de prestar um melhor atendimento ao cliente, e possibilitar um sistema de informação que assegure a competitividade no mercado, a quantidade de software vem crescendo e tornando essencial a gestão da qualidade desses produtos (DA SILVA, 2001). Segundo PRESSMAN (1995), qualidade de software é a conformidade dos requisitos funcionais e de desempenho explicitamente declarados, a padrões de desenvolvimento claramente documentados e a características implícitas que são esperadas de todo software profissionalmente desenvolvido. A avaliação da qualidade de software pode ser realizada em dois momentos: durante a geração do software e após este estar pronto para o uso, chamando esses dois momentos, respectivamente, de processo e produto. No primeiro momento procura-se avaliar de que forma o software está sendo desenvolvido, identificando práticas que possam conduzir a problemas na qualidade do produto e desenvolvendo e/ou utilizando métodos e ferramentas que evitem esses problemas. No segundo momento, como produto concluído, procura-se avaliar a sua qualidade a fim de identificar deficiências e limitações em sua aplicabilidade como um produto final. A norma internacional ISO/IEC 9126-1, que na versão brasileira recebeu o número NBR 13596, define qualidade de software como “A totalidade de características de um produto de software que lhe confere a capacidade de satisfazer necessidades explícitas e implícitas”. Necessidades explícitas são as condições e objetivos propostos por aqueles que produzem o software. São portanto fatores relativos à qualidade do processo de desenvolvimento do produto e são percebidos somente pelas pessoas que trabalharam no seu desenvolvimento. As necessidades implícitas são necessidades subjetivas dos usuários (operadores, destinatários dos resultados do software e os mantenedores do 12 produto); são também chamadas de fatores externos e podem ser percebidas pelos desenvolvedores e pelos usuários. As necessidades implícitas são também chamadas de qualidade em uso e devem permitir a usuários atingir metas com efetividade, produtividade, segurança e satisfação em um contexto de uso especificado. A utilização de um software de qualidade garante a segurança de pessoas e a disponibilidade de serviços essenciais à população. Em geral, com a utilização de software de qualidade a sociedade pode dispor de melhores produtos a um menor custo. De acordo com FERNANDES (2001), o controle da qualidade surge como uma necessidade; e a avaliação para julgamento da qualidade de software torna-se muito útil. Sendo a avaliação da qualidade do software muito importante para: − Produtor de software: na avaliação durante o processo de desenvolvimento para assegurar a qualidade do produto final e corrigir aspectos negativos antes da liberação do produto. No produto já lançado para avaliar e planejar ações corretivas e evolutivas. − Comprador: ajudá-lo na seleção do produto mais adequado às suas necessidades. − Usuário: ajudá-lo a ter mais confiança no produto que está usando. − Vendedor: este usa a qualidade do produto para argumento de venda. 2.4. Métricas de Software. A métrica é um padrão de medida, utilizada para julgar os atributos de algo que está sendo medido. Sendo assim, métrica de software é uma função cuja entrada são dados e cuja saída é um valor que pode ser interpretado como o grau no qual o software possui um dado atributo que afeta a sua qualidade. PRESSMAN (1995) assinala que o objetivo do estudo das métricas em software é ajudar na escolha da melhor alternativa nos vários pontos do ciclo de vida. Portanto, métricas de software é uma área destinada à designação numérica ou simbólica a determinados atributos de entidades (produto, processo ou recurso), usadas para quantificá-los, conservando suas relações empíricas. Consistem de uma escala, medidas e métodos de medição (INCE apud BELCHIOR, 1997). Segundo ABREU apud BELCHIOR, as métricas de software podem ser classificadas baseadas em três perspectivas: quanto ao objeto, critério e método. 13 Quanto ao objeto, as métricas podem ser: • Métricas de Produto: são aplicáveis aos produtos de qualquer das fases de desenvolvimento, quantificando, por exemplo, a sua dimensão, complexidade ou qualidade. • Métricas de Processo: devem refletir na eficácia da execução do processo, o grau de atendimento aos objetivos de qualidade do processo dentro dos prazos. Quanto ao critério, as métricas podem ser: • Métricas Objetivas: são geralmente obtidas através de regras bem definidas, sendo a única forma de possibilitar comparações posteriores consistentes. • Métricas Subjetivas: são baseadas em atributos cuja medição não pode ser feita senão de forma subjetiva, sendo muitas vezes derivada de resultados de questionários e entrevistas, e por vezes classificadas numa escala. Quanto ao método de obtenção, as métricas podem ser: • Métricas Diretas: são as expressões de um atributo único. Neste caso não dependem da medida de outro atributo, permitindo a quantificação de uma característica observada no produto. • Métricas Indiretas: são calculadas com base em outras métricas, ou seja, envolvem as medidas de um ou mais atributos relacionados a este. Neste trabalho as métricas utilizadas são classificadas como: métricas de produtos, pois são aplicáveis aos produtos de software; métricas subjetivas, pois os resultados são baseados nas opiniões dos usuários; e métricas diretas, pois não dependem de outro tipo de medida. 2.4.1. Métricas de Produtos de Software. Métricas de produto de software é a quantificação do grau de presença de determinadas características no produto de software. De acordo com o Subcomitê de Software da ABNT (Associação Brasileira de Normas Técnicas), os objetivos de métricas de produto de software são: • Definir requisitos de qualidade; • Medir e melhorar a qualidade dos produtos; • Prever e controlar a qualidade do produto; 14 • Tomar decisões quanto à liberação ou aceitação de produto. 2.5. Qualidade do Produto de Software. Os produtos de software são divididos em quatro tipos, conforme a quinta edição da pesquisa de Qualidade e Produtividade no Setor de Software Brasileiro – 2001 (MCT/SEPIN, 2002): − Pacotes: também chamados de “packaged softwares” compõe a maioria dos programas aplicativos da atualidade. São os programas de aquisição e uso praticamente imediato que procura atender o grande público em geral. São programas planejados para um usuário comum, padrão, logo podem não corresponder às exigências mais específicas. − Personalizados, sob encomenda ou de uso específico: também chamados de “custom softwares”. São softwares planejados e escritos geralmente por programadores e consultores para atender uma determinada tarefa específica. Geralmente possuem um custo mais elevado do que seus correlatos quando encontrados na forma de pacotes. − Para Internet, também chamados de “Internet softwares”. São os softwares desenvolvidos para a Internet, chamados de sites. − Embarcados ou Embutidos, também chamados de “bundled” ou “embedded softwares”. São os softwares comercializados "embutidos" dentro de um hardware proprietário, destinados às áreas industriais, de telecomunicações e bancárias. Pode ser classificado como Embutido, um software complexo que instalado em um computador controla todo um ambiente de equipamentos mais sofisticados; e Embacardo, o que acompanha o hardware e o sistema operacional instalado. Segundo TSUKUMO apud FERNANDES (2001), a qualidade de um produto de software é resultante das atividades realizadas no processo de desenvolvimento do mesmo. Avaliar a qualidade de um produto de software é verificar através de técnicas e atividades operacionais o quanto cada requisito é atendido. Tais requisitos de uma maneira geral, são a expressão das necessidades, explicitados em termos quantitativos ou qualitativos, e têm por objetivo definir as características de um software, a fim de permitir o exame de seu atendimento. Segundo Koscianski apud FERNANDES (2001), a avaliação do produto de software tem sido uma das formas empregadas por organizações que produzem ou adquirem software para obtenção de maior qualidade nestes produtos. 15 A qualidade dos produtos de software pode ser avaliada de acordo com as seguintes normas: − ISO/IEC 9126: esta norma descreve um modelo de qualidade e alguns exemplos de métricas que podem ser utilizadas para avaliação do produto de software. − ISO/IEC 14598: esta norma oferece uma visão geral dos processos de avaliação dos produtos de software e fornece guias e requisitos para a avaliação. − ISO/IEC 12119: esta norma é aplicável a pacotes de software, estabelecendo requisitos e instruções a respeito de como testar um pacote de software em relação aos requisitos estabelecidos. 2.6. Normas de Qualidade do Produto de Software. Denomina-se ISO (International Organization for Standardization) a organização internacional para a padronização. A ISO foi estabelecida em 1947, uma organização mundial não governamental com, atualmente, mais de 100 organizações nacionais de padronizações, representando mais de 130 países, responsáveis por mais de 95% da produção industrial mundial. Com sede em Genebra, Suíça, tem como principal atividade à elaboração de padrões para especificações e métodos de trabalho nas mais variadas áreas. O principal objetivo da ISO é o desenvolvimento de padrões mundiais, com vistas à facilitação do intercâmbio internacional de produtos e serviços e à criação de uma cooperação intelectual, científica, econômica e técnica. A IEC (International Electrotechnical Commission), fundada em 1906, é a organização mundial que publica normas internacionais relacionadas com eletricidade, eletrônica e áreas relacionadas. Consta com a participação de mais de cinqüenta países. A ISO em conjunto com a IEC, elaborou um conjunto de normas que tratam, especificamente, sobre a atual padronização mundial para a qualidade dos produtos de software. No Brasil, a ABNT (Associação Brasileira de Normas Técnicas) foi fundada em 1940, reconhecida como Foro Nacional de Normalização, é o único órgão responsável pela normalização técnica no país, fornecendo a base necessária ao desenvolvimento tecnológico brasileiro. É uma entidade privada, sem fins lucrativos, e representa o Brasil nas entidades de normalização internacional como a ISO e o IEC. 16 Serão detalhas abaixo as normas de produtos de software utilizadas neste trabalho. 2.6.1. ISO/IEC 9126. Tecnologia da Informação – Características da Qualidade de Software e Métricas (ROCHA et al., 2001). A norma ISO/IEC 9126 propõe um enquadramento no qual é definido um conjunto de características que permitem avaliar a qualidade de um produto de software. As características propostas foram escolhidas com a preocupação de serem o mais independente possível. Essa norma é dividida em 4 partes: • ISO/IEC 9126-1: Modelo de qualidade. • ISO/IEC 9126-2: Métricas externas. • ISO/IEC 9126-3: Métricas internas. • ISO/IEC 9126-4: Métricas de qualidade em uso. A parte 1 (Modelo de qualidade) é uma da mais antigas normas da área de qualidade de software, foi publicada em 1991 e sua tradução para o Brasil, foi publicada em agosto de 1996 como NBR 13596, realizada pela ABNT (Associação Brasileira de Normas Técnicas). O presente trabalho utiliza esta parte da norma. 2.6.1.1. ISO/IEC 9126-1 (NBR 13596). Segundo a ISO, modelo de qualidade é o conjunto de características e o relacionamento entre estes que fornece a base para especificação dos requisitos de qualidade e avaliação de qualidade. O modelo para a qualidade de produto de software descrito por esta parte da norma, inclui qualidade interna, externa e em uso. Segundo a ISO, os conceitos são: − Qualidade interna: é a totalidade dos atributos de um produto que determinam sua capacidade para satisfazer as necessidades explícitas e implícitas quando utilizados em condições especificadas. Refere-se principalmente ao ambiente de programação. − Qualidade externa: constitui o quanto um produto satisfaz as necessidades explícitas e implícitas quando utilizados em condições especificadas. Refere-se principalmente à qualidade de entrega do produto. − Qualidade em uso: é a visão do usuário do ambiente de qualidade no qual o software está inserido. 17 Esta parte da norma permite a avaliação da qualidade do produto final desenvolvido através de um conjunto de características e subcaracterísticas que devem ser verificadas, e certificam o produto de software quanto à sua qualidade. O modelo de qualidade descrito é representado de forma hierárquica, em níveis, conforme mostra a FIGURA 2.3. No primeiro nível estão definidas as características de qualidade do produto. No segundo nível estão definidas as subcaracterísticas relacionadas a cada uma das características do nível anterior. O terceiro nível representa os atributos ou critérios, que são definidos de acordo com o usuário do modelo. Característica Subcaracterística Subcaracterística Atributo Atributo Atributo Atributo Atributo Atributo FIGURA 2.3 - Estrutura hierárquica do modelo de qualidade. Fonte: Adaptado do Subcomitê de Software da ABNT (2001a). Segundo esta norma, cada característica possui subcaracterísticas que são definidas como propriedades, as quais evidenciam a presença de uma determinada característica de qualidade em um produto de software. O desdobramento das características em subcaracterísticas serve para delimitar melhor o amplo universo contemplado pela característica. Introduz conceitos mais detalhados que facilitam a especificação de requisitos, ajudando a pensar na característica de qualidade a partir de seus componentes. A norma apresenta um conjunto de seis características que devem estar presentes em um produto de software de qualidade: Funcionalidade, Confiabilidade, Usabilidade, Eficiência, Manutenibilidade e Portabilidade. 18 2.6.1.1.1. Definição das Características e Subcaracterísticas. • Funcionalidade – o produto de software satisfaz as necessidades? Conjunto de atributos que evidenciam a existência de um conjunto de funções e suas propriedades especificadas. As funções são as que satisfazem as necessidades explícitas e implícitas. Subcaracterísticas: − Adequação: é a presença de um conjunto de funções e sua apropriação para tarefas especializadas. − Acurácia: evidencia a geração de resultados ou efeitos corretos. − Interoperabilidade: evidencia a capacidade de interagir com outros sistemas. − Conformidade: faz com que o software esteja de acordo com as normas, convenções e regulamentações. − Segurança de acesso: é a capacidade de evitar acesso não autorizado a programas e dados. • Confiabilidade – o produto de software é imune à falhas? Conjunto de atributos que evidenciam a capacidade do software de manter seu nível de desempenho sob condições estabelecidas durante um período de tempo estabelecido. Subcaracterísticas: − Maturidade: evidencia a freqüência de falhas. − Tolerância à falhas: é a capacidade do software de manter o nível de desempenho em caso de falha. − Recuperabilidade: evidencia a capacidade do software de restabelecer e restaurar dados após a falha. • Usabilidade – o produto de software é fácil de usar? Conjunto de atributos que evidenciam o esforço necessário para se poder utilizar o software, bem como o julgamento individual desse uso, por um conjunto explícito ou implícito de usuários. Subcaracterísticas: − Operacionalidade: evidencia a facilidade de operar e controlar as operações do software. − Apreensibilidade: é a facilidade de aprendizado do software. 19 − Inteligibilidade: é a facilidade de entendimento dos conceitos utilizados pelo software. • Eficiência – o produto de software é rápido? Conjunto de atributos que evidenciam o relacionamento entre o nível de desempenho do software e a quantidade de recursos usados, sob condições estabelecidas. Subcaracterísticas: − Comportamento em relação ao tempo: evidencia o tempo de resposta, tempo de processamento e a velocidade na execução de suas funções. − Comportamento em relação aos recursos: evidencia a quantidade de recursos utilizados e a duração de seu uso na execução das funções. • Manutenibilidade – o produto de software é fácil de modificar? Conjunto de atributos que evidenciam o esforço necessário para fazer modificações especificadas no software. Subcaracterísticas: − Analisabilidade: evidencia a facilidade de diagnosticar deficiências e causas das falhas. − Modificabilidade: é a facilidade de modificação e remoção dos defeitos. − Estabilidade: evidencia a ausência de riscos de efeitos inesperados. − Testabilidade: evidencia a facilidade de testar o software. • Portabilidade – o produto de software é fácil de usar em outro ambiente? Conjunto de atributos que evidenciam a capacidade do software de ser transferido de um ambiente para outro. Subcaracterísticas: − Adaptabilidade: é a capacidade do software de ser adaptado a ambientes diferentes. − Capacidade para ser instalado: é a facilidade de instalação do software. − Conformidade: evidencia a conformidade do software com padrões ou convenções de portabilidade. − Capacidade para substituir: é a capacidade do software de substituir outro software. É importante a necessidade de obtenção de maiores detalhes de como fazer a avaliação da qualidade de um produto de software. As características e subcaracterísticas da ISO/IEC 9126-1 apenas iniciam o trabalho. É necessária a 20 utilização da ISO/IEC 14598 para descrever detalhadamente todos os passos para a avaliação. 2.6.2. ISO/IEC 14598. Esta norma oferece uma visão geral dos processos de avaliação de produtos de software e fornece guias e requisitos que orientam o planejamento e execução de um processo de avaliação de um produto de software. O processo de avaliação proposto pode ser usado para avaliar produtos já existentes ou produtos em desenvolvimento. Pode ser utilizado por avaliadores de laboratório, fornecedores de software, compradores de software, usuários e entidades certificadas, cada qual com seu objetivo. De acordo com esta norma, o objetivo principal da avaliação do produto de software é fornecer resultados quantitativos sobre a qualidade do produto de software que sejam compreensíveis, aceitáveis e confiáveis. Esta norma se divide em seis partes (ROCHA et al., 2001): • ISO/IEC 14598-1: Visão geral – Apresenta toda a estrutura de funcionamento dessa série de normas e do processo de avaliação proposto. • ISO/IEC 14598-2: Planejamento e gestão – Apresenta os requisitos, as recomendações e orientações para uma função de suporte ao processo de avaliação dos produtos de software. • ISO/IEC 14598-3: Processo para equipe de desenvolvimento – Apresenta atividades de avaliação durante o processo de desenvolvimento de software. • ISO/IEC 14598-4: Processo para compradores – Apresenta atividades de avaliação no processo de seleção para aquisição de software. • ISO/IEC 14598-5: Processo para avaliadores – Apresenta o ciclo de vida da avaliação, com definição das atividades a serem desenvolvidas. • ISO/IEC 14598-6: Documentação de módulos de avaliação – Apresenta pacotes estruturados de métodos e ferramentas para apoio ao processo de avaliação do produto de software. As partes 1 e 5 encontram-se traduzidas para o português através das normas NBR ISO/IEC 14598-1 e NBR ISO/IEC 14598-5, da ABNT (Associação Brasileira de Normas Técnicas). Estas duas partes serão abordadas mais detalhadamente devido a sua relevância no contexto deste trabalho. 21 A relação entre as partes dessa norma pode ser entendida com a FIGURA 2.4. Cada processo de avaliação (partes 3, 4 e 5) pode ser usado em conjunto com o suporte à avaliação (partes 2 e 6). 2. Planejamento e Gestão 3. Processo para Desenvolvedores 6. Documentação de Módulos de Avaliação 4. Processo para Compradores 5. Processo para Avaliadores FIGURA 2.4 - Relacionamento dos processos de avaliação com o suporte à avaliação. Fonte: Subcomitê de Software da ABNT (1999). 2.6.2.1. NBR ISO/IEC 14598-1 e NBR ISO/IEC 14598-5. NBR ISO/IEC 14598-1: esta parte da norma tem como objetivo a visão geral das outras partes da 14598, as relações entre elas e com o modelo de qualidade proposto pela ISO/IEC 9126-1 (NBR 13596). Apresenta definições técnicas, modelo geral para o processo de avaliação do produto de software e requisitos para métodos de medição e avaliação de produto de software. NBR ISO/IEC 14598-5: esta parte da norma fornece orientações para a implementação prática da avaliação de produto de software quando diversas partes necessitam entender, aceitar e confiar nos resultados da avaliação. Utiliza o modelo de qualidade descrito na norma ISO/IEC 9126-1 (NBR 13596) de modo a especificar, projetar e executar as atividades de avaliação. 2.6.2.1.1. Processo de Avaliação. De acordo com a NBR ISO/IEC 14598-1, o processo de avaliação consiste no seguinte conjunto de atividades: 22 • Estabelecimento dos requisitos de avaliação. Visa a determinação dos objetivos da avaliação e a identificação do produto a ser avaliado, bem como seus requisitos (funcionais, operacionais, etc). Esta atividade pode ser dividida em: − Estabelecer o propósito da avaliação: é definir e descrever o objetivo principal da avaliação. − Identificar tipo(s) de produto(s) a serem avaliados: quer seja um produto em desenvolvimento ou um produto final. − Especificar o modelo de avaliação: especifica o modelo de avaliação da qualidade que será utilizado. A própria norma ISO/IEC 14598 utiliza o modelo de qualidade proposto pela ISO/IEC 9126-1. • Especificação da avaliação. O objetivo de especificar a avaliação deve ser o de definir a abrangência da avaliação e das medidas a serem realizadas sobre o produto submetido para a avaliação e sobre seus vários componentes. Faz-se necessário selecionar os atributos e métricas a serem aplicados e definir os critérios de julgamento. Esta atividade pode ser dividida em: − Selecionar métricas: utilizar métricas fáceis e econômicas. − Estabelecer níveis de pontuação para as métricas: utilizar métricas de qualidade; e o valor medido deverá ser mapeado para uma escala. − Estabelecer critérios para julgamento: interpretar os resultados da medição. • Projeto da avaliação. O projeto de avaliação deve documentar os procedimentos a serem utilizados para realizar as medições contidas na especificação da avaliação. Deve-se produzir um plano de avaliação que descreva os recursos necessários para realizar a avaliação especificada, bem como a distribuição desses recursos entre as diversas ações a serem realizadas. O nível de detalhes do plano de avaliação deve ser tal que assegure que as ações sejam realizadas de forma adequada. • Execução da avaliação. O objetivo da execução da avaliação é obter resultados das ações de medição e verificação do produto de software de acordo com os requisitos de avaliação, como especificado na especificação da avaliação e planejado no plano de avaliação. Realiza as medições do produto. Esta atividade pode ser dividida em: 23 − Obter as medidas: as métricas selecionadas são aplicadas ao produto de software e como resultado obtém-se os valores nas escalas das métricas. − Comparar com critérios: quando o valor medido pode ser comparado com critérios pré-determinados. − Julgar os resultados: liberação ou não do produto de software. • Conclusão da avaliação. Os objetivos da conclusão da avaliação consistem na elaboração de um relatório de avaliação contendo os resultados obtidos durante o processo de avaliação do produto de software. As atividades descritas acima podem ser representadas pala FIGURA 2.5. Estabelecer o propósito da avaliação. Estabelecer Requisitos de Avaliação Identificar tipos de produto(s) a serem avaliados. Especificar modelo de qualidade. Selecionar métricas. Especificar a Avaliação Estabelecer níveis de pontuação p/ as métricas. Estabelecer critérios para julgamento. Projetar a Avaliação Produzir o plano de avaliação. Obter as medidas. Executar a Avaliação Comparar com critérios. Julgar os resultados. Concluir a Avaliação Produzir um relatório contendo os resultados. FIGURA 2.5 – Processo de Avaliação. Fonte: Subcomitê de Software da ABNT (2001a). 24 2.7. Modelo de Processo de Avaliação de um Produto de Software. Segundo ROCHA (1999), o modelo detalhado do processo de avaliação de um produto de software é ilustrado pela FIGURA 2.6. Necessidades Explícitas ou Implícitas ISO 9126 / NBR 13596 e outras informações técnicas Requisitos de Qualidade Requisitos Gerenciais Especificação dos Requisitos de Qualidade Seleção de Métricas Desenvolvimento de Software Nível de Pontuação Critérios de Julgamento Produtos Valor Medido Nível de Pontuação Medição Pontuação Julgamento Resultado FIGURA 2.6 - Modelo de processo de avaliação de um produto de software. Fonte: ROCHA (1999). 2.8. Qualidade no Setor de Software Brasileiro. Segundo o Mistério da Ciência e Tecnologia, há bases de dados históricos nacionais que permitem afirmar que o Brasil tem projetos e estratégias na direção do alcance de padrões internacionais efetivos em qualidade e produtividade no setor de software, existindo evidências de que a qualidade de software no país tem apresentado tendência de melhoria contínua. Contribuem para o reconhecimento desta assertiva o funcionamento duradouro dos grupos de projetos e de indicadores do Programa Brasileiro da 25 Qualidade e Produtividade em Software, criado como Sub-Comitê Setorial do PBQP em 1993; a aplicação regular, desde então, de pesquisas nacionais bienais sobre a qualidade no setor de software brasileiro, posteriormente estendidas à produtividade. Até o ano 2002 , 22 pólos de desenvolvimento de software foram implantados no país pelo Programa para Promoção da Excelência do Software Brasileiro SOFTEX, com significativa capilaridade em todo o território nacional, integrando universidades, centros de pesquisa e empresas, com cerca de 1000 associadas e 200 incubadas em suas 18 incubadoras de base tecnológica em conjunto com departamentos de ciência da computação das principais universidades brasileiras. Missões ao exterior sinalizam ao Governo e empresários internacionais a priorização do segmento de software na política de comércio exterior. Na China, Japão e Estados Unidos em particular, tem-se criado a expectativa, no interesse brasileiro, de continuidade do investimento na promoção comercial do software brasileiro, criando oportunidade real de mercado para o setor, em comum acordo com as embaixadas brasileiras e, nos dois países orientais, com o envolvimento dos Governos locais. Com taxa média anual de crescimento da receita de 19% sobre os valores correntes, o setor de software apresentou o melhor desempenho no mercado nacional na década de 90, quando comparado ao de hardware, que cresceu 6% ao ano no mesmo período. A participação de mercado dos produtos de software e serviços técnicos de informática passou de 42% para 51% ao longo do período 1991/99, com relação ao setor de informática como um todo. Em 1993, a Secretaria de Política de Informática do Ministério da Ciência e Tecnologia, no âmbito do Programa Brasileiro da Qualidade e Produtividade em Software – PBQP Software, iniciou pesquisa bienal para acompanhamento e divulgação a respeito da evolução da qualidade nas empresas de software, objetivando direcionar as ações dos agentes responsáveis pela formulação e execução da política de software no Brasil. Os dados mostrados abaixo, foram resultados da quinta edição da pesquisa “Qualidade e Produtividade no Setor de Software Brasileiro - 2001”, conduzida pela Secretaria de Política de Informática (SEPIN) do Ministério da Ciência e Tecnologia (MCT) e cujo trabalho de campo estendeu-se de setembro de 2001 a abril de 2002. 26 A amostra da pesquisa contém 446 empresas desenvolvedoras de diversos tipos de software: pacote para comercialização, sob encomenda para terceiros, para Internet e embarcado ou embutido. Pela FIGURA 2.7 pode-se verificar que até o ano de 2002 o tipo de software com o maior número de empresas desenvolvedoras no Brasil foi o software por encomenda (63%). FIGURA 2.7 - Categorias de software desenvolvidas pelas organizações. Fonte: Qualidade e Produtividade no Setor de Software Brasileiro – 2001. MCT/SEPIN (2002). Pela TABELA 2.2 a seguir, pode-se concluir que até o início do ano 2002, apenas 25% das empresas brasileiras de desenvolvimento de software já implantaram algum tipo de sistema de qualidade. TABELA 2.2 - Implantação de programas da qualidade total, sistemas da qualidade ou similares. Nº de organizações % Sim 112 25,1 Em estudo ou implantação 117 26,2 Não 217 48,7 Base 446 100 Categorias Fonte: Qualidade e Produtividade no Setor de Software Brasileiro – 2001. MCT/SEPIN (2002). Pela FIGURA 2.8 a seguir, pode-se perceber que apesar do número de empresas desenvolvedoras de software que implantaram um sistema de qualidade 27 ser ainda considerado pequeno, houve uma grande evolução no número desse tipo de empresa certificada pela ISO 9000 entre os anos 1995 e 2001, chegando a um crescimento de mais de dez vezes o número de empresas certificadas. Empresas Brasileiras de Software Certificadas pela ISO 9000 Percentual de Empresas 25 21 20 17 15 10 8 5 2 0 1995 1997 1999 2001 Ano FIGURA 2.8 – Evolução da porcentagem de empresas de software certificadas pela ISO 9000 no Brasil. Fonte: WEBER e NASCIMENTO (2002). É importante relatar também o número de empresas de software brasileiras que investem em pesquisas de satisfação junto a seus clientes. Esses números são apresentados na TABELA 2.3, demonstrando que aproximadamente 30% das empresas realizam esse tipo de pesquisa sistematicamente. TABELA 2.3 - Realização de pesquisa de satisfação dos clientes. Categorias Satisfação Nº % Sistemática 130 29,5 Eventual 173 39,2 Em estudo ou implantação 51 11,6 Aproveita dados publicados 11 2,5 Não realiza 76 17,2 Base 441 100 Fonte: Qualidade e Produtividade no Setor de Software Brasileiro – 2001. MCT/SEPIN (2002). 28 Cerca de 65% das empresas conhecem as normas ISO/IEC 9126 ou ISO/IEC 12119, e um pouco menos (60%), a ISO/IEC 14598. A mais usada é a ISO/IEC 9126 (11%), cuja versão brasileira é a NBR 13596, que define as características da qualidade e diretrizes para seu uso. Em seguida, a ISO/IEC 12119 (8%) que estabelece os requisitos da qualidade e testes em pacotes de software e a família de normas ISO/IEC 14598 (5%) que tratam do processo de avaliação de um produto de software. As FIGURAS 2.9 e 2.10 ilustram mais claramente estas estatísticas. FIGURA 2.9 - Conhecimento de normas da qualidade de produtos. Fonte: Qualidade e Produtividade no Setor de Software Brasileiro – 2001. MCT/SEPIN (2002). Pela FIGURA 2.10 a seguir, pode-se perceber a evolução na porcentagem de empresas de software que utilizavam a ISO/IEC 9126 entre os anos 1995 e 2001. Empresas Brasileiras de Software que Utilizaram a ISO/IEC 9126 Percentual de Empresas 15 11 10 9 5 7 5 0 1995 1997 1999 2001 Ano FIGURA 2.10 – Evolução da porcentagem de empresas de software que utilizaram a ISO/IEC 9126. Fonte: WEBER e NASCIMENTO (2002). 29 2.9. Ergonomia e Interação Homem-Computador (IHC). WISNER apud OLIVEIRA (2001) define a ergonomia como “o conjunto de conhecimentos científicos relativos ao homem e necessários à concepção de instrumentos, máquinas e dispositivos que possam ser utilizados com o máximo de conforto, segurança e de eficácia”. O termo “ergonomia” foi empregado pela primeira vez em 1857, pelo polonês W. Jastrzebowski. Ela se originou na 2a Guerra Mundial, quando cientistas projetaram novos e avançados sistemas sem a consideração das pessoas que os utilizariam, muitas das quais não realizando o que se esperava delas. Aos poucos, ficou claro que produtos e sistemas deveriam ser projetados levando-se em conta as características do homem a fim de serem utilizados com segurança e eficiência (GONÇALVES, 2001). A ergonomia está instalada em muitos países, no Brasil, desde o início dos anos 80 conta com a Associação Brasileira de Ergonomia (ABERGO). Ela congrega profissionais e promove bi-anualmente um congresso sobre os avanços desta disciplina no contexto científico nacional. Para HENDRICK apud GONÇALVES (2001) muitas definições de ergonomia são altamente descritivas e pouco abordam sobre sua operacionalização. Devido a isso, ele apresenta a ergonomia sob três perspectivas: sob a perspectiva da tecnologia, em que a ergonomia pode ser definida como a tecnologia das interfaces homem-sistema; como ciência, em que a ergonomia preocupa-se com o desenvolvimento do conhecimento sobre as capacidades e limitações do homem e outras características relacionadas ao projeto de interfaces entre pessoas e outros componentes do sistema; como prática, em que a ergonomia concentra-se na aplicação da tecnologia da interface homem-sistema ao projeto ou na modificação do sistema para gerar conforto, segurança, efetividade e qualidade de vida. Na última década, as pesquisas nas áreas de engenharia de software e ergonomia resultaram no advento de uma nova área de conhecimento: a ergonomia do software. Seu objetivo é buscar ferramentas e critérios para solucionar os problemas criados com o desenvolvimento de sistemas de computador. A Ergonomia trata da melhor forma de apresentação dos componentes em IHC, de tal maneira que facilite e oriente ao usuário na execução da tarefa desempenhada. 30 O termo “human-computer interaction”, traduzido como interação homemcomputador (IHC) foi introduzido nos anos 80 como um meio de descrever esse campo de estudo, que se preocupa com o relacionamento entre o homem e o computador (RUBIN apud GONÇALVES, 2001). Segundo CYBIS apud GONÇALVES (2001), “a interação homem-computador é determinante das estratégias e do desempenho do usuário em sua tarefa. A implantação de sistemas ou de produtos de informação deficientes, sob o ponto de vista de utilizabilidade, pode ser relacionado entre as causas da baixa produtividade e do fraco retorno que caracterizam muitos dos investimentos na informação em geral”. Para DIX apud OLIVEIRA (2001), a Interação Homem-Computador pode ser definida como a "disciplina concernente ao projeto, avaliação e implementação de sistemas computacionais interativos para o uso humano e estudo dos principais fenômenos relacionados a esse uso". A aplicação de conceitos ergonômicos ao projeto e avaliação de interfaces busca privilegiar a Lógica de Utilização, ao invés da Lógica de Funcionamento. A Lógica de Funcionamento é uma visão das aplicações do ponto de vista de informática; a Lógica de Utilização é uma visão da aplicação do ponto de vista do usuário. Para PRESSMAN (1995), “a interação homem-computador é o mecanismo por meio do qual se estabelece um diálogo entre o programa e o ser humano. Se os fatores humanos tiverem sido levados em conta, o diálogo será harmonioso e um ritmo será estabelecido entre o usuário e o programa. Se os fatores humanos tiverem sido ignorados, o sistema quase sempre será visto como possuindo pouca usabilidade”. O usuário de programas de computador vê as qualidades do produto através dos recursos de interação. Não basta que o produto ofereça muitas funções, é fundamental que o usuário possa usufruir delas, e, para isso a facilidade de utilização – o alto grau de usabilidade – é pré-requisito essencial. 2.10. Usabilidade. 2.10.1. Introdução. O termo usabilidade é um conceito chave em IHC (Interação HomemComputador) que diz respeito à produção de sistemas fáceis de aprender e de usar. 31 O termo usabilidade começou a ser usado no início da década de 80, principalmente nas áreas de Psicologia e Ergonomia, como um substituto da expressão "user-friendly" (amigável ao usuário), a qual era considerada vaga e excessivamente subjetiva (BEVAN et al. apud DIAS, [199-]). Com intuito de evitar que o termo usabilidade também se “desgastasse”, tal como ocorreu com a expressão a que veio substituir, vários autores tentaram defini-lo, porém utilizando abordagens diferentes : − Definições orientadas ao produto: associadas às características ergonômicas do produto; − Definições orientadas ao usuário: relacionadas ao esforço mental ou atitude do usuário frente ao produto; − Definições baseadas no desempenho do usuário: associadas à forma de interação do usuário, com ênfase na facilidade de uso e no grau de aceitação do produto; − Definições orientadas ao contexto de uso: relacionadas às tarefas específicas realizadas por usuários específicos do produto, em determinado ambiente de trabalho. A primeira norma que definiu o termo usabilidade foi a ISO/IEC 9126-1, de 1991, sobre qualidade de software. Sua abordagem é claramente orientada ao produto e ao usuário, pois considera a usabilidade como "um conjunto de atributos de software relacionado ao esforço necessário para seu uso e para o julgamento individual de tal uso por determinado conjunto de usuários." A partir dessa norma, o termo usabilidade ultrapassou os limites do ambiente acadêmico da Psicologia Aplicada e da Ergonomia, passando a fazer parte do vocabulário técnico de outras áreas do conhecimento, tais como Tecnologia da Informação e Interação Homem-Computador, tendo sido traduzido para diversos idiomas. Ainda em 1991, foi fundada a Usability Professionals Association (UPA), constituída por uma comunidade de profissionais, pesquisadores e empresas; com participação ativa em estudos, pesquisas e testes de usabilidade. Empresas como a IBM, Apple, Microsoft e Sun têm grupos dedicados à usabilidade e a IHC. O conceito de usabilidade evoluiu, passando a considerar mais o ponto de vista do usuário e seu contexto de uso do que as características ergonômicas do produto, e foi redefinido na norma ISO 9241-11 (Orientação para a Usabilidade) como "a capacidade de um produto ser usado por usuários específicos para atingir 32 objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso" (DIAS, [199-]). 2.10.2. Definições. A FIGURA 2.11 abaixo ilustra o conceito da usabilidade, citado no item anterior, apresentado pela norma ISO 9241-11, 1998. usuário resultado pretendido objetivos tarefa equipamento ambiente eficácia resultado de uso eficiência Contexto de uso satisfação produto Medidas de usabilidade FIGURA 2.11 - Esquema do conceito de usabilidade (ISO 9241-11, 1998). Fonte: Subcomitê de Software da ABNT (2001b). Para melhor entendimento desse conceito, são apresentadas as seguintes definições: − Eficácia: precisão e completeza com que os usuários atingem objetivos específicos, acessando a informação correta ou gerando os resultados esperados. A precisão é uma característica associada à correspondência entre a qualidade do resultado e o critério especificado, enquanto a completeza é a proporção da quantidade-alvo que foi atingida. − Eficiência: precisão e completeza com que os usuários atingem seus objetivos, em relação à quantidade de recursos gastos. − Satisfação: conforto e aceitabilidade do produto. A característica usabilidade é fundamental para o desenvolvimento de software com qualidade. Pode-se afirmar então, que o software de qualidade deve ser extremamente fácil de utilizar, possibilitando um aprendizado contínuo do 33 usuário, auxiliando-o a alcançar suas metas específicas com eficiência, eficácia e satisfação, no que se refere ao uso do software. Segundo SCHENEIDERMAN apud OLIVEIRA (2001), “a usabilidade é a combinação das seguintes características orientadas ao usuário: facilidade de aprendizagem, rapidez no desempenho da tarefa, baixa taxa de erro e satisfação do usuário”. “A usabilidade é medida pela extensão na qual os objetivos pretendidos de uso do sistema em geral são alcançados (eficácia), o esforço e os recursos necessários para atingir os objetivos (eficiência), quanto menor o esforço mais eficiente é o produto, e a extensão na qual os usuários acham o sistema em geral aceitável (satisfação)” (OPPERMAN E REITERER apud GONÇALVES, 2001). Para KALAWSKY apud KULCZYNSKYJ (2002), “o estudo da usabilidade é muito importante no desenvolvimento de um projeto sobre interações homemcomputador envolvendo fatores humanos e de interatividade das interfaces com o usuário”. Outra forma de se definir a usabilidade, segundo JORDAN apud KULCZYNSKYJ (2002), é que as questões envolvendo usabilidade podem ser definidas informalmente pela facilidade com que um produto pode ser utilizado. Segundo NIELSEN (1993), “a usabilidade é o grau de satisfação e eficiência que o usuário de um determinado sistema computacional pode atingir, em função dos objetivos específicos do trabalho, num dado ambiente”. Os componentes da usabilidade, segundo NIELSEN (1993), são: − Fácil aprendizado: o sistema deve ser fácil de aprender, permitir que o usuário possa rapidamente começar a trabalhar e a obter resultados; − Eficiência: o sistema deve ser eficiente, desde que o usuário aprendeu a usá-lo, sendo possível um alto nível de produtividade; − Fácil de ser lembrado: o sistema deve ser fácil de ser lembrado, assim o usuário pode retornar ao sistema depois de algum tempo sem usá-lo sem precisar aprender tudo novamente; − Minimização de erros: o sistema deve ter uma baixa taxa de erro, para que o usuário cometa poucos enquanto o utiliza e, se os cometer, que possa facilmente recuperar-se; erros catastróficos não devem ocorrer; − Satisfação: o sistema deve ser agradável de usar, o usuário deve gostar dele. 34 A definição dos componentes da usabilidade, de acordo com NIELSEN (1993), permite uma aproximação sistemática da usabilidade como uma disciplina de engenharia. A aplicação de princípios científicos à construção de produtos deu origem à chamada Engenharia de Usabilidade. A Engenharia de Usabilidade pode ser definida como sendo a utilização de princípios de engenharia de forma a se obter produtos fáceis de utilizar, economicamente viáveis e que suportam trabalho real de uma forma eficaz, eficiente e promovendo a satisfação subjetiva. A satisfação é fator primordial na consideração da usabilidade do produto. A satisfação é algo que está ligado à qualidade do produto. Não é suficiente que uma empresa desenvolva produtos com excelente qualidade do ponto de vista técnico, se, ao serem oferecidos ao mercado, o público-alvo não perceber essa qualidade. Para satisfazer necessidades, anseios e expectativas dos usuários, é preciso conhecê-las. Pois é da facilidade do uso do software que se chega à qualidade nas informações. 2.10.3. Objetivos e Benefícios da Usabilidade. A usabilidade visa a avaliação da qualidade do produto de software e a garantia de que o usuário realizará bem suas tarefas, aproveitando integralmente os recursos disponíveis no mesmo. Além disso, possibilita a identificação de problemas e respectivas soluções em fases críticas dos processos de produção. Esta otimização inclui a consideração de particularidades dos diferentes dispositivos interativos de informática (ergonomia, identidade e funcionalidade de hardware e software), bem como a observação dos critérios normativos de qualidade em vigor, representativos para a área, tais como a norma ISO/IEC 9126. Segundo MACLEOD apud DIAS ([199-]), os produtos considerados de boa usabilidade podem oferecer os seguintes benefícios: • maior produtividade e eficiência, por gerarem menos erros; • menor tempo de treinamento requerido para o uso eficiente e eficaz do produto; • menor rotatividade de pessoal, pela melhoria na satisfação dos usuários; • menor necessidade de suporte ao usuário. 35 2.10.4. Classificação dos Usuários. Há vários tipos de usuários, uns mais técnicos do que outros, uns mais experientes do que outros. Isso faz com que o grau de satisfação, ou seja, a usabilidade varie de acordo com cada tipo de usuário. Pode-se definir modelos de usuários definindo-se o perfil dos mesmos. Deste processo resulta uma descrição detalhada de um ou mais ambientes de usuários. Alguns detalhes específicos deste processo em relação aos usuários são: • Que tipo de usuários tem? • Que características apresentam? • Quais são os objetivos? • Quais os estilos e experiências? • Quais são as necessidades? Através da obtenção deste tipo informação, pode-se então priorizar a questão técnica: “Como desenvolver um produto de software para que este tipo de usuário atinja os seus objetivos?”. É importante realçar aqui que as questões técnicas só têm o devido significado se conseguirmos analisar os fatores humanos que condicionam desta forma o desenvolvimento de um produto de software. Assim, se conseguirmos separar as duas situações, chegamos à conclusão que a transparência num software deve ser uma arte que o programador deve ter bem presente, pois os usuários não precisam entender os trabalhos de aplicação que estão por trás da interface, pois esta deve ser intuitiva. Conhecer o usuário é fundamental e classificá-lo ajuda a fazer um bom software atendendo às suas exigências e necessidades. A experiência dos usuários é um fator relevante, analisada em 3 dimensões: • Em relação ao uso do sistema; • Em relação ao uso de computadores; • Em relação ao domínio da aplicação. Os usuários dos produtos de software podem ser divididos em : − Usuários diretos: são aqueles que estão relacionados diretamente com o produto de software. Podem ser classificados em: analistas, programadores, técnicos, projetistas, operadores, digitadores, etc. 36 − Usuários indiretos: são aqueles que estão sob a influência ou dependência do uso do produto software, ou seja, toda a sociedade pode ser considerada um usuário indireto. 2.10.5. Avaliação da Usabilidade. A avaliação da usabilidade pode ser realizada em qualquer fase do desenvolvimento de sistemas interativos: na fase inicial, serve para identificar parâmetros ou elementos a serem implementados no sistema; na fase intermediária, é útil na validação ou refinamento do projeto; e na fase final, assegura que o sistema atenda aos objetivos e necessidades dos usuários. Entretanto, para que não seja necessária uma total reformulação do sistema depois de finalizado, em função de problemas detectados em avaliações de usabilidade, recomenda-se que essas avaliações sejam realizadas pelo menos a partir da fase de refinamento ou validação do projeto. Para se avaliar a usabilidade do produto de software as métricas utilizadas são as chamadas métricas da qualidade, que oferecem uma indicação de quão estreitamente o software conforma-se às exigências implícitas e explícitas do usuário (adequação ao uso de software). De acordo com PRESSMAN (1995), os objetivos principais de uma avaliação de usabilidade são: • Constatar, observar e registrar, problemas efetivos de usabilidade durante a interação; • Calcular métricas objetivas para eficácia, eficiência e produtividade do usuário na interação com o sistema; • Diagnosticar as características do projeto que provavelmente atrapalhem a interação por estarem em desconformidade com padrões implícitos e explícitos de usabilidade; • Prever dificuldades de aprendizado na operação do sistema; • Prever os tempos de execução de tarefas informatizadas; • Conhecer a opinião do usuário em relação ao sistema; • Sugerir as ações de re-projeto mais evidentes face os problemas de interação efetivos ou diagnosticados. 37 Segundo PRESSMAN (1995), a usabilidade pode ser medida segundo quatro características: • A habilidade física ou/e intelectual exigida para se aprender o sistema; • O tempo exigido para se tornar moderadamente eficiente no uso do sistema; • O aumento líquido de produtividade, medido quando o sistema é usado por alguém que seja moderadamente eficiente; • Avaliação subjetiva das atitudes dos usuários em relação ao sistema. Considerando as definições apresentadas anteriormente, a avaliação da usabilidade de um produto de software deve, portanto, verificar o desempenho (eficácia e eficiência) da interação homem-computador e obter indícios do nível de satisfação do usuário, identificando problemas de usabilidade durante a realização de tarefas específicas em seu contexto de uso. CYBIS apud DIAS ([199-]) define problema de usabilidade de um produto de software como qualquer critério ou atributo, observado em determinada situação, que possa retardar, prejudicar ou inviabilizar a realização de uma tarefa, aborrecendo, constrangendo ou traumatizando o usuário. 2.10.5.1. Métodos de Avaliação da Usabilidade. A classificação dos métodos de avaliação sugerida por SHNEIDERMAN apud MEDEIROS (1999), os divide levando em conta a forma de condução, o ambiente onde se dá a avaliação e os envolvidos (especialistas, usuários ou ambos). Entre os métodos propostos, os principais são: • Revisões Especializadas; • Testes e Estudos Laboratoriais; • Pesquisas de Opinião. 2.10.5.1.1. Revisões Especializadas. Segundo SHNEIDERMAN apud MEDEIROS (1999), as revisões especializadas requerem a participação de um especialista com domínio das questões de usabilidade, do assunto ou da interface em questão. NIELSEN (1993), em particular, denomina este tipo de avaliação como Inspeção de Usabilidade. De acordo com SHNEIDERMAN apud MEDEIROS (1999), os principais métodos de revisão especializada são: 38 - Avaliação Heurística: Segundo MATIAS apud MEDEIROS (1999), a avaliação heurística não segue uma seqüência lógica de passos. Ela é realizada através de aproximações progressivas, nas quais cada estágio do caminho percorrido é avaliado e, então, averigua-se sobre a natureza dos caminhos a seguir para aproximar-se do objetivo e encontrar o maior número possível de problemas de usabilidade. Esse tipo de avaliação necessita de avaliadores experientes e especialistas em interface. - Revisão Usando Guias de Recomendações: Analisa a usabilidade a partir da comparação entre a interface e as padronizações elaboradas pela própria empresa desenvolvedora do produto ou por outros guias de estilo. - Inspeção de Consistência: Avalia a usabilidade no âmbito de uma família de interfaces, sendo considerados aspectos como terminologia, cores, layouts, formatos de entrada e saída, além de materiais de treinamento, documentação para o usuário e Help On Line. - Navegação Cognitiva: Requer que os especialistas assumam o papel de usuários e procurem simular a interação que ocorreria entre os usuários e o sistema quando da execução de tarefas mais corriqueiras ou críticas. - Inspeções Formais: Nas inspeções formais, dois grupos de análise crítica são formados, a equipe de desenvolvimento e a equipe de avaliadores especialistas. Os grupos interagem como oponentes, discutindo os méritos e deficiências da interface. 2.10.5.1.2. Testes e Estudos Laboratoriais. Segundo MATIAS apud MEDEIROS (1999), o teste de usabilidade corresponde à observação da interação de usuários no mundo real ou sob condições controladas. Os avaliadores reúnem os dados dos problemas detectados no uso e verificam se a interface suporta o ambiente e as tarefas do usuário. Vários autores destacam a importância da realização do teste de usabilidade com o próprio usuário. A urgência dos testes e laboratórios de usabilidade no início dos anos 80 marca a era da satisfação dos usuários. Uma surpresa foi a capacidade dos testes 39 de usabilidade em diminuir os tempos de produção e os custos. Estes resultados deram origem aos laboratórios de usabilidade. Basicamente, o funcionamento deste tipo de laboratório não difere de outros laboratórios: há um ambiente propício para ensaios de interação, onde o usuário pode ser observado, tendo suas reações registradas por câmeras, recursos de captura de ações de teclado e mouse, e, algumas vezes, as próprias expressões faciais e corporais. 2.10.5.1.3. Pesquisas de Opinião. Segundo SHNEIDERMAN apud MEDEIROS (1999), as pesquisas de opinião constituem uma técnica bastante comum de avaliação. São comparativamente baratas e podem servir como um bom complemento para os testes de usabilidade e revisões especializadas. O sucesso das pesquisas de opinião depende da objetividade do instrumento de coleta adotado. Quanto mais dirigido para os dados que se pretende analisar, e quanto menos ambíguo, melhor será a eficácia do instrumento. Para FIALHO apud MEDEIROS (1999), as entrevistas e os questionários são instrumentos muito utilizados para este fim. As entrevistas e questionários permitem ao avaliador de usabilidade conhecer as experiências, opiniões e preferências dos usuários ao utilizarem um determinado sistema. A partir de perguntas formuladas de acordo com o objetivo do teste, o avaliador interage com os usuários diretamente, no caso de entrevistas, facilitando a discussão sobre os temas sugeridos pelas perguntas, ou envia um questionário e aguarda suas respostas, sem interagir com os usuários participantes do teste. As entrevistas são consideradas técnicas mais informais, geralmente não estruturadas, tornando difícil a aferição da confiabilidade e validade de seus resultados. Por outro lado, são capazes de medir a ansiedade, a satisfação subjetiva e a percepção dos usuários com maior riqueza de detalhes. Os questionários são instrumentos formulados com questões específicas para se atingir um determinado objetivo. São capazes de identificar indícios de problemas de uso do sistema por todo um grupo de usuários, como por usuários divididos em perfis, por usuários em um determinado ambiente operacional ou realizando uma certa tarefa. Quando bem elaborados são de fácil aplicabilidade e requerem do usuário menos tempo do que a entrevista. Tanto as entrevistas quanto os 40 questionários podem ser usados em qualquer fase do desenvolvimento do sistema, dependendo do tipo de perguntas formuladas. 2.10.5. 2. Avaliação Durante o Projeto. Por quase duas décadas muitos sistemas de tecnologia de informação falharam em oferecer os benefícios esperados pelos usuários. Envolvimento inadequado dos usuários no processo de desenvolvimento do produto de software é citado como o maior fator que contribuiu para essa distância entre expectativa e realidade. É muito importante o grau de influência que tem o usuário nesse processo (GONÇALVES, 2001). Segundo DAMODARAM apud GONÇALVES (2001), a participação dos usuários no processo de desenvolvimento do produto de software garante: − Melhorar a qualidade do sistema a partir das necessidades do usuário; − Evitar funções do sistema dispendiosas, que o usuário não quer ou não pode usar; − Melhorar o nível de aceitação do sistema; − Melhorar o entendimento do sistema pelo usuário, resultando o uso mais efetivo. Quando os problemas surgem após a implementação do sistema, eles são sérios e mais difíceis de serem corrigidos, pois as mudanças tornam-se mais dispendiosas do que aquelas feitas durante o processo de desenvolvimento. A FIGURA 2.12 abaixo ilustra como o custo para executar modificações no software aumenta em relação às fases do ciclo de vida do software. Custo p/ Executar uma Modificação Avaliação Análise Projeto Implementação Manutenção e Revisão FIGURA 2.12 - Relação do custo de modificação com o ciclo de vida do software. Fonte: STAIR (2001). 41 DIX apud OLIVEIRA (2001) destaca a importância da contínua avaliação de usabilidade durante o projeto, mesmo quando o projeto já utiliza metodologias e modelos que visem a usabilidade. De acordo com DIX apud OLIVEIRA (2001), "é necessário avaliar nossos projetos e testar os nossos sistemas para garantir se o comportamento dos mesmos está verdadeiramente de acordo com as nossas expectativas e com os requisitos do usuário". O autor, então, detalha: "a avaliação não deveria ser pensada como uma simples fase no processo de projeto. O ideal seria que a avaliação ocorresse durante todo o ciclo de vida do projeto, com os resultados da avaliação realimentando e modificando o projeto". As vantagens de uma avaliação da usabilidade inserida nos processos de projeto e de desenvolvimento de softwares são indiscutíveis, pois é muito mais fácil modificar um projeto em suas fases iniciais do que nas fases finais. Os principais tipos de projetos de software são: − Projetos dirigidos pelo sistema: é uma abordagem de desenvolvimento que não evidencia uma preocupação real no que se refere à forma de utilização do produto e a satisfação do usuário. Não havendo nenhum tipo de participação do usuário neste tipo de projeto. − Projetos centrados no usuário: é a filosofia que coloca o usuário no centro do processo. Porém muitas vezes restringindo sua participação apenas na fase inicial dos projetos. − Projetos integrados ao usuário: é o tipo de projeto que envolve o usuário em todas as fases do projeto de desenvolvimento, assegurando, mais efetivamente, que suas necessidades e expectativas sejam atendidas. Até o final dos anos 70, a maioria dos projetos de software era totalmente dirigida pelos sistemas. Como mostra a FIGURA 2.13, a partir dos anos 80 o foco dos projetos de software tem seguido uma abordagem centrada no usuário. Estudos mais recentes indicaram uma mudança de paradigma, de uma abordagem centrada no usuário para uma nova metodologia integrada ao usuário (VALIATE E LEVACOV, 2001). 42 Projetos dirigidos pelo sistema Projetos centrados no usuário Projetos integrados ao usuário U s u á r i o 1950 1970 1980 1990 2000 FIGURA 2.13 - A evolução dos projetos de software. Fonte: VALIATE E LEVACOV (2001). Uma das técnicas mais utilizadas em projetos que envolvem a participação do usuário em praticamente todas as suas fases (projetos integrados ao usuário) é a prototipação. Segundo PRESSMAN (1995), a prototipação é um processo que capacita o desenvolvedor a criar um modelo do software que será implementado. O modelo pode assumir uma das três formas: • Um protótipo em papel ou modelo que retrata a interação homem máquina de uma forma que capacita o usuário a entender quanta interação ocorrerá. O protótipo em papel não é um desenho feito em papel, mas, ao contrário, é uma série de telas interativas geradas por uma ferramenta de prototipação. • Um protótipo de trabalho que implementa algum subconjunto da função exigida do software desejado. • Um programa existente que executa parte ou toda a função desejada, mas que tem outras características que serão melhoradas em um novo esforço de desenvolvimento. O protótipo é um método de desenvolvimento que prevê a execução de vários ciclos de análise, especificação e codificação de um sistema. No primeiro ciclo, gerase um produto simplificado em pouco tempo, de modo que o usuário possa examiná- 43 lo e refinar as suas demandas. Nos ciclos seguintes, o produto é aperfeiçoado e novas funções são sucessivamente implementadas, até se chegar ao produto final. Como todas as abordagens ao desenvolvimento de software, a prototipação inicia-se com a coleta dos requisitos. O desenvolvedor e o usuário reúnem-se e definem os objetivos globais para o software, identificam as exigências conhecidas e esboçam as áreas em que uma definição adicional é obrigatória. Ocorre então a elaboração de um “projeto rápido”. O projeto rápido concentra-se na representação daqueles aspectos do software que serão visíveis aos usuários. O projeto rápido leva à construção de um protótipo que é avaliado pelo usuário e é usado para refinar os requisitos para o software a ser desenvolvido (PRESSMAN, 1995). A seqüência de eventos para o paradigma de prototipação é ilustrada na FIGURA 2.14. Início Coleta de Requisitos Fim Engenharia do Produto Projeto Rápido Refinamento do Protótipo Construção do Protótipo Avaliação do Protótipo FIGURA 2.14 - Seqüência de eventos da prototipação. Fonte: Pressman (1995). O benefício óbvio da utilização dos protótipos é a descoberta precoce da satisfação dos usuários em relação ao produto de software que esta sendo desenvolvido e testado através desta técnica. Pois desta forma esse produto pode ser corrigido antes da execução das atividades seguintes do processo de desenvolvimento, o que acarreta uma grande redução de custos, pois quanto antes 44 for modificado menor será o custo desta modificação, conforme ilustrou a FIGURA 2.12 na página 40, apresentada anteriormente. O estudo feito pelo Ministério de Ciência e Tecnologia (MCT) sobre Qualidade no Setor de Software Brasileiro – 2001, demonstra que das 446 empresas desenvolvedoras de software que participaram da pesquisa, 220 utilizam a técnica da prototipação, ou seja, cerca de 51%. E 244 utilizam projeto de interface com o usuário, ou seja, cerca de 56,6%. Esses dados demonstram que a preocupação com o desenvolvimento de produtos de software adequados ao uso ainda não é suficiente. 2.10.5.3. Avaliação da Qualidade dos Produtos de Software e da Usabilidade no Brasil. Atualmente no Brasil há um grande número de instituições que possuem laboratórios específicos para avaliação da qualidade do produto de software e da usabilidade. Os mais importantes laboratórios utilizados para tal fim, são: • Laboratório da CELEPAR – Companhia de Informática do Paraná criada em 30 de outubro de 1964 e que tem por objetivo a avaliação da usabilidade entre tantos outros. • LabIUtil – Laboratório de Utilizabilidade da Informática da Universidade Federal de Santa Catarina (INE/CTC/UFSC). Apóia desde 1995 as empresas brasileiras produtoras de software interativo que buscam a melhoria da usabilidade de seus produtos de software. Utilizam um “checklist” para avaliação das qualidades ergonômicas de software. O “checklist” é uma ferramenta para avaliação da qualidade ergonômica de um software, que se caracteriza pela verificação da conformidade da interface de um sistema interativo com recomendações ergonômicas. Possui parcerias internacionais, com o INRIA (Instituto Francês de Pesquisa em Informática e Automação), com a equipe do projeto MERLIN (Méthodes pour I’Ergonomie des Logiciels Interactifs), com a qual se desenvolvem técnicas e ferramentas para o trabalho com usabilidade, e com a EPM (Ecole Polytechnique de Montréal) no Canadá, possui uma pesquisa da usabilidade de ambientes virtuais de ensino a distância. 45 • LAQS - Laboratório de Avaliação da Qualidade de Software, implantado pelo INSOFT (Incubadora de Software) que tem como um de seus objetivos a prestação de serviços de avaliação da qualidade de produtos de software, de acordo com as normas internacionais (ISO/IEC), utilizando métodos, técnicas e ferramentas para atender a demanda existente. O Mede-Pros, desenvolvido no CenPRA - Centro de Pesquisas Renato Archer, é o método utilizado pelo LAQS para avaliação da qualidade de produtos de software. Este método utiliza recursos que necessitam da presença de um especialista, pois há itens que um simples usuário do produto não se encontra apto a responder e avaliar. • LAPS – Laboratório de Tecnologia de Avaliação da Qualidade do Produto de Software. Tem como objetivo a geração, aquisição e disseminação de tecnologia para a avaliação da qualidade de produtos de software e disseminar o estado da arte dessa tecnologia através da prestação de serviços tecnológicos, treinamento, participação em grupos de estudo nacionais e internacionais e consultoria. Também utiliza o método Mede-Pros. • LQS - Laboratório de Qualidade de Software. É uma iniciativa da Universidade do Vale do Rio dos Sinos – Unisinos, e da Fundação Centro Tecnológico para Informática - CTI, com apoio da Sociedade Sulriograndense de Apoio ao Desenvolvimento de Software - SOFTSUL, do Sindicato das Empresas de Informática do RS - SEPRORS e da Associação das Empresas Brasileiras de Software e Serviços de Informática - ASSESPRO/RS, que tem por objetivo avaliar o produto de software utilizando normas e padrões nacionais e internacionais. 2.11. Garantia de Qualidade de Software. A garantia da qualidade é uma atividade fundamental para qualquer negócio que gere produtos que são usados por outros. Antes do século XX, a garantia da qualidade era uma responsabilidade exclusiva do artesão que desenvolvia o produto. A primeira função formal de controle e garantia da qualidade foi introduzida nos laboratórios Bell em 1916 e espalhou-se por todo o mundo da manufatura. Hoje a maioria das empresas tem mecanismos para garantir a qualidade de seus produtos. Segundo a NBR ISO 8402, a garantia da qualidade é um conjunto de atividades planejadas e sistemáticas, implementadas no sistema de qualidade e 46 demonstradas como necessárias para prover confiança adequada de que uma entidade atenderá os requisitos para a qualidade (MCT/SEPIN, 2002). “A garantia de qualidade de software (Software Quality Assurance – SQA) é um padrão sistemático e planejado de ações que são exigidas para garantir a qualidade de software. Sendo uma atividade aplicada ao longo de todo processo de engenharia de software” (PRESSMAN, 1995). A SQA compreende uma variedade de tarefas associadas a sete grandes atividades: • Aplicação de métodos técnicos – ajuda o analista a conseguir uma especificação de elevada qualidade e o projetista a desenvolver um projeto de elevada qualidade. A SQA inicia-se nesta atividade. • Revisão técnica formal – é um encontro estilizado realizado pelo pessoal técnico com o propósito único de descobrir problemas de qualidade. • Atividade de teste de software – combina uma estratégia de múltiplos passos com uma série de métodos de projeto de casos de testes que ajudam a garantir uma detecção de erros efetiva. • Aplicação de padrões – os padrões são determinados pelos clientes ou por agências reguladoras, e em outras situações os padrões são impostos. • Controle de mudanças – contribui diretamente para a qualidade do software ao formalizar pedidos de mudança, avaliar a natureza da mudança e controlar o impacto da mudança. • Medição – é uma atividade que faz parte de qualquer disciplina da engenharia de software. Um objetivo importante da SQA é rastrear a qualidade de software e avaliar o impacto das mudanças metodológicas e procedimentais sobre a qualidade de software. Para realizar isso se faz necessário à utilização de uma métrica de software. • Manutenção de registros – a anotação e manutenção de registros para a garantia da qualidade de software oferece procedimentos para a coleta e disseminação de informações de SQA. No próximo capítulo será apresentada a metodologia proposta neste trabalho. 65 CAPÍTULO 4 – TÉCNICAS UTILIZADAS NA METODOLOGIA Neste capítulo serão apresentadas as técnicas utilizadas na metodologia proposta para avaliação da qualidade do produto de software baseada na satisfação do usuário. Onde os cálculos são baseados nas respostas dos usuários aos questionários (apêndices A e B) aplicados. 4.1. Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade. A prioridade de cada critério dependerá da área de aplicação do software. Por exemplo, em um software de engenharia civil o critério de mensagens pode ter um peso (importância) maior do que critério de padronização e para um software de biblioteca pode ocorrer o contrário. Para verificar a variação da prioridade dos critérios de acordo com a área, foi utilizado um questionário para coleta de dados referente à prioridade dos critérios de acordo com a opinião dos usuários de cada área a ser avaliada. Esta técnica possui dois objetivos: • Classificar os critérios da usabilidade de acordo com a prioridade para cada área de aplicação selecionada; • Demonstrar que a prioridade dos critérios varia de acordo com a área de aplicação. 4.1.1. Descrição. Serão avaliados os critérios da usabilidade para a área de aplicação selecionada. Determina-se uma amostra de usuários da área de aplicação selecionada e aplica-se o questionário da prioridade dos critérios, conforme mostra o apêndice B.1. De acordo com a norma NBR ISO/IEC 14598-1, deve-se estabelecer pesos para representar a importância de cada critério no julgamento da qualidade do produto. A importância deverá ser dada pelos próprios usuários e a atribuição dos pesos deve obedecer a uma escala definida pelo avaliador. Em vista disso, cada opção da avaliação da prioridade dos critérios recebe um valor numérico, ou seja, um peso, conforme mostra a TABELA 4.1. 66 TABELA 4.1 – Peso inicial das opções da avaliação. Opções Grande Importância (GI) Média Importância (MI) Pouca Importância (PI) Nenhuma Importância (NI) Peso ( Pi ) 6 4 2 0 Os pesos das opções da avaliação foram dados de forma crescente, sendo para a opção nenhuma importância atribuído o valor zero e a partir dessa opção os pesos seguintes seguem de forma crescente, utilizando um fator de correção de duas unidades, até atingir a opção “grande importância”. Foi utilizado um fator de correção de duas unidades para facilitar a escala dos dados encontrados e para a melhor apresentação desses dados em figuras. Após a avaliação, para se determinar o valor final para o peso de cada critério para a área de aplicação selecionada em relação à amostra escolhida, utiliza-se a seguinte equação: 4 Pf = ∑ Pi * Pfeq (EQUAÇÃO 4.1) i =1 Onde: Pf – Peso final do critério após a avaliação. i – Quantidade de opções da avaliação para cada critério, variando de um a quatro. Pi - Peso da opção da avaliação. Pfeq – Porcentagem referente à freqüência obtida em cada opção na avaliação do critério. Esta equação foi criada de modo a simplificar os cálculos envolvidos no processo. Ela representa para cada um dos critérios avaliados, os seguintes cálculos: determina-se a freqüência que o critério recebeu em cada uma das opções (grande importância, média importância, pouca importância e nenhuma importância). A freqüência obtida em cada opção será multiplicada pelo peso da opção, determinado pela TABELA 4.1. Calcula-se o somatório do resultado obtido em cada opção e desta forma conclui-se o valor do peso final do critério em questão. De acordo com a equação descrita acima, o peso final encontrado para cada critério irá pertencer a intervalos e cada critério será classificado de acordo com o intervalo no qual seu peso final se enquadra, conforme mostra a TABELA 4.2. 67 TABELA 4.2 – Intervalos para classificação dos critérios em relação ao peso final. Classificação Grande Importância (GI) Média Importância (MI) Pouca Importância (PI) Nenhuma Importância (NI) Peso ( Pf ) 6,0 4,5 3,0 1,5 4,5 3,0 1,5 0,0 A definição dos intervalos foi feita identificando o maior (6) e o menor (0) peso das opções da avaliação. A diferença entre o maior e o menor peso foi dividida pelo número de opções da avaliação (4), deste modo obteve-se o tamanho de cada intervalo (1,5). 4.2. Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. É o estudo da satisfação dos usuários em relação à qualidade de um determinado produto de software utilizado em uma área selecionada. Foi utilizado um questionário para coleta de dados, referente ao grau de cada critério, de acordo com os usuários de um determinado produto de software da área selecionada para avaliação da usabilidade. 4.2.1. Descrição. Serão avaliados os produtos de software da área de aplicação selecionada. Determina-se uma amostra de usuários do produto de software selecionado e aplica-se o questionário do grau dos critérios, conforme mostra o apêndice B.2. Cada opção da avaliação da qualidade dos critérios recebe um valor numérico, ou seja, um grau, conforme mostra a TABELA 4.3. TABELA 4.3 – Grau das opções da avaliação. Opções Muito Bom (MB) Bom (B) Médio (M) Ruim (R) Péssimo (P) Inexistente (I) GRAU (Gi) 10 8 6 4 2 0 68 Os graus das opções da avaliação foram dados de forma crescente, sendo para a opção inexistente atribuído o valor zero e a partir dessa opção os graus seguintes seguem de forma crescente, utilizando um fator de correção de duas unidades, até atingir a opção “muito bom”. Foi utilizado um fator de correção de duas unidades para facilitar a escala dos dados encontrados e para a melhor apresentação desses dados nas figuras. Após a avaliação, para se determinar o valor final para o grau de cada critério para o produto de software selecionado em relação à amostra escolhida, utiliza-se a seguinte equação: 6 Gf = ∑ Gi * Pfeq (EQUAÇÃO 4.2) i =1 Onde: Gf – Grau final do critério após a avaliação. i – Quantidade de opções para cada critério, variando de um a seis. Gi - Grau da opção da avaliação. Pfeq – Porcentagem referente à freqüência obtida em cada opção na avaliação do critério. Esta equação foi criada de modo a simplificar os cálculos envolvidos no processo. Ela representa para cada um dos critérios avaliados, os seguintes cálculos: determina-se a freqüência que o critério recebeu em cada uma das opções (muito bom, bom, médio, ruim, péssimo e inexistente). A freqüência obtida em cada opção será multiplicada pelo grau da opção, determinado pela TABELA 4.3. Calculase o somatório do resultado obtido em cada opção e desta forma conclui-se o valor do grau final do critério em questão. De acordo com a equação descrita acima, o grau final para cada critério da avaliação irá pertencer a intervalos e cada critério será classificado de acordo com o intervalo no qual seu grau final se enquadra, conforme mostra a TABELA 4.4. TABELA 4.4 – Intervalos para classificação dos critérios em relação ao grau final. Opção Muito Bom (MB) Bom (B) Médio (M) Ruim (R) Péssimo (P) Inexistente (I) Grau ( Gf ) 10 8 6 4 2 8 6 4 2 0 0 69 A definição dos intervalos foi feita identificando o maior (10) e o menor (0) grau das opções da avaliação. A diferença entre o maior e o menor grau foi dividida pelo número de opções da avaliação para critérios existentes (5), deste modo obteve-se o tamanho de cada intervalo (2,0). Para critérios considerados inexistentes no produto de software o grau final atribuído é zero (0). 4.3. Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. O objetivo dessa técnica é a avaliação da usabilidade de um produto de software de acordo com as opiniões dos usuários. Esta técnica utiliza as duas técnicas citadas acima, e através delas efetua cálculos para determinação de um fator de usabilidade, o qual servirá para classificar o produto de software em relação a qualidade de interação entre o produto avaliado e seus usuários. 4.3.1. Descrição. Após obter o valor do peso final de cada critério através da técnica descrita no item 4.1 e do grau final de cada critérios através da técnica descrita no item 4.2, será utilizada a seguinte equação para o cálculo do fator da usabilidade (Equação baseada na metodologia da CELEPAR - Companhia de Informática do Paraná): U= ∑ (G × P ) ∑ P f f f (EQUAÇÃO 4.3) Onde: U - Usabilidade Gf - Grau Final Pf - Peso Final Nos casos em que todos os critérios forem considerados como de nenhuma importância para a área de aplicação selecionada e/ou como inexistentes para o produto de software avaliado, ao fator da usabilidade (U) será atribuído o valor zero (0,0). 70 O produto de software será classificado de acordo com o valor encontrado para o fator de usabilidade pela aplicação da equação acima. Segundo a norma NBR ISO/IEC 14598-1, o valor encontrado referente a qualquer característica de qualidade do produto de software apresentada pela norma ISO/IEC 9126-1 (NBR 13596) deve ser mapeado em uma escala. Este valor por si só não mostra o nível de satisfação. Para isso, a escala precisa ser dividida em faixas correspondentes aos diversos graus de satisfação. São exemplos: • Dividir a escala em duas categorias: Satisfatória e Insatisfatória. • Dividir a escala em quatro categorias: Excelente, Bom, Médio e Inaceitável. Excelente Valor Medido Bom Satisfatório Médio Inaceitável Insatisfatório Escala Níveis de Pontuação FIGURA 4.1 - Exemplo de escala sugerida pela norma NBR ISO/IEC 14598-1. Fonte: Subcomitê de Software da ABNT (2001a). A técnica apresentada utiliza a escala dividida em quatro categorias, conforme mostra a TABELA 4.5. TABELA 4.5 – Escala da usabilidade para classificação do software. Usabilidade 0,0 <= U <= 2,5 2,5 < U <= 5,0 5,0 < U <= 7,5 7,5 < U <= 10,0 Classificação Usabilidade Inaceitável Média Usabilidade Boa Usabilidade Excelente Usabilidade A definição dos intervalos foi feita da seguinte forma: • Identificando o valor máximo de ser calculado para o fator de usabilidade, sendo este valor obtido quando todos os critérios forem considerados de grande importância e muito bom em relação ao produto de software. Aplicando-se a Equação 3.2.1.c determina-se o valor máximo da usabilidade (10,0). 71 • Identificando o valor mínimo (0,0) para o fator de usabilidade, sendo este valor obtido quando todos os critérios forem considerados de nenhuma importância e/ou inexistentes em relação ao produto de software. • A diferença entre o valor máximo e o valor mínimo do fator da usabilidade foi dividida pelo número de categorias utilizadas na escala, como visto anteriormente, a escala usada foi dividida em quatro categorias sugeridas pela norma NBR ISO/IEC 14598-1. Deste modo obteve-se o tamanho de cada intervalo (2,5). 4.4. Roteiro para Avaliação do Produto de Software Pela Usabilidade Através da Satisfação do Cliente, Utilizando as Técnicas Citadas Acima. • Selecionar a área de aplicação do software que será avaliada; • Aplicar o questionário de prioridades dos critérios (Apêndice B.1) aos usuários da área selecionada; • Com os dados coletados definir a prioridade, ou seja, aplicar a técnica descrita no item 4.1. • Selecionar o produto de software utilizado na área selecionada que será avaliado; • Aplicar o questionário de qualidade dos critérios (Apêndice B.2) aos usuários do produto de software selecionado; • Com os dados coletados definir o grau de cada critério para o produto de software selecionado, ou seja, aplicar a técnica descrita no item 4.2. • Calcular a usabilidade utilizando a Equação U = ∑ (G × P ) ∑ P f f f apresentada na técnica descrita no item 4.3; • Comparar o valor da usabilidade encontrado no item anterior com a escala de valores da usabilidade conforme mostra a TABELA 4.5 apresentada na técnica descrita no item 4.3; • De acordo com a escala de valores em que o valor da usabilidade encontrado se enquadra, define-se a classificação do produto de software conforme mostra a TABELA 4.5 apresentada na técnica descrita no item 4.3. O roteiro acima pode ser resumido e melhor representado pela Figura 4.2. a seguir. 72 Selecionar a Área de Aplicação Questionário de Prioridade dos Critérios Aplicar a 1º Técnica Selecionar o Produto de Software Questionário de Qualidade dos Critérios Aplicar a 2º Técnica Aplicar a 3º Técnica Figura 4.2 – Diagrama das etapas para a avaliação do produto de software. No próximo capítulo será apresentada uma aplicação prática da primeira técnica utilizada na metodologia proposta, ou seja, a técnica para classificação dos critérios da usabilidade em ordem de prioridade. 73 CAPÍTULO 5 – APLICAÇÃO PRÁTICA DA TÉCNICA PARA CLASSIFICAÇÃO DOS CRITÉRIOS DA USABILIDADE EM ORDEM DE PRIORIDADE. Neste capítulo será apresentada uma aplicação prática da classificação dos critérios da usabilidade em ordem de prioridade, com o objetivo de demonstrar como a prioridade dos critérios pode variar de acordo com a área de aplicação. 5.1. Introdução. Foram selecionadas quatro áreas de aplicação para pesquisa referente à prioridade dos critérios: • Biblioteca; • Engenharia Civil; • Laboratório Clínico; • Coordenação Acadêmica. Esta fase inicial da pesquisa de campo tem como finalidade propor a técnica para classificação dos critérios de acordo com a prioridade e demonstrar que a prioridade de cada critério varia de acordo com a área de aplicação selecionada. Os resultados obtidos são baseados em uma amostra de 30 usuários para cada área de aplicação. Determina-se a prioridade de cada critério de acordo com o somatório dos resultados obtidos pela multiplicação da freqüência encontrada para cada opção da avaliação (Grande Importância, Média Importância, Pouca Importância e Nenhuma Importância) com o peso de cada opção da avaliação. O questionário utilizado foi o referente à coleta dos dados necessários à prioridade dos critérios; da fase do pré-teste. Os critérios que participaram desta primeira parte foram: • Auditabilidade; • Auto-instrução; • Documentação; • Facilidade de Instalação; • Glossário; • Help On-line; 74 • Mensagens; • Navegação; • Padronização; • Prevenção Contra Erros de Operação; • Reaproveitamento da Entrada de Dados. 5.2. Resultados Obtidos. 5.2.1. Área de Aplicação: Biblioteca. Auditabilidade Opção Feq PFeq Pi Pf Média Importância 5 16,7% 4 0,67 Pouca Importância 22 73,3% 2 1,47 Nenhuma Importância 3 10,0% 0 0,00 Total 30 100% 2,13 Auto-Instrução Opção Feq Pouca Importância 21 Nenhuma Importância 9 Total 30 Auditabilidade 10,0% 73,3% Total Feq 20 8 2 30 Média Importância Pouca Importância Nenhuma Importância Auto-Instrução 30,0% PFeq Pi Pf 70,0% 2 1,40 30,0% 0 0,00 100% 1,40 70,0% Pouca Importância Nenhuma Importância Documentação Documentação Opção Grande Importância Média Importância Pouca Importância 16,7% PFeq Pi Pf 66,7% 6 4,00 26,7% 4 1,07 6,7% 2 0,13 100% 5,20 26,7% 6,7% 66,7% Grande Importância Média Importância Pouca Importância 75 Facilidade de Instalação 3,3% 6,7% 10,0% Facilidade de Instalação Opção Grande Importância Média Importância Pouca Importância Nenhuma Importância Total Feq 2 3 24 1 30 PFeq Pi Pf 6,7% 6 0,40 10,0% 4 0,40 80,0% 2 1,60 3,3% 0 0,00 2,40 100% 80,0% Grande Importância Média Importância Pouca Importância Nenhuma Importância Glossário Glossário Opção Média Importância Pouca Importância Total Feq 5 25 30 PFeq Pi Pf 16,7% 4 0,67 83,3% 2 1,67 100% 2,33 16,7% 83,3% Pouca Importância Help On-Line Help On-Line Opção Grande Importância Média Importância Total Feq 29 1 30 Média Importância 3,3% PFeq Pi Pf 96,7% 6 5,80 3,3% 4 0,13 100% 5,93 96,7% Grande Importância Média Importância Mensagens Mensagens Opção Grande Importância Média Importância Total Feq 27 3 30 10,0% PFeq Pi Pf 90,0% 6 5,40 10,0% 4 0,40 100% 5,80 90,0% Média Importância Navegação Navegação Opção Grande Importância Média Importância Pouca Importância Total Feq 19 10 1 30 PFeq Pi Pf 63,3% 6 3,80 33,3% 4 1,33 3,3% 2 0,07 100% 5,20 Grande Importância 3,3% 33,3% 63,3% Grande Importância Média Importância Pouca Importância 76 Padronização Opção Grande Importância Média Importância Pouca Importância Total Feq 18 10 2 30 PFeq Pi Pf 60,0% 6 3,60 33,3% 4 1,33 6,7% 2 0,13 100% 5,07 Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Pouca Importância Total Feq 26 3 1 30 PFeq Pi Pf 86,7% 6 5,20 10,0% 4 0,40 3,3% 2 0,07 100% 5,67 Reaproveitamento de Dados Opção Grande Importância Média Importância Pouca Importância Total Feq 10 19 1 30 PFeq Pi Pf 33,3% 6 2,00 63,3% 4 2,53 3,3% 2 0,07 100% 4,60 Padronização 33,3% 6,7% 60,0% Grande Importância Média Importância Pouca Importância Prevenção Contra Erros 10,0% 3,3% 86,7% Grande Importância Média Importância Pouca Importância Reaproveitamento de Dados 3,3% 33,3% 63,3% Grande Importância Média Importância Pouca Importância Onde: Feq – Freqüência encontrada. Pfeq – Porcentagem referente à freqüência. Pi – Peso da opção da avaliação. Pf – Peso final do critério na área de aplicação selecionada. Com os dados obtidos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativo entre os onze critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 5.1 a seguir. 77 TABELA 5.1 – Classificação dos critérios de acordo com a prioridade na área de Biblioteca. Critérios Help On-Line Mensagens Prevenção Contra Erros Documentação Navegação Padronização Reaproveitamento Dados Facilidade de Instalação Glossário Auditabilidade Auto-Instrução Pf 5,93 5,80 5,67 5,20 5,20 5,07 4,60 2,40 2,33 2,13 1,40 Avaliação GI GI GI GI GI GI GI PI PI PI NI Onde: GI – Grande Importância. PI – Pouca Importância. NI – Nenhuma Importância. Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 5.1 e a FIGURA 5.2. 5,93 6,0 Grande Importância 5,5 5,0 Média Importância 5,8 5,67 Help On-Line 5,2 5,2 5,07 Mensagens 4,6 4,5 Prevenção Contra Erros 4,0 Documentação 3,5 Navegação 3,0 Pouca Importância 2,5 Padronização 2,13 Reaproveitamento Dados 2,0 1,5 Nenhuma Importância 2,4 2,33 1,0 1,4 Facilidade de Instalação Glossário 0,5 Auditabilidade 0,0 Auto-Instrução FIGURA 5.1 - Peso final dos critérios para área de biblioteca. 78 Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento de Dados Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 5.2 - Prioridade dos Critérios para a área de Biblioteca. Na FIGURA 5.2 verifica-se que para área de Biblioteca os critérios seguiram a seguinte classificação: • Grande Importância: Documentação, Help On-Line, Mensagens, Navegação, Padronização, Reaproveitamento da Entrada de Dados e Prevenção Contra Erros de Operação. • Pouca Importância: Auditabilidade, Glossário e Facilidade de Instalação. • Nenhuma Importância: Auto-Instrução. 5.2.2. Área de Aplicação: Engenharia Civil. Auditabilidade Opção Grande Importância Média Importância Pouca Importância Nenhuma Importância Total Feq 7 20 2 1 30 PFeq Pi Pf 23,3% 6 1,40 66,7% 4 2,67 6,7% 2 0,13 3,3% 0 0,00 100% 4,20 Auditabilidade 6,7% 3,3% 66,7% 23,3% Grande Importância Média Importância Pouca Importância Nenhuma Importância 79 Auto-Instrução 10,0% 6,7% Auto-Instrução Opção Grande Importância Média Importância Pouca Importância Nenhuma Importância Total Feq 2 18 7 3 30 PFeq Pi Pf 6,7% 6 0,40 60,0% 4 2,40 23,3% 2 0,47 10,0% 0 0,00 100% 3,27 23,3% Grande Importância Média Importância Pouca Importância Nenhuma Importância 60,0% Documentação Documentação 10,0% Opção Grande Importância Média Importância Pouca Importância Total Feq 19 8 3 30 PFeq Pi Pf 63,3% 6 3,80 26,7% 4 1,07 10,0% 2 0,20 100% 5,07 26,7% 63,3% Grande Importância Média Importância Pouca Importância Facilidade de Instalação 3,3% 6,7% 13,3% Facilidade de Instalação Opção Grande Importância Média Importância Pouca Importância Nenhuma Importância Total Feq 2 4 23 1 30 PFeq Pi Pf 6,7% 6 0,40 13,3% 4 0,53 76,7% 2 1,53 3,3% 0 0,00 100% 2,47 76,7% Grande Importância Média Importância Pouca Importância Nenhuma Importância Glossário Glossário Opção Grande Importância Média Importância Pouca Importância Total Feq 2 5 23 30 PFeq Pi Pf 6,7% 6 0,40 16,7% 4 0,67 76,7% 2 1,53 100% 2,60 6,7% 76,7% 16,7% Grande Importância Média Importância Pouca Importância Help On-Line Help On-Line Opção Grande Importância Média Importância Total Feq 27 3 30 PFeq Pi Pf 90,0% 6 5,40 10,0% 4 0,40 100% 5,80 10,0% 90,0% Grande Importância Média Importância 80 Mensagens Mensagens Opção Grande Importância Média Importância Total Feq 28 2 30 6,7% PFeq Pi Pf 93,3% 6 5,60 6,7% 4 0,27 100% 5,87 93,3% Grande Importância Média Importância Navegação Navegação Opção Grande Importância Média Importância Pouca Importância Total Feq 23 5 2 30 PFeq Pi Pf 76,7% 6 4,60 16,7% 4 0,67 6,7% 2 0,13 100% 5,40 16,7% 6,7% 76,7% Padronização Opção Grande Importância Média Importância Pouca Importância Total Feq 10 17 3 30 Padronização 10,0% PFeq Pi Pf 33,3% 6 2,00 56,7% 4 2,27 10,0% 2 0,20 100% 4,47 56,7% Total Feq 22 5 3 30 PFeq Pi Pf 73,3% 6 4,40 16,7% 4 0,67 10,0% 2 0,20 100% 5,27 Reaproveitamento de Dados Opção Grande Importância Média Importância Pouca Importância Total Feq 10 19 1 30 PFeq Pi Pf 33,3% 6 2,00 63,3% 4 2,53 3,3% 2 0,07 100% 4,60 33,3% Grande Importância Média Importância Pouca Importância Prevenção Contra Erros Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Pouca Importância Grande Importância Média Importância Pouca Importância 16,7% 10,0% 73,3% Grande Importância Média Importância Pouca Importância Reaproveitamento de Dados 3,3% 33,3% 63,3% Grande Importância Média Importância Pouca Importância 81 Com os dados obtidos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativo entre os onze critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 5.2 abaixo. TABELA 5.2 - Classificação dos critérios na área de Engenharia Civil. Critérios Mensagens Help On-Line Navegação Prevenção Contra Erros Documentação Reaproveitamento Dados Padronização Auditabilidade Auto-Instrução Glossário Facilidade de Instalação Pf 5,87 5,80 5,40 5,27 5,07 4,60 4,47 4,20 3,27 2,60 2,47 Avaliação GI GI GI GI GI GI MI MI MI PI PI Onde: GI – Grande Importância. MI – Média Importância. PI – Média Importância. Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 5.3 e a FIGURA 5.4. 6,0 Grande Importância 5,5 5,0 4,5 Média Importância Nenhuma Importância 5,4 5,27 Mensagens 5,07 4,6 Help On-Line 4,47 Navegação 4,2 Prevenção Contra Erros 4,0 3,5 3,0 Pouca Importância 5,87 5,8 3,27 Documentação 2,6 2,47 Reaproveitamento Dados 2,5 Padronização 2,0 Auditabilidade 1,5 Auto-Instrução 1,0 0,5 0,0 Glossário Facilidade de Instalação FIGURA 5.3 - Pesos dos critérios para área de Engenharia Civil. 82 Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento de Dados Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 5.4 - Prioridades dos critérios para área de Engenharia Civil. Na FIGURA 5.4 acima, verifica-se que para área de Engenharia Civil os critérios seguiram a seguinte classificação: • Grande Importância: Documentação, Help On-Line, Mensagens, Navegação, Reaproveitamento da Entrada de Dados e Prevenção Contra Erros de Operação. • Média Importância: Auto-Instrução, Auditabilidade, Padronização. • Pouca Importância: Glossário e Facilidade de Instalação. 5.2.3. Área de Aplicação: Laboratório Clínico. Auditabilidade Opção Feq PFeq Pi Pf Grande Importância 28 93,3% 6 5,60 Média Importância 2 6,7% 4 0,27 Total 30 100% 5,87 Auditabilidade 6,7% 93,3% Grande Importância Média Importância 83 Auto-Instrução Opção Média Importância Pouca Importância Nenhuma Importância Total Feq 3 23 4 30 Auto-Instrução 13,3% PFeq Pi Pf 10,0% 4 0,40 76,7% 2 1,53 13,3% 0 0,00 100% 1,93 76,7% Total Feq 20 8 2 30 PFeq Pi Pf 66,7% 6 4,00 26,7% 4 1,07 6,7% 2 0,13 100% 5,20 Facilidade de Instalação Opção Grande Importância Pouca Importância Nenhuma Importância Total Feq 5 23 2 30 PFeq Pi Pf 16,7% 6 1,00 76,7% 2 1,53 6,7% 0 0,00 100% 2,53 Total Feq 6 18 6 30 Pouca Importância Documentação 26,7% 6,7% 66,7% Grande Importância Média Importância Pouca Importância Facilidade de Instalação 6,7% 16,7% 76,7% Grande Importância Pouca Importância Nenhuma Importância Glossário Glossário Opção Grande Importância Média Importância Pouca Importância Média Importância Nenhuma Importância Documentação Opção Grande Importância Média Importância Pouca Importância 10,0% PFeq Pi Pf 20,0% 6 1,20 60,0% 4 2,40 20,0% 2 0,40 100% 4,00 20,0% 20,0% 60,0% Grande Importância Média Importância Pouca Importância Help On-Line Help On-Line 3,3% Opção Grande Importância Média Importância Total Feq 29 1 30 PFeq Pi Pf 96,7% 6 5,80 3,3% 4 0,13 100% 5,93 96,7% Grande Importância Média Importância 84 Mensagens Mensagens Opção Grande Importância Média Importância Total Feq 27 3 30 10,0% PFeq Pi Pf 90,0% 6 5,40 10,0% 4 0,40 100% 5,80 90,0% Média Importância Navegação Navegação Opção Grande Importância Média Importância Pouca Importância Total Feq 24 5 1 30 PFeq Pi Pf 80,0% 6 4,80 16,7% 4 0,67 3,3% 2 0,07 100% 5,53 16,7% 3,3% 80,0% Padronização Opção Grande Importância Média Importância Pouca Importância Total Feq 10 17 3 30 PFeq Pi Pf 33,3% 6 2,00 56,7% 4 2,27 10,0% 2 0,20 100% 4,47 Total Feq 23 5 2 30 PFeq Pi Pf 76,7% 6 4,60 16,7% 4 0,67 6,7% 2 0,13 100% 5,40 Reaproveitamento de Dados Opção Grande Importância Média Importância Total Feq 9 21 30 PFeq Pi Pf 30,0% 6 1,80 70,0% 4 2,80 100% 4,60 Grande Importância Média Importância Pouca Importância Padronização 10,0% 56,7% 33,3% Grande Importância Média Importância Pouca Importância Prevenção Contra Erros Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Pouca Importância Grande Importância 16,7% 6,7% 76,7% Grande Importância Média Importância Pouca Importância Reaproveitamento de Dados 30,0% 70,0% Grande Importância Média Importância 85 Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativa entre os onze critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 5.3. TABELA 5.3 - Classificação dos critérios na área de Laboratório Cínico. Critérios Help On-Line Auditabilidade Mensagens Navegação Prevenção Contra Erros Documentação Reaproveitamento Dados Padronização Glossário Facilidade de Instalação Auto-Instrução Pf 5,93 5,87 5,80 5,53 5,40 5,20 4,60 4,47 4,00 2,53 1,93 Avaliação GI GI GI GI GI GI GI MI MI PI PI Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 5.5 e a FIGURA 5.6. 6,0 Grande Importância 5,5 5,0 4,5 Média Importância Help On-Line 5,4 5,2 Auditabilidade 4,6 4,47 Mensagens 4 Navegação 3,5 Prevenção Contra Erros 2,5 2,0 1,5 1,0 Nenhuma Importância 5,53 4,0 3,0 Pouca Importância 5,93 5,87 5,8 0,5 0,0 Documentação 2,53 1,93 Reaproveitamento Dados Padronização Glossário Facilidade de Instalação Auto-Instrução FIGURA 5.5 - Pesos dos critérios para área de Laboratório Clínico. 86 Na FIGURA 5.6 a seguir, verifica-se que para área de Laboratório Clínico os critérios seguiram a seguinte classificação: • Grande Importância:Auditabilidade, Documentação, Help On-Line, Mensagens, Navegação, Reaproveitamento da Entrada de Dados e Prevenção Contra Erros de Operação. • Média Importância: Padronização e Glossário. • Pouca Importância: Auto-Instrução e Facilidade de Instalação. Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento de Dados Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 5.6 - Prioridade dos Critérios para Área de Laboratório Clínico. 5.2.4. Área de Aplicação: Coordenação Acadêmica. . Auditabilidade Auditabilidade Opção Feq PFeq Pi Pf Grande Importância 26 86,7% 6 5,20 Média Importância 4 13,3% 4 0,53 Total 30 100% 5,73 13,3% 86,7% Grande Importância Média Importância 87 Auto-Instrução Opção Média Importância Pouca Importância Nenhuma Importância Total Feq 1 24 5 30 PFeq Pi Pf 3,3% 4 0,13 80,0% 2 1,60 16,7% 0 0,00 100% 1,73 Auto-Instrução Total Feq 22 6 2 30 PFeq Pi Pf 73,3% 6 4,40 20,0% 4 0,80 6,7% 2 0,13 100% 5,33 Total Feq 3 25 2 30 PFeq Pi Pf 10,0% 4 0,40 83,3% 2 1,67 6,7% 0 0,00 100% 2,07 Documentação 20,0% 6,7% 73,3% Grande Importância Média Importância Pouca Importância Facilidade de Instalação 6,7% 10,0% Total Feq 3 27 30 Glossário PFeq Pi Pf 10,0% 4 0,40 90,0% 2 1,80 100% 2,20 10,0% 90,0% Média Importância Pouca Importância Help On-Line Help On-Line Opção Grande Importância Média Importância Total Feq 28 2 30 Média Importância Pouca Importância Nenhuma Importância 83,3% Glossário Opção Média Importância Pouca Importância Pouca Importância Nenhuma Importância Facilidade de Instalação Opção Média Importância Pouca Importância Nenhuma Importância Média Importância 80,0% Documentação Opção Grande Importância Média Importância Pouca Importância 3,3% 16,7% PFeq Pi Pf 93,3% 6 5,60 6,7% 4 0,27 100% 5,87 6,7% 93,3% Grande Importância Média Importância 88 Mensagens Mensagens Opção Grande Importância Média Importância Total Feq 29 1 30 PFeq Pi Pf 96,7% 6 5,80 3,3% 4 0,13 100% 5,93 3,3% 96,7% Grande Importância Média Importância Navegação Navegação 13,3% Opção Grande Importância Média Importância Total Feq 26 4 30 PFeq Pi Pf 86,7% 6 5,20 13,3% 4 0,53 100% 5,73 86,7% Grande Importância Média Importância Padronização Padronização 6,7% Opção Grande Importância Média Importância Pouca Importância Total Feq 2 10 18 30 PFeq Pi Pf 6,7% 6 0,40 33,3% 4 1,33 60,0% 2 1,20 100% 2,93 33,3% 60,0% Prevenção Contra Erros Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Pouca Importância Total Feq 25 4 1 30 PFeq Pi Pf 83,3% 6 5,00 13,3% 4 0,53 3,3% 2 0,07 100% 5,60 Reaproveitamento de Dados Opção Grande Importância Média Importância Total Feq 7 23 30 PFeq Pi Pf 23,3% 6 1,40 76,7% 4 3,07 100% 4,47 Grande Importância Média Importância Pouca Importância 13,3% 3,3% 83,3% Grande Importância Média Importância Pouca Importância Reaproveitamento de Dados 23,3% 76,7% Grande Importância Média Importância 89 Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativa entre os onze critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada um dos critérios se encaixa; com isso pode-se chegar à TABELA 5.4. TABELA 5.4 - Classificação dos critérios na área de Coordenação Acadêmica. Critérios Mensagens Help On-Line Auditabilidade Navegação Prevenção Contra Erros Documentação Reaproveitamento Dados Padronização Glossário Facilidade de Instalação Auto-Instrução Pf Avaliação 5,93 GI 5,87 GI 5,73 GI 5,73 GI 5,60 GI 5,33 GI 4,47 MI 2,93 PI 2,20 PI 2,07 PI 1,73 PI Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 5.7 e a FIGURA 5.8. 6,0 Grande Importância 5,5 5,0 5,93 5,87 5,73 5,73 5,6 Mensagens 5,33 Help On-Line 4,47 Auditabilidade 4,5 Média Importância 3,5 3,0 Pouca Importância 2,5 2,0 1,5 Nenhuma Importância Navegação 4,0 1,0 0,5 0,0 Prevenção Contra Erros 2,93 Documentação 2,2 2,07 Reaproveitamento Dados 1,73 Padronização Glossário Facilidade de Instalação Auto-Instrução FIGURA 5.7 - Pesos dos critérios para área de Coordenação Acadêmica. 90 Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento de Dados Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 5.8 - Prioridade dos Critérios para Área de Coordenação Acadêmica. Na FIGURA 5.8, verifica-se que para área de Coordenação Acadêmica os critérios seguiram a seguinte classificação: • Grande Importância: Auditabilidade, Documentação, Help On-Line, Mensagens, Navegação e Prevenção Contra Erros de Operação. • Média Importância: Reaproveitamento da Entrada de Dados. • Pouca Importância: Auto-Instrução, Facilidade de Instalação, Padronização e Glossário. 5.3. Comparação dos Resultados Obtidos. Através dos resultados obtidos pode-se observar que a prioridade dos critérios da usabilidade varia de acordo com a área de aplicação, conforme mostra a FIGURA 5.9 a seguir e com este resultado o objetivo dessa parte inicial da pesquisa foi alcançado. 91 Biblioteca Engenharia Civil Laboratório Clínico Coordenação Acadêmica Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento Dados GI MI PI NI GI MI PI NI GI MI PI NI GI MI PI NI FIGURA 5.9 – Comparação da prioridade dos critérios nas quatro áreas selecionadas. No próximo capítulo será apresentado o primeiro estudo de caso. 92 CAPÍTULO 6 – PRIMEIRO ESTUDO DE CASO: GESTÃO DE PLATAFORMAS. Neste capítulo será apresentado um estudo de caso na área de gestão de plataformas, onde foi feito um levantamento da prioridade dos critérios da usabilidade, e, posteriormente, uma avaliação de um produto de software específico utilizado nesta área de aplicação. 6.1. Introdução. O primeiro estudo de caso foi realizado na área de gestão de plataformas. A instituição que possibilitou esta pesquisa foi a Petrobrás, através da permissão para avaliar um dos seus produtos de software de gestão de plataformas. O produto de software avaliado foi o APLAT (Gestão Integrada e Padronizada da Plataforma). O estudo foi realizado mais precisamente na Bacia de Campos situada na cidade de Macaé no estado do Rio de Janeiro. Neste estudo de caso a pesquisa baseou-se nos questionários do pré-teste. 6.2. Descrição da Instituição. A Petrobrás foi criada em outubro de 1953, através da Lei 2.004 para executar as atividades do setor de petróleo no Brasil em nome da União. A Petróleo Brasileiro S/A iniciou suas atividades com o acervo recebido do antigo Conselho Nacional do Petróleo (CNP). Em 1997, o Brasil ingressou no seleto grupo de 16 países que produz mais de 1 milhão de barris de óleo por dia. Ao longo de quatro décadas tornou-se líder em distribuição de derivados do petróleo no país, colocando-se entre as vinte maiores empresas petrolíferas na avaliação internacional. Detentora da tecnologia mais avançada do mundo para a produção de petróleo em águas profundas, a Companhia foi premiada, em 1992 e 2001, pela Offshore Technology Conference (OTC). A Petrobrás possui várias unidades espalhadas por todo o Brasil; unidades como: refinarias, áreas de exploração e de produção, dutos, terminais, gerências regionais e frotas petroleiras. 93 6.3. Descrição do Produto de Software Avaliado. O APLAT (Gestão Integrada e Padronizada da Plataforma) foi desenvolvido pela TIBC (Tecnologia de Informação da Bacia de Campos). Tem como objetivo uma solução para gestão, otimização, integração e controle dos processos administrativos das plataformas. Foi desenvolvido com a finalidade de oferecer segurança, agilidade, confiabilidade e flexibilidade aos seus usuários. Dentre os processos controlados, abordados pelo sistema, destacam-se: • Embarque de pessoal; • Acomodações na plataforma; • Mapeamento da hierarquia de áreas e equipes; • Previsão de escala; • Treinamentos; • Acompanhamento de pendências; • Passagem de serviço. 6.4. Resultados Obtidos. Foram utilizadas as técnicas referentes as três primeiras partes da metodologia, descritas no Capítulo III deste trabalho. Os resultados obtidos são baseados em uma amostra de 20 usuários. Os critérios avaliados neste estudo de caso, por sugestão da própria Petrobrás, foram: • Auto-instrução; • Documentação; • Glossário; • Help On-line; • Mensagens; • Navegação; • Padronização; • Prevenção Contra Erros de Operação; • Reaproveitamento da Entrada de Dados. 94 6.4.1. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade. Determina-se a prioridade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de prioridade, apresentada no Capítulo IV deste trabalho. Auto-Instrução Auto-Instrução Opção Grande Importância Média Importância Total Feq 18 2 20 PFeq Pi Pf 90,0% 6 5,40 10,0% 4 0,40 100% 5,80 10,0% 90,0% Grande Importância Média Importância Documentação Documentação Opção Grande Importância Média Importância Total Feq 5 15 20 PFeq Pi Pf 25,0% 6 1,50 75,0% 4 3,00 100% 4,50 25,0% 75,0% Média Importância Glossário Glossário Opção Grande Importância Média Importância Pouca Importância Total Feq PFeq Pi Pf 2 10,0% 6 0,60 3 15,0% 4 0,60 15 75,0% 2 1,50 20 100% 2,70 10,0% 15,0% 75,0% Total Feq 6 14 20 PFeq Pi Pf 30,0% 6 1,80 70,0% 4 2,80 100% 4,60 Grande Importância Média Importância Pouca Importância Help On-Line Help On-Line Opção Grande Importância Média Importância Grande Importância 30,0% 70,0% Grande Importância Média Importância 95 Mensagens Mensagens Opção Grande Importância Média Importância Total Feq 4 16 20 PFeq Pi Pf 20,0% 6 1,20 80,0% 4 3,20 100% 4,40 20,0% 80,0% Grande Importância Média Importância Navegação Navegação Opção Grande Importância Média Importância Pouca Importância Total Feq 14 5 1 20 PFeq Pi Pf 70,0% 6 4,20 25,0% 4 1,00 5,0% 2 0,10 100% 5,30 25,0% 5,0% 70,0% Padronização Padronização Opção Grande Importância Média Importância Pouca Importância Total Feq 4 13 3 20 PFeq Pi Pf 20,0% 6 1,20 65,0% 4 2,60 15,0% 2 0,30 100% 4,10 15,0% Total Feq 15 5 20 PFeq Pi Pf 75,0% 6 4,50 25,0% 4 1,00 100% 5,50 Reaproveitamento de Dados Opção Grande Importância Média Importância Total Feq 3 17 20 PFeq Pi Pf 15,0% 6 0,90 85,0% 4 3,40 100% 4,30 20,0% 65,0% Grande Importância Média Importância Pouca Importância Prevenção Contra Erros Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Grande Importância Média Importância Pouca Importância 25,0% 75,0% Grande Importância Média Importância Reaproveitamento de Dados 15,0% 85,0% Grande Importância Média Importância 96 Onde: Feq – Freqüência encontrada. Pfeq – Porcentagem referente à freqüência. Pi – Peso da opção da avaliação. Pf – Peso final do critério na área de aplicação selecionada. Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativa entre os nove critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 6.1 abaixo. TABELA 6.1 – Prioridade dos critérios na área de Gestão de Plataformas. Critérios Auto-Instrução Prevenção Contra Erros Navegação Help On-Line Documentação Mensagens Reaproveitamento Dados Padronização Glossário Pf Avaliação 5,80 GI 5,50 GI 5,30 GI 4,60 GI 4,50 MI 4,40 MI 4,30 MI 4,10 MI 2,70 PI Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 6.1 e a FIGURA 6.2. 6,0 Grande Importância 5,5 5,0 4,5 Média Importância Nenhuma Importância 5,5 Auto-Instrução 5,3 4,6 Prevenção Contra Erros 4,5 4,4 4,3 Navegação 4,1 4,0 Help On-Line 3,5 3,0 Pouca Importância 5,8 2,5 2,7 Documentação Mensagens 2,0 1,5 Reaproveitamento Dados 1,0 Padronização 0,5 0,0 Glossário FIGURA 6.1 - Peso final dos critérios para área de Gestão de Plataformas. 97 Auto-Instrução Documentação Glossário Help on-Line Mensagens Navegação Padronização Prevenção Contra Erros Reaproveitamento de Dados Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 6.2 – Prioridade dos critérios para a área de Gestão de Plataformas. Na FIGURA 6.2 verifica-se que para área de Gestão de Plataformas os critérios seguiram a seguinte classificação: • Grande Importância: Auto-Instrução, Navegação, Help on-line e Prevenção Contra Erros de Operação. • Média Importância: Documentação, Padronização e Reaproveitamento de Dados. • Pouca Importância: Glossário. 6.4.2. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. O critério Help On-Line foi avaliado como inexistente. Auto-Instrução Auto-Instrução Opção Muito Bom Bom Médio Total Feq 15 3 2 20 PFeq Gi Gf 75,0% 10 7,50 15,0% 8 1,20 10,0% 6 0,60 100% 9,30 15,0% 10,0% 75,0% Muito Bom Bom Médio 98 Documentação Opção Muito Bom Bom Médio Ruim Total Feq 13 4 2 1 20 PFeq 65,0% 20,0% 10,0% 5,0% 100% Documentação Gi 10 8 6 4 Gf 6,50 1,60 0,60 0,20 8,90 10,0% 5,0% 65,0% 20,0% Muito Bom Bom Médio Ruim Glossário Opção Muito Bom Bom Médio Péssimo Total Feq PFeq 8 40,0% 10 50,0% 1 5,0% 1 5,0% 20 100% Glossário Gi 10 8 6 2 Gf 4,00 4,00 0,30 0,10 8,40 5,0% 5,0% 50,0% Muito Bom Bom Médio Péssimo Mensagens Opção Muito Bom Bom Médio Ruim Total Feq PFeq 6 30,0% 10 50,0% 3 15,0% 1 5,0% 20 100% 40,0% Mensagens Gi 10 8 6 4 Gf 3,00 4,00 0,90 0,20 8,10 15,0% 5,0% 30,0% Muito Bom Bom Médio Ruim 50,0% Navegação Opção Muito Bom Bom Total Feq PFeq 16 80,0% 4 20,0% 20 100% Navegação Gi Gf 10 8,00 8 1,60 9,60 Feq PFeq 17 85,0% 2 10,0% 1 5,0% 20 100% 80,0% Muito Bom Bom Padronização Padronização Opção Muito Bom Médio Ruim Total 20,0% 10,0% Gi Gf 10 8,50 6 0,60 4 0,20 9,30 5,0% 85,0% Muito Bom Médio Ruim 99 Prevenção Contra Erros Opção Muito Bom Bom Médio Ruim Total Feq PFeq 12 60,0% 5 25,0% 2 10,0% 1 5,0% 20 100% Prevenção Contra Erros Gi 10 8 6 4 Gf 6,00 2,00 0,60 0,20 8,80 10,0% 25,0% Feq PFeq 17 85,0% 3 15,0% 20 100% 60,0% Muito Bom Bom Médio Ruim Reaproveitamento de Dados Reaproveitamento de Dados Opção Muito Bom Bom Total 5,0% 15,0% Gi Gf 10 8,50 8 1,20 9,70 85,0% Muito Bom Bom Onde: Feq – Freqüência encontrada. Pfeq – Porcentagem referente à freqüência. Gi – Grau da opção da avaliação. Gf – Grau final do critério no produto de software avaliado. Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os nove critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 6.2 abaixo. TABELA 6.2 – Qualidade dos critérios no produto de software APLAT. Critérios Reaproveitamento Dados Navegação Auto-Instrução Padronização Documentação Prevenção Contra Erros Glossário Mensagens Help On-Line Gf 9,70 9,60 9,30 9,30 8,90 8,80 8,40 8,10 0,00 Avaliação MB MB MB MB MB MB MB MB I 100 Onde: MB – Muito Bom. I – Inexistente. Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 6.3. 10,0 Muito Bom 9,70 9,60 9,30 9,30 9,0 Reaproveitamento Dados 8,90 8,80 8,40 Navegação 8,10 8,0 Auto-Instrução Bom 7,0 Padronização 6,0 Médio Ruim 5,0 Documentação 4,0 Prevenção Contra Erros 3,0 Glossário 2,0 Mensagens Péssimo 1,0 0,00 0,0 Help On-Line Inexistente FIGURA 6.3 – Grau final dos critérios para a área de Gestão de Plataformas. 6.4.3. Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados para os pesos e graus finais de cada um dos critérios avaliado, apresentados nos itens 6.3.1 e 6.3.2 deste capítulo, pode-se chegar à TABELA 6.3 abaixo. TABELA 6.3 – Aferição da usabilidade para o produto de software APLAT. Critérios Auto-Instrução Documentação Glossário Help On-Line Mensagens Navegação Pf 5,8 4,5 2,7 4,6 4,4 5,3 Gf 9,30 8,90 8,40 0,00 8,10 9,60 P f x Gf 53,94 40,05 22,68 0,00 35,64 50,88 101 (Continuação) Critérios Pf Gf P f x Gf Padronização 4,1 9,30 38,13 Prevenção Contra Erros 5,5 8,80 48,40 Reaproveitamento Dados 4,3 9,70 41,71 Total 41,20 331,43 Onde: Pf – Peso final de cada critério. Gf – Grau final de cada critério. Utilizando-se a Equação U = ∑ (G × P ) ∑ P f f f para aferição da usabilidade chega-se ao valor para classificação do APLAT. U = 331,43/ 41,20 = 8,0 Sendo o fator de usabilidade igual a 8,0, de acordo com a TABELA 4.5, da página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 7,5 e 10,0. Esta faixa de valores representa a classificação do produto de software APLAT como Excelente de acordo com a qualidade em relação à usabilidade. 6.4.3.1. Sugestões para Aumentar o Fator da Usabilidade do Produto de Software Avaliado. Embora o produto de software avaliado tenha alcançado a aprovação, é possível aumentar o fator da usabilidade encontrado (8,0) e torná-lo mais próximo do fator máximo de usabilidade (10,0), satisfazendo mais amplamente as necessidades de seus usuários. A sugestão mais significativa para elevar o fator da usabilidade é a construção de um Help On-line. Visto que esse critério foi considerado de grande importância pelos usuários entrevistados e é inexistente no produto de software avaliado. No próximo capítulo será apresentado um segundo estudo de caso. 102 CAPÍTULO 7 – SEGUNDO ESTUDO DE CASO: GESTÃO HOSPITALAR Neste capítulo será apresentado um estudo de caso na área de gestão hospitalar, onde foi feito um levantamento da prioridade dos critérios da usabilidade, e, posteriormente, uma avaliação de um produto de software específico utilizado nesta área de aplicação. 7.1. Introdução. O segundo estudo de caso foi realizado na área de gestão hospitalar. A instituição que possibilitou esta pesquisa foi o hospital Álvaro Alvim, situado na cidade de Campos dos Goitacazes - RJ, através da permissão para avaliar o produto de software de gestão de hospitalar utilizado pela instituição. O produto de software avaliado foi o SGH (Sistema de Gestão Hospitalar). Neste estudo de caso a pesquisa baseou-se nos questionários reformulados, ou seja, após a fase do pré-teste. 7.2. Descrição da Instituição. O hospital Álvaro Alvim pertence ao setor privado e possui um convênio com a Faculdade de Medicina de Campos, sendo por este motivo chamado de hospitalescola. Este hospital possui 70% do seu atendimento relacionado ao SUS (Sistema Único de Saúde) e os 30% restantes do atendimento são distribuídos entre particulares e convênios. O hospital possui aproximadamente 300 funcionários distribuídos nas seguintes categorias: médicos, enfermeiros e administrativos. O hospital está dividido em cerca de 20 setores. 7.3. Descrição do Produto de Software Avaliado. O produto de software avaliado, o SGH (Sistema de Gestão Hospitalar), foi implantado no hospital Álvaro Alvim no ano de 1998. O SGH possui as seguintes funcionalidades principais: • Cadastros: de pacientes, exames e atendimentos em geral. O cadastro de exames é divido em radiologia, anatomia patológica e análises clínicas; 103 • Estoque; • Controle Financeiro; • Recepção: dividida em portaria externa e interna; • Faturamento: dividido em internações pelo SUS, ambulatório pelo SUS, convênios e particulares. 7.4. Resultados Obtidos. Foram utilizadas as técnicas referentes as quatro partes da metodologia, descritas no Capítulo III deste trabalho, sendo que a quarta parte encontra-se no próximo Capítulo VIII. Os resultados obtidos são baseados em uma amostra de 50 usuários. Foram respondidos 56 questionários, mas através da análise da concordância das respostas dadas as perguntas gerais, contidas na segunda parte do questionário, com as repostas dadas às questões específicas, contidas na terceira parte do questionário, seis destes questionários foram eliminados por não apresentarem concordância nas repostas. Como exemplo de discordância nas respostas, pode-se citar um dos questionários eliminados. Onde o usuário nas perguntas gerais, respondeu que o sistema era considerado rápido, mas nas questões específicas, classificou o critério “tempo de resposta às operações realizadas” como “ruim”. O relacionamento entre as perguntas gerais e as questões específicas foi feito da seguinte maneira: • Ocorrem erros no sistema? − Capacidade de continuar a operação em caso de erros ou falhas no sistema. − Capacidade de não perder os dados em caso de erros ou falhas no sistema. • O sistema atende as expectativas? − Capacidade de mostrar qual usuário realizou cada operação do sistema. − Capacidade de emitir mensagens quando o usuário digitar um dado errado. − Capacidade de aproveitar a digitação de dados repetidos. −−− Precisão dos resultados. Emissão de resultados corretos. −−− Capacidade de impedir o uso do sistema por pessoas não autorizadas. • O sistema é fácil de usar? − Capacidade de simular as operações do sistema. − Fornecimento de manuais de instrução para o uso do sistema. 104 − Facilidade para instalar o sistema. − Fornecimento de um dicionário contendo os termos utilizados pelo sistema. − A presença de ajuda (help), indicando o que cada operação significa. − O aparecimento de mensagens claras e objetivas. − Facilidade de encontrar e acessar as telas das operações. − Telas e Relatórios contendo o mesmo modelo padrão. • O sistema é rápido? − Tempo para processar as operações realizadas. O questionário utilizado foi melhorado de acordo com as necessidades indicadas pelos próprios entrevistados nas pesquisas anteriores. Foram adicionados cinco novos critérios para melhor avaliação das necessidades dos usuários. Os questionários foram formulados de modo que cada critério pudesse ser representado por uma linguagem mais próxima à do usuário, tornado-se desta maneira mais fácil e atrativo de ser respondido. 7.4.1. Relação dos Critérios com suas Formulações Utilizadas pelo Questionário. Os critérios estão relacionados com as formulações utilizadas pelo questionário da seguinte maneira: • Auditabilidade: Capacidade de mostrar qual usuário realizou cada operação do sistema. • Auto-Instrução: Capacidade de simular as operações do sistema. • Documentação: Fornecimento de manuais de instrução para o uso do sistema. • Facilidade de Instalação: Facilidade para instalar o sistema. • Glossário: Fornecimento de um dicionário contendo os termos utilizados pelo sistema. • Help On-Line: A presença de ajuda (help), indicando o que cada operação significa. • Mensagens: O aparecimento de mensagens claras e objetivas. • Navegação: Facilidade de encontrar e acessar as telas das operações. • Padronização: Telas e Relatórios contendo o mesmo modelo padrão. • Prevenção Contra Erros: Capacidade de emitir mensagens quando o usuário digitar um dado errado. 105 • Reaproveitamento da Entrada de Dados: Capacidade de aproveitar a digitação de dados repetidos. • Precisão: Precisão dos resultados. Emissão de resultados corretos. • Tempo de Processamento: Tempo de resposta às operações realizadas. • Segurança: Capacidade de impedir o uso do sistema por pessoas não autorizadas. • Resistência aos Erros: Capacidade de continuar a operação em caso de erros ou falhas no sistema. • Recuperação dos Dados: Capacidade de não perder os dados em caso de erros ou falhas no sistema. 7.4.2. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Prioridade. Determina-se a prioridade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de prioridade, apresentada no Capítulo IV deste trabalho. Auditabilidade Auditabilidade Opção Grande Importância Média Importância Pouca Importância Total Feq 31 10 9 50 PFeq Pi Pf 62,0% 6 3,72 20,0% 4 0,80 18,0% 2 0,36 100% 4,88 Total Feq 14 32 2 2 50 PFeq 28,0% 64,0% 4,0% 4,0% 100% 62,0% 20,0% Grande Importância Média Importância Pouca Importância Auto-Instrução Auto-Instrução Opção Grande Importância Média Importância Pouca Importância Nenhuma Importância 18,0% Pi 6 4 2 0 Pf 1,68 2,56 0,08 0,00 4,32 4,0% 4,0% 64,0% 28,0% Grande Importância Média Importância Pouca Importância Nenhuma Importância 106 Documentação Documentação Opção Grande Importância Média Importância Pouca Importância Total Feq 30 14 6 50 PFeq Pi Pf 60,0% 6 3,60 28,0% 4 1,12 12,0% 2 0,24 100% 4,96 12,0% 60,0% 28,0% Facilidade de Instalação Facilidade de Instalação Opção Grande Importância Média Importância Pouca Importância Total Feq 7 15 28 50 PFeq Pi Pf 14,0% 6 0,84 30,0% 4 1,20 56,0% 2 1,12 100% 3,16 Grande Importância Média Importância Pouca Importância 14,0% 30,0% 56,0% Grande Importância Média Importância Pouca Importância Glossário Glossário Opção Grande Importância Média Importância Pouca Importância Total Feq 5 29 16 50 PFeq Pi Pf 10,0% 6 0,60 58,0% 4 2,32 32,0% 2 0,64 100% 3,56 10,0% 32,0% 58,0% Grande Importância Média Importância Pouca Importância Help On-Line Help On-Line 16,0% Opção Grande Importância Média Importância Total Feq 42 8 50 PFeq Pi Pf 84,0% 6 5,04 16,0% 4 0,64 100% 5,68 Mensagens Opção Grande Importância Média Importância Total Feq 45 5 50 PFeq Pi Pf 90,0% 6 5,40 10,0% 4 0,40 100% 5,80 84,0% Grande Importância Média Importância Mensagens 10,0% 90,0% Grande Importância Média Importância 107 Navegação Navegação Opção Grande Importância Média Importância Pouca Importância Total Feq 32 12 6 50 PFeq Pi Pf 64,0% 6 3,84 24,0% 4 0,96 12,0% 2 0,24 100% 5,04 12,0% 24,0% 64,0% Grande Importância Média Importância Pouca Importância Padronização Padronização 20,0% 24,0% Opção Grande Importância Média Importância Pouca Importância Total Feq 10 28 12 50 PFeq Pi Pf 20,0% 6 1,20 56,0% 4 2,24 24,0% 2 0,48 100% 3,92 56,0% Precisão Precisão Opção Grande Importância Média Importância Total Feq 47 3 50 6,0% PFeq Pi Pf 94,0% 6 5,64 6,0% 4 0,24 100% 5,88 94,0% Total Feq 38 12 50 PFeq Pi Pf 76,0% 6 4,56 24,0% 4 0,96 100% 5,52 Reaproveitamento de Dados Opção Grande Importância Média Importância Pouca Importância Total Feq 10 33 7 50 PFeq Pi Pf 20,0% 6 1,20 66,0% 4 2,64 14,0% 2 0,28 100% 4,12 Grande Importância Média Importância Prevenção Contra Erros Prevenção Contra Erros de Operação Opção Grande Importância Média Importância Grande Importância Média Importância Pouca Importância 24,0% 76,0% Grande Importância Média Importância Reaproveitamento de Dados 14,0% 66,0% 20,0% Grande Importância Média Importância Pouca Importância 108 Recuperação de Dados Recuperação de Dados Opção Grande Importância Média Importância Total Feq 41 9 50 PFeq Pi Pf 82,0% 6 4,92 18,0% 4 0,72 100% 5,64 18,0% 82,0% Grande Importância Média Importância Resistência aos Erros Resistência aos Erros Opção Grande Importância Média Importância Total Feq 36 14 50 PFeq Pi Pf 72,0% 6 4,32 28,0% 4 1,12 100% 5,44 28,0% 72,0% Média Importância Segurança Segurança Opção Grande Importância Média Importância Total Feq 43 7 50 PFeq Pi Pf 86,0% 6 5,16 14,0% 4 0,56 100% 5,72 Grande Importância 14,0% 86,0% Grande Importância Média Importância Tempo de Processamento Tempo de Processamento Opção Grande Importância Média Importância Total Feq 19 31 50 PFeq Pi Pf 38,0% 6 2,28 62,0% 4 2,48 100% 4,76 38,0% 62,0% Grande Importância Média Importância Onde: Feq – Freqüência encontrada. Pfeq – Porcentagem referente à freqüência. Pi – Peso da opção da avaliação. Pf – Peso final do critério na área de aplicação selecionada. Com os dados obtidos acima, utilizando-se a Equação (3.2.1.a), pode-se concluir que cada um dos critérios obteve um peso final (Pf) de prioridade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.2 na página 67, pode-se classificar os critérios 109 de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o peso final (Pf) de cada critérios se encaixa; com isso, pode-se chegar à TABELA 7.1 abaixo. TABELA 7.1 – Prioridade dos critérios na área de Gestão de Hospitalar. Critérios Pf Avaliação Precisão 5,88 GI Mensagens 5,80 GI Segurança 5,72 GI Help On-Line 5,68 GI Recuperação de Dados 5,64 GI Prevenção Contra Erros 5,52 GI Resistência aos Erros 5,44 GI Navegação 5,04 GI Documentação 4,96 GI Auditabilidade 4,88 GI Tempo de Processamento 4,76 GI Auto-Instrução 4,32 MI Reaproveitamento de Dados 4,12 MI Padronização 3,92 MI Glossário 3,56 MI Facilidade de Instalação 3,16 MI Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 7.1 e a FIGURA 7.2. 6,0 Grande Importância 5,5 5,725,68 5,64 Precisão 5,52 5,44 5,044,96 5,0 4,5 Média Importância 5,88 5,8 4,0 Mensagens Segurança 4,88 4,76 Help On-Line 4,32 4,12 Recuperação de Dados 3,92 Prevenção Contra Erros 3,56 3,5 3,0 3,16 Resistência aos Erros Navegação Documentação Pouca Importância Nenhuma Importância 2,5 Auditabilidade 2,0 Tempo de Processamento 1,5 Auto-Instrução 1,0 Reaproveitamento Dados 0,5 Padronização Glossário 0,0 Facilidade de Instalação FIGURA 7.1 - Peso final dos critérios para área de Gestão Hospitalar. 110 Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento de Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Grande Importância Média Importância Pouca Importância Nenhuma Importância FIGURA 7.2 - Prioridade dos critérios para a área de Gestão Hospitalar. Na FIGURA 7.2 acima, verifica-se que para área de Gestão Hospitalar os critérios seguiram a seguinte classificação: • Grande Importância: Auditabilidade, Documentação, Help on-line, Mensagens, Navegação, Prevenção Contra Erros de Operação, Acurácia, Segurança de acesso, Tolerância à falhas e Recuperabilidade. • Média Importância: Auto-Instrução, Glossário, Padronização, Tempo de acesso, Facilidade de instalação e Reaproveitamento da Entrada de Dados. 111 7.4.3. Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Os critérios Documentação e Glossário foram considerados inexistentes pelos usuários. Auditabilidade Auditabilidade Opções Muito Bom Bom Médio Ruim Péssimo Total Feq 1 6 11 27 5 50 Porc 2,0% 12,0% 22,0% 54,0% 10,0% 100% Gi 10 8 6 4 2 Gf 0,20 0,96 1,32 2,16 0,20 4,84 10,0% 2,0%12,0% 22,0% Auto-Instrução Opção Muito Bom Bom Médio Ruim Péssimo Total Feq 7 29 8 3 3 50 PFeq 14,0% 58,0% 16,0% 6,0% 6,0% 100% Auto-Instrução Gi 10 8 6 4 2 Gf 1,40 4,64 0,96 0,24 0,12 7,36 6,0% 6,0% 16,0% Feq 5 29 16 50 PFeq 10,0% 58,0% 32,0% 100% Gi 10 8 6 14,0% 58,0% Muito Bom Bom Médio Ruim Péssimo Facilidade de Instalação Facilidade de Instalação Opção Muito Bom Bom Médio Total Muito Bom Bom Médio Ruim Péssimo 54,0% Gf 1,00 4,64 1,92 7,56 32,0% 10,0% 58,0% Muito Bom Bom Médio 112 Help On-Line Opção Muito Bom Bom Médio Ruim Péssimo Total Feq 5 11 26 3 5 50 PFeq 10,0% 22,0% 52,0% 6,0% 10,0% 100% Help On-Line Gi 10 8 6 4 2 Gf 1,00 1,76 3,12 0,24 0,20 6,32 6,0% 10,0% 10,0% 22,0% Muito Bom Bom Médio Ruim Péssimo 52,0% Mensagens Mensagens Opção Muito Bom Bom Médio Ruim Total Feq 11 28 6 5 50 PFeq 22,0% 56,0% 12,0% 10,0% 100% Gi 10 8 6 4 Gf 2,20 4,48 0,72 0,40 7,80 12,0% 10,0% 22,0% Navegação Navegação Opção Muito Bom Bom Médio Total Feq 7 32 11 50 PFeq 14,0% 64,0% 22,0% 100% Gi 10 8 6 Gf 1,40 5,12 1,32 7,84 Feq 8 10 28 2 2 50 PFeq 16,0% 20,0% 56,0% 4,0% 4,0% 100% 14,0% 22,0% 64,0% Padronização Opção Muito Bom Bom Médio Ruim Péssimo Total Muito Bom Bom Médio Ruim 56,0% Muito Bom Bom Médio Padronização Gi 10 8 6 4 2 Gf 1,60 1,60 3,36 0,16 0,08 6,80 4,0% 4,0% 16,0% 20,0% 56,0% Muito Bom Bom Médio Ruim Péssimo 113 Precisão Opção Muito Bom Bom Médio Total Feq 14 7 29 50 PFeq 28,0% 14,0% 58,0% 100% Precisão Gi 10 8 6 Gf 2,80 1,12 3,48 7,40 28,0% 14,0% 58,0% Prevenção Contra Erros Opção Médio Ruim Péssimo Total Feq 18 27 5 50 PFeq 36,0% 54,0% 10,0% 100% Gi 6 4 2 Prevenção Contra Erros 10,0% Gf 2,16 2,16 0,20 4,52 36,0% 54,0% Bom Médio Ruim Péssimo Total Feq 8 30 6 6 50 PFeq 16,0% 60,0% 12,0% 12,0% 100% Gi 8 6 4 2 Gf 1,28 3,60 0,48 0,24 5,60 Recuperação de Dados Opção Médio Ruim Péssimo Total Feq 8 29 13 50 PFeq 16,0% 58,0% 26,0% 100% 12,0% 12,0% Feq 6 33 11 50 PFeq 12,0% 66,0% 22,0% 100% 16,0% 60,0% Bom Médio Ruim Péssimo Recuperação de Dados Gi 6 4 2 Gf 0,96 2,32 0,52 3,80 26,0% 16,0% 58,0% Médio Ruim Péssimo Resistência aos Erros Resistência aos Erros Opção Médio Ruim Péssimo Total Médio Ruim Péssimo Reaproveitamento de Dados Reaproveitamento de Dados Opção Muito Bom Bom Médio Gi 6 4 2 Gf 0,72 2,64 0,44 3,80 22,0% 12,0% 66,0% Médio Ruim Péssimo 114 Segurança Opção Muito Bom Bom Médio Total Feq 34 10 6 50 PFeq 68,0% 20,0% 12,0% 100% Segurança Gi 10 8 6 Gf 6,80 1,60 0,72 9,12 Tempo de Processamento Opção Muito Bom Bom Médio Ruim Total Feq 2 11 36 1 50 PFeq 4,0% 22,0% 72,0% 2,0% 100% Gi 10 8 6 4 12,0% 20,0% 68,0% Muito Bom Bom Médio Tempo de Processamento Gf 0,40 1,76 4,32 0,08 6,56 2,0% 4,0% 22,0% 72,0% Muito Bom Bom Médio Ruim Onde: Feq – Freqüência encontrada. Pfeq – Porcentagem referente à freqüência. Gi – Grau da opção da avaliação. Gf – Grau final do critério no produto de software avaliado. Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a prioridade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada um dos critérios se encaixa; com isso, pode-se chegar à TABELA 7.2 abaixo. TABELA 7.2 – Qualidade dos critérios em relação ao produto de software SGH. Critérios Gf Avaliação Segurança 9,12 MB Navegação 7,84 B Mensagens 7,80 B Facilidade de Instalação 7,56 B Precisão 7,40 B Auto-Instrução 7,36 B 115 (Continuação) Critérios Padronização Tempo de Processamento Help On-Line Reaproveitamento Dados Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 6,80 B 6,56 B 6,32 B 5,60 M 4,84 M 4,52 M 3,80 R 3,80 R 0,00 I 0,00 I Onde: MB – Muito Bom. B – Bom. M – Médio. R I – Ruim. – Inexistente. Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 7.3. Segurança 10,0 Navegação 9,12 Muito Bom 9,0 8,0 Bom 7,0 6,0 Médio 5,0 Mensagens 7,84 7,8 7,56 Facilidade de Instalação 7,4 7,36 6,8 Precisão 6,56 6,32 Auto-Instrução 5,6 Padronização 4,84 Tempo de Processamento 4,52 Help On-Line 4,0 Ruim 3,8 3,8 Reaproveitamento Dados Auditabilidade 3,0 Prevenção Contra Erros 2,0 Péssimo 1,0 0,0 Inexistente Resistência aos Erros Recuperação de Dados 0 0 Documentação Glossário FIGURA 7.3 – Grau final dos critérios para a para o produto de software SGH. 116 7.4.4. Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados para os pesos e graus finais de cada um dos critérios avaliado, apresentados nos itens 7.4.2 e 7.4.3 deste capítulo, pode-se chegar à TABELA 7.3 abaixo. TABELA 7.3 – Aferição da usabilidade para o produto de software SGH. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,80 5,04 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 4,84 7,36 0,00 7,56 0,00 6,32 7,80 7,84 6,80 7,40 4,52 5,60 3,80 3,80 9,12 6,56 P f x Gf 23,62 31,80 0,00 23,89 0,00 35,90 45,24 39,51 26,66 43,51 24,95 23,07 21,43 20,67 52,17 31,23 443,64 Onde: Pf – Peso final de cada critério. Gf – Grau final de cada critério. Utilizando-se a Equação U = ∑ (G × P ) ∑ P f f f para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar. U = 443,64 / 78,4 = 5,66 Sendo o fator de usabilidade igual a 5,66, de acordo com a TABELA 4.5, página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. 117 7.4.4.1. Sugestões para Aumentar o Fator da Usabilidade do Produto de Software Avaliado. É possível aumentar o fator da usabilidade encontrado (5,66) e torná-lo mais próximo do fator máximo de usabilidade (10,0), satisfazendo mais amplamente as necessidades de seus usuários. Para isso as sugestões mais significativas em ordem decrescente de importância são: • Elaboração de Documentação para auxiliar o uso do produto de software avaliado. Visto que este critério foi considerado de grande importância para a área de gestão hospitalar e é inexistente no produto de software avaliado. • Elaboração de Glossário para facilitar o entendimento dos termos técnicos apresentados no produto de software avaliado. Visto que este critério foi considerado de média importância para a área de gestão hospitalar e é inexistente no produto de software avaliado. • Melhoria da Recuperação de Dados para facilitar a recuperação dos dados perdidos através dos erros ou das falhas ocorridas no produto de software avaliado. Visto que este critério foi considerado de grande importância para a área de gestão hospitalar e foi considerado ruim em relação ao produto de software avaliado. • Melhoria da Resistência aos Erros para possibilitar a permanência das operações em casos de erros ou de falhas ocorridas no produto de software avaliado. Visto que este critério foi considerado de grande importância para a área de gestão hospitalar e foi considerado ruim em relação ao produto de software avaliado. • Melhoria da Auditabilidade para auxiliar a identificação dos usuários que executaram certas operações no produto de software avaliado. Visto que este critério foi considerado de grande importância para a área de gestão hospitalar e foi considerado médio em relação ao produto de software avaliado. • Melhoria da Prevenção Contra Erros para alertar aos usuários quando estes efetuarem entrada de dados inválidos no produto de software avaliado. Visto que este critério foi considerado de grande importância para a área de gestão hospitalar e foi considerado médio em relação ao produto de software avaliado. No próximo capítulo será apresentado este estudo de caso na área de gestão hospitalar, onde a usabilidade será avaliada de acordo com o perfil do usuário. 118 CAPÍTULO 8 – ESTUDO DE CASO: GESTÃO HOSPITALAR DE ACORDO COM O PERFIL DOS USUÁRIOS Neste capítulo será abordada a variação do fator da usabilidade de acordo com o perfil dos usuários, sendo uma continuação do estudo de caso na área de gestão hospitalar, apresentado no capítulo anterior. 8.1. Introdução. Através do questionário para avaliação da qualidade do produto de software, Apêndice B.2, pode-se avaliar também a usabilidade através do perfil dos usuários. O perfil pode ser definido pelo tempo de experiência do usuário em relação ao produto de software SGH e pode ser definido também pelo setor do hospital Álvaro Alvin, ao qual o usuário pertence. A variação do fator da usabilidade de acordo com o perfil dos usuários foi feita seguindo as etapas: • Foram utilizados os resultados obtidos no capítulo anterior referentes à aplicação da técnica para classificação dos critérios da usabilidade em ordem de prioridade na área de gestão hospitalar. Foram utilizados os valores encontrados no capítulo anterior para o peso final de cada critério, pois a variação do perfil dos usuários não irá influenciar no peso final dos critérios, visto que, todos os usuários entrevistados pertencem à área de gestão hospitalar embora possuem perfis diferentes. A variação de perfil influenciará no grau de qualidade do produto de software avaliado, pois de acordo com o setor ao qual o usuário pertence, este usuário utilizará com maior freqüência a parte do produto de software que lhe é necessário para a execução do seu trabalho e não o produto como um todo. O tempo de experiência em relação ao uso do produto de software avaliado irá influenciar nas respostas do usuário em relação às opções apresentadas no questionário, pois o nível de conhecimento em relação ao uso do produto irá variar entre o usuário novato e o experiente. • Foram utilizadas as técnicas para classificação dos critérios da usabilidade em ordem de qualidade e para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário para cada tipo de perfil. 119 • Após a determinação do fator de usabilidade para cada tipo de perfil, foi feita uma comparação entre esses valores. Desta forma pode-se verificar a variação da usabilidade de acordo com o perfil dos usuários. Conforme foi mencionado no capítulo anterior, os critérios Documentação e Glossário foram considerados inexistentes pelos usuários. 8.2. Definição do Perfil dos Usuários. O perfil dos usuários é dividido em dois tipos: • Por setor do hospital; • Por tempo de experiência em relação ao uso do produto de software. 8.2.1. Variação do Fator da Usabilidade por Setor. Os setores cujos funcionários responderam aos questionários foram: • NPD (Núcleo de Processamento de Dados): setor responsável pelo sistema (produto de software), treinamento e manutenção dos computadores do hospital; • Faturamento: setor responsável por controlar todo o faturamento do hospital; • Laboratório de Anatomia: setor responsável pela execução e diagnósticos de todos os exames efetuados no hospital; • Farmácia: setor responsável pelo controle e distribuição de remédios do hospital; • SAME (Setor de Atendimento aos Médicos): setor responsável pelo controle geral dos prontuários médicos de cada paciente; • Ultrassonografia: setor responsável pela execução e diagnósticos das ultrassonografias efetuadas no hospital; • ProntoCardio: setor responsável pelos os exames, tratamentos e internações cardíacas efetuadas no hospital; • Compras: setor responsável pelo controle das compras de equipamentos, suprimentos, materiais hospitalares e todos os demais tipos de materiais necessários; • Secretaria: setor responsável pelo controle de funcionários (médicos, enfermeiros, estagiários e administrativos), pelo controle de internações e visitas, assim como o setor responsável pelas informações gerais do hospital ; • Financeiro: setor responsável pelo controle das contas a pagar e das contas a receber do hospital; 120 • Ambulatório - setor responsável pela marcação de consultas pelos convênios, pelo SUS e particulares. A amostra utilizada na pesquisa de campo é de 50 usuários, distribuídos entre os setores como mostra a TABELA 8.1. TABELA 8.1 – Distribuição da amostra em relação aos setores. Setores Farmácia Ambulatório Secretaria SAME Laboratório NPD Ultrassonografia Financeiro Faturamento Compras ProntoCardio Total Usuários 10 6 5 5 5 5 4 3 3 2 2 50 Para a pesquisa referente à variação do fator da usabilidade por setor, foram escolhidos os setores cuja representação fosse mais significativa em relação à amostra, ou seja, os setores que possuem o maior número de funcionários que participaram da pesquisa. Desta forma, os setores escolhidos foram: • Farmácia; • Ambulatório; • Secretaria; • SAME; • Laboratório; • NPD. 8.2.1.1. Resultados Obtidos. Foram desenvolvidos o mesmo tipo de cálculos, tabelas e figuras apresentadas no Capítulo VII. Por se constituir em um volume muito extenso de tabelas e figuras, totalizando oitenta e quatro tabelas e oitenta e quatro figuras, serão apresentados nesse trabalho apenas os resultados finais gerados pelas tabelas e figuras citadas acima. 121 • Setor: Ambulatório. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa; com isso, pode-se chegar à TABELA 8.2 abaixo. TABELA 8.2 – Qualidade dos critérios do software SGH para o setor de Ambulatório. Critérios Auto-Instrução Segurança Mensagens Precisão Facilidade de Instalação Navegação Tempo de Processamento Help On-Line Reaproveitamento Dados Auditabilidade Padronização Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 8,67 MB 8,67 MB 8,33 MB 8,33 MB 7,67 B 7,67 B 7,00 B 6,67 B 6,00 M 5,33 M 5,33 M 4,33 M 4,00 R 4,00 R 0,00 I 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.1. 122 10,00 Muito Bom 9,00 8,00 Bom 7,00 Auto-Instrução 8,67 8,67 Segurança 8,33 8,33 Mensagens 7,67 7,67 Precisão 7,00 6,67 Facilidade de Instalação Navegação 6,00 6,00 Help On-Line 5,00 Médio Tempo deProcessamento 5,33 5,33 4,33 4,00 4,00 Reaproveitamento Dados 4,00 Auditabilidade Padronização 3,00 Ruim Prevenção Contra Erros 2,00 Resistência aos Erros Recuperação de Dados Péssimo 1,00 0,00 0,00 0,00 Documentação Glossário Inexistente FIGURA 8.1 – Grau final dos critérios para o setor de Ambulatório. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.3 abaixo. TABELA 8.3 – Aferição da usabilidade do produto de software SGH para o setor de Ambulatório. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 5,52 Gf 5,33 8,67 0,00 7,67 0,00 6,67 8,33 7,67 5,33 8,33 4,33 P f x Gf 26,03 37,44 0,00 24,23 0,00 37,87 48,33 38,64 20,91 49,00 23,92 123 (Continuação) Critérios Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 4,12 5,64 5,44 5,72 4,76 78,4 Gf 6,00 4,00 4,00 8,67 7,00 ∑ (G × P ) ∑ P f f f P f x Gf 24,72 22,56 21,76 49,57 33,32 458,29 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor de Ambulatório, tem-se: U = 458,29 / 78,4 = 5,85 Sendo o fator de usabilidade igual a 5,85, de acordo com a TABELA 4.5 na página 70 de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Setor: Secretaria. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.4 a seguir. 124 TABELA 8.4 – Qualidade dos critérios do software SGH para o setor de Secretaria. Critérios Segurança Mensagens Auto-Instrução Facilidade de Instalação Navegação Precisão Tempo de Processamento Help On-Line Padronização Reaproveitamento Dados Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 9,20 MB 8,40 MB 8,00 B 7,60 B 7,60 B 7,60 B 6,80 B 5,60 M 5,60 M 5,60 M 5,20 M 4,40 M 3,60 R 3,60 R 0,00 I 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.2. Segurança 10,00 Muito Bom 9,20 9,00 8,00 Bom 7,00 Mensagens Auto-Instrução 8,40 8,00 Facilidade de Instalação 7,60 7,60 7,60 Navegação 6,80 Precisão 6,00 Tempo de Processamento 5,60 5,60 5,60 5,20 Médio 5,00 4,00 Ruim Help On-Line 4,40 Padronização 3,60 3,60 Reaproveitamento Dados Auditabilidade 3,00 Prevenção Contra Erros 2,00 Péssimo Resistência aos Erros Recuperação de Dados 1,00 0,00 0,00 Inexistente 0,00 Documentação Glossário FIGURA 8.2 – Grau final dos critérios para o setor de Secretaria. 125 − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.5 a seguir. TABELA 8.5 – Aferição da usabilidade do produto de software SGH para o setor de Secretaria. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 5,20 8,00 0,00 7,60 0,00 5,60 8,40 7,60 5,60 7,60 4,40 5,60 3,60 3,60 9,20 6,80 ∑ (G × P ) ∑ P f f f P f x Gf 25,38 34,56 0,00 24,02 0,00 31,81 48,72 38,30 21,95 44,69 24,29 23,07 20,30 19,58 52,62 32,37 441,66 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor Secretaria, tem-se: U = 441,66 / 78,4 = 5,63 Sendo o fator de usabilidade igual a 5,63, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa 126 de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Setor: Farmácia. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.6 abaixo. TABELA 8.6 – Qualidade dos critérios do software SGH para o setor de Farmácia. Critérios Segurança Mensagens Navegação Facilidade de Instalação Auto-Instrução Precisão Padronização Tempo de Processamento Help On-Line Reaproveitamento Dados Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 8,80 MB 8,60 MB 8,20 MB 7,60 B 7,40 B 7,20 B 6,80 B 6,80 B 6,20 B 6,00 M 4,60 M 4,60 M 4,00 R 3,80 R 0,00 I 0,00 I 127 Segurança 10,00 Muito Bom Mensagens 8,80 9,00 8,60 8,20 8,00 Bom Navegação 7,60 7,00 Facilidade de Instalação 7,40 7,20 6,80 6,80 Auto-Instrução 6,20 6,00 Precisão 6,00 Padronização Tempo de Processamento Médio 5,00 4,60 4,60 4,00 4,00 Help On-Line 3,80 Reaproveitamento Dados Auditabilidade Ruim 3,00 Prevenção Contra Erros 2,00 Péssimo Resistência aos Erros Recuperação de Dados 1,00 0,00 0,00 0,00 Documentação Glossário Inexistente FIGURA 8.3 – Grau final dos critérios para o setor de Farmácia. Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.3. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.7 abaixo. TABELA 8.7 – Aferição da usabilidade do produto de software SGH para o setor de Farmácia. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 Gf 4,60 7,40 0,00 7,60 0,00 6,20 8,60 8,20 P f x Gf 22,45 31,97 0,00 24,02 0,00 35,22 49,88 41,33 128 (Continuação) Critérios Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 6,80 7,20 4,60 6,00 3,80 4,00 8,80 6,80 ∑ (G × P ) ∑ P f f f P f x Gf 26,66 42,34 25,39 24,72 21,43 21,76 50,34 32,37 449,86 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor de Farmácia, tem-se: U = 449,86/ 78,4 = 5,74 Sendo o fator de usabilidade igual a 5,74, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Setor: SAME. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.8. 129 TABELA 8.8 – Qualidade dos critérios do software SGH para o setor SAME. Critérios Segurança Auto-Instrução Facilidade de Instalação Navegação Padronização Mensagens Precisão Help On-Line Reaproveitamento Dados Tempo de Processamento Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 9,20 MB 7,60 B 7,60 B 7,60 B 7,60 B 7,20 B 7,20 B 6,40 B 6,40 B 6,40 B 5,20 M 4,80 M 4,00 R 4,00 R 0,00 I 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.4. 10,00 Muito Bom Auto-Instrução 9,00 8,00 Bom Segurança 9,20 Facilidade de Instalação Navegação 7,60 7,60 7,60 7,60 7,20 7,20 7,00 Padronização 6,40 6,40 6,40 Mensagens 6,00 Precisão 5,20 Médio 5,00 4,00 4,00 4,00 Ruim Help On-Line 4,80 Reaproveitamento Dados Tempo de Processamento Auditabilidade 3,00 Prevenção Contra Erros 2,00 Péssimo Resistência aos Erros 1,00 Recuperação de Dados 0,00 0,00 Inexistente 0,00 Documentação Glossário FIGURA 8.4 – Grau final dos critérios para o setor SAME. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. 130 Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.9 abaixo. TABELA 8.9– Aferição da usabilidade do produto de software SGH para o setor SAME. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 5,20 7,60 0,00 7,60 0,00 6,40 7,20 7,60 7,60 7,20 4,80 6,40 4,00 4,00 9,20 6,40 ∑ (G × P ) ∑ P f f f P f x Gf 25,38 32,83 0,00 24,02 0,00 36,35 41,76 38,30 29,79 42,34 26,50 26,37 22,56 21,76 52,62 30,46 451,04 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor de SAME, tem-se: U = 451,04 / 78,4 = 5,75 Sendo o fator de usabilidade igual a 5,75, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. 131 • Setor: Laboratório. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.10 abaixo. TABELA 8.10 – Qualidade dos critérios do software SGH para o setor de Laboratório. Critérios Segurança Facilidade de Instalação Navegação Padronização Precisão Auto-Instrução Mensagens Help On-Line Tempo de Processamento Reaproveitamento Dados Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf 9,20 8,00 7,60 7,20 7,20 6,80 6,80 6,40 6,40 4,80 4,40 4,40 3,60 3,20 0,00 0,00 Avaliação MB B B B B B B B B M M M R R I I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.5. 132 10,00 Muito Bom Segurança 9,20 Facilidade de Instalação 9,00 Navegação 8,00 8,00 Bom 7,00 Padronização 7,60 7,20 7,20 6,80 6,80 6,40 6,40 recisão Auto-Instrução 6,00 Médio Mensagens Help On-Line 4,80 5,00 4,40 4,40 4,00 Tempo de Processamento 3,60 Reaproveitamento Dados 3,20 Ruim Auditabilidade 3,00 Prevenção Contra Erros 2,00 Péssimo Resistência aos Erros Recuperação de Dados 1,00 0,00 0,00 0,00 Documentação Glossário Inexistente FIGURA 8.5 – Grau final dos critérios para o setor de Laboratório. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.11 abaixo. TABELA 8.11 – Aferição da usabilidade do produto de software SGH para o setor de Laboratório. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 Gf 4,40 6,80 0,00 8,00 0,00 6,40 6,80 7,60 7,20 7,20 P f x Gf 21,47 29,38 0,00 25,28 0,00 36,35 39,44 38,30 28,22 42,34 133 (Continuação) Critérios Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 4,40 4,80 3,20 3,60 9,20 6,40 ∑ (G × P ) ∑ P f f f P f x Gf 24,29 19,78 18,05 19,58 52,62 30,46 425,57 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor de Laboratório, tem-se: U = 425,57 / 78,4 = 5,43 Sendo o fator de usabilidade igual a 5,43, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Setor: NPD. − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se chegar a uma classificação dos critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.12 a seguir. 134 TABELA 8.12 – Qualidade dos critérios do software SGH para o setor NPD. Critérios Segurança Navegação Facilidade de Instalação Padronização Precisão Help On-Line Mensagens Tempo de Processamento Reaproveitamento Dados Auto-Instrução Prevenção Contra Erros Resistência aos Erros Auditabilidade Recuperação de Dados Documentação Glossário Gf 8,80 8,00 7,60 7,60 7,20 6,80 6,80 6,00 5,20 4,80 4,40 4,00 3,60 3,60 0,00 0,00 Avaliação MB B B B B B B M M M M R R R I I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.6. Segurança 10,00 Muito Bom 9,00 Navegação 8,80 Facilidade de Instalação 8,00 8,00 Bom 7,00 7,60 7,60 Padronização 7,20 6,80 6,80 Precisão Help On-Line 6,00 6,00 Mensagens 5,20 Médio 4,40 Reaproveitamento Dados 4,00 3,60 3,60 4,00 Ruim Tempo de Processamento 4,80 5,00 Auto-Instrução Prevenção Contra Erros 3,00 Resistência aos Erros 2,00 Péssimo Auditabilidade Recuperação de Dados 1,00 0,00 0,00 Inexistente 0,00 Documentação Glossário FIGURA 8.6 – Grau final dos critérios para o setor NPD. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. 135 Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.13 abaixo. TABELA 8.13 – Aferição da usabilidade do produto de software SGH para o setor NPD. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a Equação U = Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 3,60 4,80 0,00 7,60 0,00 6,80 6,80 8,00 7,60 7,20 4,40 5,20 3,60 4,00 8,80 6,00 ∑ (G × P ) ∑ P f f f P f x Gf 17,57 20,74 0,00 24,02 0,00 38,62 39,44 40,32 29,79 42,34 24,29 21,42 20,30 21,76 50,34 28,56 419,50 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por setor. Para o setor NPD, tem-se: U = 419,50 / 78,4 = 5,35 Sendo o fator de usabilidade igual a 5,35, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. 136 8.2.1.2. Comparação do Fator de Usabilidade Encontrado para Cada Setor. A TABELA 8.14 mostra o valor do fator de usabilidade encontrado para cada um dos setores avaliados. TABELA 8.14 – Fator de Usabilidade por Setor. Setores Ambulatório Farmácia Laboratório NPD SAME Secretaria U 5,85 5,74 5,43 5,35 5,75 5,63 A FIGURA 8.7 a seguir ilustra a variação do fator de usabilidade em relação a cada um dos setores avaliados. Usabilidade Por Setor 5,9 5,85 5,8 Usabilidade 5,75 5,74 5,7 Ut = 5,66 5,63 5,6 5,5 5,43 5,4 5,35 5,3 5,2 NPD Laboratório SAME Farmácia Secretaria Ambulatório 5,1 Setores FIGURA 8.7 - Variação do fator de usabilidade em relação aos setores. Onde: Ut – Usabilidade total. Pela FIGURA 8.7 acima, pode-se verificar que a variação do fator da usabilidade de acordo com os setores não foi significativa em relação ao fator da usabilidade total (5,66) encontrado para o produto de software avaliado na área de 137 gestão hospitalar. Conclui-se que a diferença entre os setores não foi suficiente para causar mudanças relevantes no fator da usabilidade. Logo, verifica-se que o perfil dos usuários por setor não influenciou no fator da usabilidade, embora alguns critérios tenham variado em relação ao grau de qualidade final entre os setores, como por exemplo, o critério Help On-Line variou entre os conceitos Bom e Médio. 8.2.2. Variação do Fator da Usabilidade por Tempo de Experiência em Relação ao Uso do Produto de Software. Os intervalos de tempo referentes à experiência dos usuários em relação ao produto de software (SGH) vão desde o limite inferior de tempo de experiência definido pelos questionários (menos de 1 mês) ao limite superior de tempo de experiência definido pelos questionários (4 anos). A amostra utilizada na pesquisa de campo foi de 50 usuários, distribuídos em intervalos de tempo de experiência em relação ao uso do produto de software SGH, sendo que os intervalos foram divididos em uma escala de um ano, como mostra a TABELA 8.15 abaixo. TABELA 8.15– Distribuição da amostra em relação aos intervalos de tempo de experiência no uso do produto de software SGH. Intervalos Usuários 0 1 6 1 2 9 2 3 7 3 4 28 Total 50 8.2.2.1. Resultados Obtidos. Foram desenvolvidos o mesmo tipo de cálculos, tabelas e figuras apresentadas no Capítulo VII. Por se constituir em um volume muito extenso de tabelas e figuras, totalizando setenta tabelas e setenta figuras, serão apresentados nesse trabalho apenas os resultados finais gerados pelas tabelas e figuras citadas acima. 138 • Intervalo de Tempo em anos: 0 a 1 − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos através dos gráficos acima, utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa; com isso, pode-se chegar à TABELA 8.16 abaixo. TABELA 8.16 – Qualidade dos critérios do software SGH para o intervalo de tempo entre 0 e 1 ano. Critérios Gf Avaliação Segurança 10,00 MB Mensagens 9,00 MB Padronização 9,00 MB Precisão 8,67 MB Auto-Instrução 8,33 MB Facilidade de Instalação 8,33 MB Navegação 8,33 MB Help On-Line 8,00 B Tempo de Processamento 7,67 B Auditabilidade 7,33 B Reaproveitamento Dados 6,67 B Prevenção Contra Erros 5,67 M Recuperação de Dados 4,33 M Resistência aos Erros 4,00 R Documentação 0,00 I Glossário 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.8. 139 10 Segurança 10,00 9 Muito Bom 9,00 Mensagens 9 8,67 8,33 8,33 8,33 Padronização 8 8,00 7,67 Precisão 7,33 Auto-Instrução Bom 6,67 7,00 Facilidade de Instalação 5,67 6,00 Navegação Help On-Line 5,00 Médio 4,33 Tempo de Processamento 4,00 4,00 Auditabilidade Reaproveitamento Dados 3,00 Ruim Prevenção Contra Erros 2,00 Péssimo Recuperação de Dados Resistência aos Erros 1,00 0,00 0,00 Inexistente 0,00 Documentação Glossário FIGURA 8.8 – Grau final dos critérios para o tempo de experiência no intervalo de 0 a 1 ano. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.17 abaixo. TABELA 8.17 – Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 0 e 1 ano. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Help On-Line Mensagens Navegação Padronização Glossário Pf 4,88 4,32 4,96 3,16 5,68 5,8 5,04 3,92 3,56 Gf 7,33 8,33 0,00 8,33 8,00 9,00 8,33 9,00 0,00 P f x Gf 35,79 36,00 0,00 26,33 45,44 52,20 42,00 35,28 0,00 140 (Continuação) Critérios Reaproveitamento Dados Prevenção Contra Erros Precisão Tempo de Processamento Segurança Resistência aos Erros Recuperação de Dados Total Utilizando-se a Equação U = Pf 4,12 5,52 5,88 4,76 5,72 5,44 5,64 78,4 Gf 6,67 5,67 8,67 7,67 10,00 4,00 4,33 ∑ (G × P ) ∑ P f f f P f x Gf 27,47 31,28 50,96 36,49 57,20 21,76 24,44 522,64 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por tempo de experiência em relação ao uso do produto de software avaliado. Para o setor o intervalo de tempo de zero a dois anos, tem-se: U = 522,64 / 78,4 = 6,67 Sendo o fator de usabilidade igual a 6,67, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Intervalo de Tempo em anos: 1 a 2 − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a fórmula (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E Utilizando os intervalos da TABELA 4.4, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.18 a seguir. 141 TABELA 8.18 – Qualidade dos critérios do software SGH para o intervalo de tempo entre 1 e 2 anos. Critérios Segurança Mensagens Facilidade de Instalação Auto-Instrução Precisão Navegação Padronização Help On-Line Reaproveitamento Dados Tempo de Processamento Prevenção Contra Erros Auditabilidade Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 10,00 MB 8,44 MB 8,00 B 7,78 B 7,78 B 7,56 B 6,89 B 6,67 B 6,67 B 6,22 B 4,67 M 4,44 M 4,22 M 4,22 M 0,00 I 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, pode-se elaborar a FIGURA 8.9. 10,00 10,00 Segurança Mensagens Muito Bom 9,00 8,00 Bom 7,00 Facilidade de Instalação 8,44 8,00 Auto-Instrução 7,78 7,78 7,56 Precisão 6,89 6,67 6,67 Navegação 6,22 6,00 Médio Ruim 5,00 Padronização 4,67 4,44 4,22 4,22 Help On-Line Reaproveitamento Dados 4,00 Tempo de Processamento 3,00 Prevenção Contra Erros Auditabilidade 2,00 Péssimo Resistência aos Erros 1,00 Recuperação de Dados 0,00 0,00 0,00 Inexistente Documentação Glossário FIGURA 8.9 – Grau final dos critérios para o tempo de experiência no intervalo de 1 a 2 anos. 142 − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.19 abaixo. TABELA 8.19 – Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 1 e 2 anos. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Glossário Help On-Line Mensagens Navegação Padronização Precisão Prevenção Contra Erros Reaproveitamento Dados Recuperação de Dados Resistência aos Erros Segurança Tempo de Processamento Total Utilizando-se a fórmula U = Pf 4,88 4,32 4,96 3,16 3,56 5,68 5,8 5,04 3,92 5,88 5,52 4,12 5,64 5,44 5,72 4,76 78,4 Gf 4,44 7,78 0,00 8,00 0,00 6,67 8,44 7,56 6,89 7,78 4,67 6,67 4,22 4,22 10,00 6,22 ∑ (G × P ) ∑ P f f f P f x Gf 21,69 33,60 0,00 25,28 0,00 37,87 48,98 38,08 27,00 45,73 25,76 27,47 23,81 22,97 57,20 29,62 465,06 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por tempo de experiência em relação ao uso do produto de software avaliado. Para o intervalo de tempo de dois a quatro anos, tem-se: U = 465,06 / 78,4 = 5,93 Sendo o fator de usabilidade igual a 5,93, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa 143 de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Intervalo de Tempo em anos: 2 a 3 − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a fórmula (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.20 abaixo. TABELA 8.20 – Qualidade dos critérios do software SGH para o intervalo de tempo entre 2 e 3 anos. Critérios Segurança Facilidade de Instalação Auto-Instrução Navegação Mensagens Precisão Help On-Line Tempo de Processamento Padronização Reaproveitamento Dados Auditabilidade Prevenção Contra Erros Resistência aos Erros Recuperação de Dados Documentação Glossário Gf Avaliação 8,86 MB 7,71 B 7,43 B 7,43 B 7,14 B 6,86 B 6,29 B 6,29 B 6,00 M 6,00 M 4,57 M 4,57 M 4,57 M 4,00 R 0,00 I 0,00 I 144 Através dos dados coletados junto aos usuários na pesquisa de campo, pode-se elaborar a FIGURA 8.10. Segurança 10,00 Facilidade de Instalação Muito Bom 9,00 8,00 Bom 7,00 8,86 Auto-Instrução 7,71 7,43 7,43 Navegação 7,14 Mensagens 6,86 6,29 6,29 6,00 Precisão 6,00 6,00 Help On-Line Tempo de Processamento Médio 5,00 4,57 4,57 4,57 4,00 Ruim Padronização 4 Reaproveitamento Dados Auditabilidade 3,00 Prevenção Contra Erros 2,00 Péssimo Resistência aos Erros Recuperação de Dados 1,00 0,00 0,00 0,00 Documentação Glossário Inexistente FIGURA 8.10 – Grau final dos critérios para o tempo de experiência no intervalo de 2 a 3 anos. − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.21 abaixo. TABELA 8.21 – Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 2 e 3 anos. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Help On-Line Mensagens Pf 4,88 4,32 4,96 3,16 5,68 5,8 Gf 4,57 7,43 0,00 7,71 6,29 7,14 P f x Gf 22,31 32,09 0,00 24,38 35,70 41,43 145 (Continuação) Critérios Navegação Padronização Glossário Reaproveitamento Dados Prevenção Contra Erros Precisão Tempo de Processamento Segurança Resistência aos Erros Recuperação de Dados Total Utilizando-se a fórmula U = Pf 5,04 3,92 3,56 4,12 5,52 5,88 4,76 5,72 5,44 5,64 78,4 Gf 7,43 6,00 0,00 6,00 4,57 6,86 6,29 8,86 4,57 4,00 ∑ (G × P ) ∑ P f f f P f x Gf 37,44 23,52 0,00 24,72 25,23 40,32 29,92 50,66 24,87 22,56 435,15 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por tempo de experiência em relação ao uso do produto de software avaliado. Para o intervalo de tempo de quatro a seis anos, tem-se: U = 435,15 / 78,4 = 5,55 Sendo o fator de usabilidade igual a 5,55, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 5,0 e 7,5. Esta faixa de valores representa a classificação do produto de software SGH como Bom de acordo com a qualidade em relação à usabilidade. • Intervalo de Tempo em anos: 3 a 4 − Aplicação da Técnica para Classificação dos Critérios da Usabilidade em Ordem de Qualidade. Determina-se a qualidade de cada critério de acordo com a técnica para classificação dos critérios da usabilidade em ordem de qualidade, apresentada no Capítulo IV deste trabalho. Com os dados obtidos e utilizando-se a Equação (3.2.1.b), pode-se concluir que cada um dos critérios obteve um grau final (Gf) de qualidade comparativa entre os dezesseis critérios avaliados pelos usuários entrevistados. E utilizando os intervalos da TABELA 4.4 na página 68, pode-se classificar os critérios de acordo com a qualidade. A classificação é dada de acordo com a faixa do intervalo em qual 146 o grau final (Gf) de cada critério se encaixa, com isso, pode-se chegar à TABELA 8.22 a seguir. TABELA 8.22 – Qualidade dos critérios do software SGH para o intervalo de tempo entre 3 e 4 anos. Critérios Segurança Auto-Instrução Precisão Tempo de Processamento Help On-Line Mensagens Facilidade de Instalação Navegação Padronização Reaproveitamento Dados Prevenção Contra Erros Resistência aos Erros Auditabilidade Recuperação de Dados Documentação Glossário Gf Avaliação 8,86 MB 8,00 B 6,29 B 6,29 B 6,21 B 6,21 B 6,14 B 6,00 M 6,00 M 4,36 M 4,14 M 2,86 R 2,57 R 2,57 R 0,00 I 0,00 I Através dos dados coletados junto aos usuários na pesquisa de campo, podese elaborar a FIGURA 8.11. Segurança 10,00 Auto-Instrução 8,86 Muito Bom 9,00 8,00 Precisão 8 Tempo de Processamento Help On-Line Bom 7,00 6,00 6,29 6,29 6,21 6,21 6,14 Mensagens 6 6 Facilidade de Instalação Navegação Médio 5,00 4,36 Padronização 4,14 4,00 Ruim 3,00 Reaproveitamento Dados 2,86 2,57 2,57 Prevenção Contra Erros Resistência aos Erros 2,00 Péssimo Auditabilidade Recuperação de Dados 1,00 0,00 0,00 0,00 Inexistente Documentação Glossário FIGURA 8.11 – Grau final dos critérios para o tempo de experiência no intervalo de 3 a 4 anos. 147 − Aplicação da Técnica para Avaliação da Qualidade dos Produtos de Software de Acordo com a Satisfação do Usuário. Determina-se o fator da usabilidade de acordo com a técnica para avaliação da qualidade dos produtos de software de acordo com a satisfação do usuário, apresentada no Capítulo IV deste trabalho. Utilizando-se os valores encontrados no capítulo anterior para os pesos finais de cada um dos critérios e os valores encontrados acima para os graus finais de cada um dos critérios, pode-se chegar à TABELA 8.23 abaixo. TABELA 8.23 – Aferição da usabilidade do produto de software SGH para o intervalo de tempo entre 3 e 4 anos. Critérios Auditabilidade Auto-Instrução Documentação Facilidade de Instalação Help On-Line Mensagens Navegação Padronização Glossário Reaproveitamento Dados Prevenção Contra Erros Precisão Tempo de Processamento Segurança Resistência aos Erros Recuperação de Dados Total Utilizando-se a Equação U = Pf 4,88 4,32 4,96 3,16 5,68 5,8 5,04 3,92 3,56 4,12 5,52 5,88 4,76 5,72 5,44 5,64 78,4 Gf 2,57 8,00 0,00 6,14 6,21 6,21 6,00 6,00 0,00 4,36 4,14 6,29 6,29 8,86 2,86 2,57 ∑ (G × P ) ∑ P f f f P f x Gf 12,55 34,56 0,00 19,41 35,30 36,04 30,24 23,52 0,00 17,95 22,87 36,96 29,92 50,66 15,54 14,50 380,03 para aferição da usabilidade chega-se ao valor para classificação do Sistema de Gestão Hospitalar de acordo com o perfil do usuário por tempo de experiência em relação ao uso do produto de software avaliado. Para o intervalo de tempo de seis a oito anos, tem-se: U = 380,03 / 78,4 = 4,85 Sendo o fator de usabilidade igual a 4,85, de acordo com a TABELA 4.5 na página 70, de classificação dos produtos de software em relação às escalas de usabilidade, o fator encontrado encontra-se no intervalo entre 2,5 e 5,0. Esta faixa 148 de valores representa a classificação do produto de software SGH como Médio de acordo com a qualidade em relação à usabilidade. 8.2.2.2. Comparação do Fator da Usabilidade Encontrado em Cada um dos Intervalos de Tempo de Experiência. TABELA 8.30 – Fator de usabilidade por tempo de experiência. Intervalos U 0 1 6,67 1 2 5,93 2 3 5,55 3 4 4,85 A TABELA 8.30 acima mostra o valor do fator de usabilidade encontrado para cada um dos intervalos de tempo de experiência do produto de software SGH. A FIGURA 8.15 abaixo ilustra a variação do fator de usabilidade em relação a cada um dos intervalos de tempo de experiência avaliados. Usabilidade Por Tempo 7 6,67 Usabilidade 6,5 6 5,93 Ut = 5,66 5,5 5,55 5 4,85 4,5 4 0 a 1 1 a 2 2 a 3 3 a 4 Tempo (Anos) FIGURA 8.15 - Variação do fator de usabilidade em relação aos intervalos de tempo. 149 Onde: Ut – Usabilidade total. Pela FIGURA 8.15 acima, pode-se verificar que a variação do fator da usabilidade de acordo com o tempo de experiência em relação ao uso do produto de software foi significativa em relação ao fator da usabilidade total (5,66) encontrado para o produto de software avaliado na área de gestão hospitalar. Verifica-se que quanto maior o tempo de experiência, menor foi o fator de usabilidade, ou seja, maior a insatisfação do usuário. Pois um usuário experiente está mais apto a perceber suas reais necessidades, o que o produto de software lhe oferece e principalmente as limitações desse produto, que muita das vezes prejudicam o bom funcionamento do serviço do usuário. Este por sua vez torna-se insatisfeito com a qualidade do produto utilizado, gerando uma queda na sua produtividade. Já os usuários menos experientes, os novatos, por não apresentarem ainda pleno domínio sobre o produto de software utilizado, acabam por não relacionar de maneira eficaz suas necessidades com as funções que o produto de software lhe oferece. Conclui-se, então, que o perfil dos usuários por tempo de experiência em relação ao uso do produto de software influencia de maneira significativa no fator da usabilidade. No próximo capítulo serão apresentadas as conclusões deste trabalho. 150 CAPÍTULO 9 – CONCLUSÕES Neste capítulo serão apresentadas as considerações finais e as sugestões para trabalhos futuros. 9.1. Considerações Finais. Com o estudo da qualidade do software através da usabilidade, pode-se entender com precisão as reais necessidades e anseios dos usuários em relação ao produto de software utilizado. Os questionários utilizados para a avaliação da prioridade e da qualidade dos critérios podem servir como uma importante ferramenta de orientação para o processo de inspeção de usabilidade de um produto de software. Através da primeira parte da metodologia apresentada pode-se concluir que: • A prioridade dos critérios da usabilidade varia de acordo com a área de aplicação do software, ou seja, as necessidades dos usuários variam de acordo com as áreas de atuação dos mesmos. • É possível determinar um peso final de importância para cada critério avaliado considerando as opiniões dos usuários de uma área de atuação específica. Através da segunda parte da metodologia apresentada pode-se concluir que: • É possível determinar um grau final de qualidade para cada critério avaliado considerando a satisfação dos usuários de um produto de software específico. Através da terceira e quarta parte da metodologia apresentada pode-se concluir que: • É possível classificar os produtos de software avaliados em relação ao grau de usabilidade que apresentam, ou seja, em relação à satisfação dos usuários. • Pode-se identificar os critérios que não satisfazem as necessidades dos usuários. • Através da metodologia apresentada é possível viabilizar as informações necessárias para a melhoria dos critérios considerados insatisfatórios, de modo que as necessidades dos usuários sejam satisfeitas e que o produto avaliado atinja o grau de qualidade desejado. • O valor encontrado para a usabilidade de um produto de software pode variar de acordo com o perfil dos usuários deste produto. 151 A metodologia apresentada pode ser utilizada no produto final com a finalidade de avaliar sua qualidade em relação à satisfação do usuário. Como poderá ser utilizada também durante as fases do ciclo de vida do software, ou seja, durante o seu processo de desenvolvimento. E desta maneira, apresentar resultados suficientes para possíveis alterações nas fases de construção do produto de software de modo que se tenha uma maior garantia da satisfação do usuário final e a certeza de uma redução significativa de custos com as alterações e manutenções após a entrega do produto. A metodologia proposta neste trabalho pode ser utilizada para qualquer área de aplicação e em relação a qualquer produto de software de uso específico, ou seja, desenvolvido sob encomenda. 9.2. Sugestões para Trabalhos Futuros. Várias extensões deste trabalho podem ser consideradas: • A utilização da metodologia durante o processo de desenvolvimento do produto de software, verificando sua aplicação em cada fase do ciclo de vida. • A seleção de estudos de caso para efetuar comparações entre os custos existentes com manutenções no produto de software antes e depois da aplicação da metodologia no processo de desenvolvimento. • A aplicação da metodologia proposta na avaliação da usabilidade em web-sites, alterando os critérios que forem necessários. 152 REFERËNCIAS BIBLIOGRÁFICAS Associação Brasileira de Normas Técnicas (1996) Tecnologia de Informação – Avaliação do Produto de Software – Características de Qualidade e Diretrizes para seu uso: NBR 13596. Rio de Janeiro. Associação Brasileira de Normas Técnicas (2001) Tecnologia de Informação – Avaliação do Produto de Software – Parte 5: Processo para Avaliadores: NBR ISO/IEC 14598-5. Rio de Janeiro. Associação Brasileira de Normas Técnicas (2001) Tecnologia de Informação – Avaliação do Produto de Software – Parte 1: Visão Geral: NBR ISO/IEC 14598-1. Rio de Janeiro. BAJERSKI, C., SCHIFFI, J., SILVA, L., SENS, M., CORDEIRO, M., EIFLER, R., KUBICA, S., Revista FURUSHO, Bate Byte - V. (1994) Qualidade de Software – Usabilidade. CELEPAR, Paraná, bb38; http://www.pr.gov.br /celepar/celepar/batebyte/edicoes/1994/bb38/qualidade.htm em 15/04/01. BELCHIOR, A. (1997) Um Modelo Fuzzy para Avaliação da Qualidade de Software. Tese (Doutorado em Ciências em Engenharia de Sistemas de Computação) – Rio de Janeiro-RJ, Universidade Federal do Rio de Janeiro – UFRJ, 158p. CALDEIRA, P.(2000) A Tecnologia a Serviço do Homem? Universidade de Algarve, Portugal. CHAGAS, A. (2000) Questionário na Pesquisa Científica. Administração On-Line – FECAP, São Paulo, 1:1-15; http://www.fecap.br/adm_online/art11/anival.htm em 18/08/2001. DA SILVA, M. (2001) O Comprometimento com c Qualidade dos Sistemas de Informação: Um Enfoque nas Competências das Pessoas. Dissertação (Mestrado 153 em Engenharia de Produção) – Santa Catarina-RS, Universidade Federal de Santa Catarina –UFSC, 110p.; http://teses.eps.ufsc.br/ em 23/03/02. DE SOUZA, D. (2001) Melhoria da Qualidade. Apostila da disciplina de Qualidade e Produtividade do curso de Mestrado em Ciências de Engenharia, UENF, Campos dos Goytacazes-RJ. 12/03/01. DIAS, C. [199-] Avaliação da Usabilidade: Conceitos e Métodos. Revista IT , São Paulo, 2:04-12; http://www.ii.puc-campinas.br/revistait/seg.ed/artigo02/avaliacaoda usabilidade.pdf em 18/09/01. FERNANDES, C. (2001) Aplicação de Normas Internacionais para Avaliação de Qualidade de Produto de Software. – Santa Maria-RS, Centro Universitário Franciscano – UNIFRA, 95p.; http://cpd-srv03.unifra.br/~proj-walkiria/claudio em 18/05/002. GONÇALVES, E. (2001) A Interação com o Usuário na Validação do Software Oficina de Relatório. Dissertação (Mestrado em Engenharia de Produção) – Santa Catarina-RS, Universidade Federal de Santa Catarina –UFSC, 104p.; http://teses.eps.ufsc.br/ em 23/03/02. KULCZYNSKYJ, M. (2002) Usabilidade de Interfaces em Websites Envolvendo Animações, Propagandas e Formas De Auxílio. Dissertação (Mestrado em Engenharia de Produção) – Santa Catarina-RS, Universidade Federal de Santa Catarina –UFSC, 59p.; http://teses.eps.ufsc.br/ em 23/03/02. MCT/SEPIN (2002) Qualidade e Produtividade no Setor de Software Brasileiro – 2001. Brasília, 2002. 258p. MEDEIROS, M. (1999) ISO 9241: Uma Proposta de Utilização da Norma para Avaliação do Grau de Satisfação de Usuários de Software. Dissertação (Mestrado em Engenharia de Produção) – Santa Catarina-RS, Universidade Federal de Santa Catarina –UFSC, 146p. ; http://teses.eps.ufsc.br/ em 23/03/02. 154 MOREIRA, A., BRIDI, E., MACHADO, M., CASARIN, V. (2002) Tipos e Etapas de Pesquisa. Florianópolis, 33 slides; http:// www.cpga.ufsc.br/Bancos/Angelise/ Semin%E1rio%20Tipos%20e%20etapas%20de%20pesquisa.ppt em 28/11/01. NIELSEN, J. (1993) Usability Engineering. 1. ed. São Francisco: Morgan Kaufmann, 566p. OLIVEIRA, E. (2001) Avaliação Ergonômica de Interfaces da Scielo – Scientific Electronic Library Online. Dissertação (Mestrado em Engenharia de Produção) – Santa Catarina-RS, Universidade Federal de Santa Catarina –UFSC, 112p.; http://teses.eps.ufsc.br/ em 23/03/02. PRESSMAN, R. (1995) Engenharia de Software. 3. ed. São Paulo: Makron Books, 1057p. RIBAS, M. (2001) Avaliação do Curso de Graduação em Administração da Universidade Estadual de Maringá a Partir da Percepção dos Alunos: Um Estudo de Caso. Dissertação (Mestrado em Engenharia de Produção) – Santa CatarinaRS, Universidade Federal de Santa Catarina – UFSC, 113p.; http://teses.eps.ufsc.br/ em 23/03/02. ROCHA, A. (1990) Análise e Projeto Estruturado de Sistema. 1. ed. Rio de Janeiro: Editora Campus, 141p. ROCHA, A. (1999) Qualidade de Software. Rio de Janeiro, 61 slides; http://www.agrosoft.com.concurso/ana/ana2.ppt em 26/11/01. ROCHA, A., MALDONATO, J., WEBER, K. (2001) Qualidade de Software – Teoria e Prática. 1. ed. São Paulo: Prentice Hall, 303p. SILVA, S. (2002a) Avaliação da Qualidade de Software Através da Usabilidade. Congresso Fenasoft 2002, São Paulo. 155 SILVA, S. (2002b) Produto de Software – Uma Abordagem Baseada na Opinião do Usuário. SIMPEP 2002, São Paulo. STAIR, R. (1996) Princípios de Sistemas de Informação – Uma Abordagem Gerencial. 2. ed. Rio de Janeiro: Editora LTC, 451p. Subcomitê de Software da ABNT (1999). Guia para Utilização das Normas sobre Avaliação de Qualidade do Produto de Software – ISO/IEC 9126 e ISO/IEC 14598. Curitiba, 65 p.; http://www.pr.gov.br/abntsoftware/guia_versão1.9.pdf em 13/08/01. Subcomitê de Software da ABNT (2001a). Seminário de Qualidade de Software – Modelo de Qualidade e Usabilidade de Software. Curitiba, 76 slides; http://www.pr.gov.br/abntsoftware/v-semin.ppt em 13/08/01. Subcomitê de Software da ABNT (2001b). V Seminário de Qualidade de Software do – Avaliação da Qualidade e Usabilidade de Software. Curitiba, 75 slides; http://www.pr.gov.br/abntsoftware/ergonomia.ppt em 13/08/01. VALIATE, E., LEVACOV, M. (2001) Guia de Recomendação para Auxílio no Desenvolvimento de Interface com Usabilidade. Universidade Federal do Rio Grande do Sul; http://www.inf.ufrgs.br/~mpimenta/publications.htm. WEBER, K., NASCIMENTO, C. (2002) Brazilian Software Quality in 2002. ICSE’02, 2, Flórida, p 02-03. • Principais Obras Consultadas: CUNHA, G. (2000) Métricas de Software. Projeto Rumo ao CMM. Unisinos, Rio Grande do Sul. ESTEVAN, R. Estudo sobre Desenvolvimento de Interfaces: Definição de Técnicas de Classificação e Avaliação Baseadas na Satisfação do Usuário. Dissertação 156 (Mestrado em Engenharia de Computação) – Rio de Janeiro-RJ, Universidade Federal do Rio de Janeiro –UFRJ, 170p. GRADY, B., JACOBSON, I., RUMBAUGH, J. (2000) UML Essencial. 2. ed. Porto Alegre: Bookman, 169p. IEEE (1990) IEEE Standard Glossary of Software engineering terminology, Standard 610.12.IEEE Press. IEEE (1987) Software Engineering Standards. IEEE CS Press. SILVA, S. (2002) Avaliação da Usabilidade – um Estudo da Qualidade na Interação: Usuário e Software. Urisan 2002, Rio Grande do Sul. SILVA, S., DE SOUZA, D. (2002) Usabilidade do Produto de Software. Claio 2002, Chile. • Principais Sites Consultados: www.iso.com www.abnt.org.br www.celepar.com.br www.petrobras.com.br www.ufsc.br www.cos.ufrj.br www.ufrs.br www.mct.gov.br www.pr.gov.br www.usabilidade.com www.useit.com www.unisinos.br www.softex.br www.mestradoinfo.ucb.br/prof/wmelo/usabilidade.html www.lablutil.inf.ufsc.br www.usabilidade.net 157 APÊNDICE A - QUESTIONÁRIOS UTILIZADOS NA FASE DO PRÉ-TESTE Apêndice A.1 – Questionário da Fase do Pré-teste: Prioridade dos Critérios UENF - Laboratório de Engenharia de Produção Área de Aplicação: ______________________________________ Tempo de Experiência:_________________ CRITÉRIOS Auditabilidade Auto-instrução Documentação Facilidade de Instalação Glossário Help On-line Mensagens Navegação Padronização Prevenção Contra Erros de Operação Reaproveitamento da Entrada de Dados Grande Média Pouca Nenhuma Importância Importância Importância Importância 158 Apêndice A.2 – Questionário da Fase do Pré-teste: Qualidade dos Critérios UENF - Laboratório de Engenharia de Produção Área de Aplicação do Produto: ___________________________________________ Especificação do Produto:_______________________________________________ Tempo de Experiência em Relação ao Uso do Produto:_________________ Empresa:__________________________________________ CRITÉRIOS Auditabilidade Auto-instrução Documentação Facilidade de Instalação Glossário Help On-line Mensagens Navegação Padronização Prevenção Contra Erros de Operação Reaproveitamento da Entrada de Dados Muito Bom Bom Médio Ruim Péssimo Inexistente 159 APÊNDICE B - QUESTIONÁRIOS UTILIZADOS APÓS A FASE DO PRÉ-TESTE Apêndice B.1 – Questionário Após o Pré-teste: Prioridade dos Critérios UENF - Laboratório de Engenharia de Produção Tempo de Experiência na Área:_________________ Cargo:__________________________________________ Critérios Capacidade de mostrar qual usuário realizou cada operação do sistema Capacidade de simular as operações do sistema Fornecimento de manuais de instrução para o uso do sistema Facilidade para instalar o sistema Fornecimento de um dicionário contendo os termos utilizados pelo sistema A presença de ajuda (help), indicando o que cada operação significa O aparecimento de mensagens claras e objetivas Facilidade de encontrar e acessar as telas das operações Telas e Relatórios contendo o mesmo modelo padrão. Capacidade de emitir mensagens quando o usuário digitar um dado errado. Capacidade de aproveitar a digitação de dados repetidos Precisão dos resultados. Emissão de resultados corretos. Tempo de resposta às operações realizadas. Capacidade de impedir o uso do sistema por pessoas não autorizadas Capacidade de continuar a operação em caso de erros ou falhas no sistema Capacidade de não perder os dados em caso de erros ou falhas no sistema Legenda: GI – Grande Importância MI – Média Importância PI – Pouca Importância NI – Nenhuma Importância GI MI PI NI 160 Apêndice B.2 – Questionário Após o Pré-teste: Qualidade dos Critérios UENF – Laboratório de Engenharia de Produção Especificação do Produto:_________________________________________ Área de Aplicação do Produto:______________________________________ Tempo de Experiência em Relação ao Uso do Sistema:_____________ Cargo:_________________________________ Empresa:_______________________________ Critérios Ocorrem erros no sistema? O sistema atende as expectativas? O sistema é fácil de usar? O sistema é rápido? Sim Não Critérios Capacidade de mostrar qual usuário realizou cada operação do sistema Capacidade de simular as operações do sistema Fornecimento de manuais de instrução para o uso do sistema Facilidade para instalar o sistema Fornecimento de um dicionário contendo os termos utilizados pelo sistema A presença de ajuda (help), indicando o que cada operação significa O aparecimento de mensagens claras e objetivas Facilidade de encontrar e acessar as telas das operações Telas e Relatórios contendo o mesmo modelo padrão. Capacidade de emitir mensagens quando o usuário digitar um dado errado. Capacidade de aproveitar a digitação de dados repetidos Precisão dos resultados. Emissão de resultados corretos. Tempo de resposta às operações realizadas. Capacidade de impedir o uso do sistema por pessoas não autorizadas Capacidade de continuar a operação em caso de erros ou falhas no sistema Capacidade de não perder os dados em caso de erros ou falhas no sistema Legenda: MB – Muito Bom B – Bom M – Médio R – Ruim P – Péssimo I – Inexistente Às Vezes MB B M R P I 161 APÊNDICE C – METODOLOGIA O SOFTWARE DESENVOLVIDO PARA AUXILIAR A C.1. Modelagem das Técnicas Utilizadas na Metodologia Através da UML (Unified Modeling Language). Um modelo é uma simplificação da realidade. O objetivo principal da modelagem é a construção de modelos que apresentam uma melhor compreensão daquilo que está sendo desenvolvido. A modelagem se faz necessária por quatro motivos: • Ajuda a visualizar a realidade como ela é ou como se gostaria que ela fosse; • Permite especificar a estrutura proposta; • Proporciona um guia para a construção de qualquer tipo de negócio; • Documenta as decisões tomadas. A ferramenta utilizada neste trabalho para modelar a metodologia proposta foi a UML (Unified Modeling Language). A UML é uma linguagem-padrão para elaboração da estrutura de projetos de software e de negócios de uma maneira geral. A UML pode ser empregada para a visualização, a especificação, a construção e a documentação de artefatos que façam uso de algum tipo de sistema. A UML utiliza um conjunto de diagramas; o diagrama escolhido para representar a modelagem foi o Diagrama de Classe. C.1.1. Diagramas de Classe. Esses tipos de diagramas são encontrados na modelagem através da UML. Um diagrama de classes mostra todas as classes envolvidas e seus relacionamentos. Os diagramas de classe são importantes não só para a visualização, a especificação e a documentação de modelos estruturais, mas também para a construção de sistemas executáveis por intermédio da engenharia de produção e reversa. No diagrama de classes, as classes representam todas as entidades envolvidas na metodologia e são representadas através da figura de um retângulo; contendo o nome da classe e seus atributos, ou seja, os dados necessários para caracterizar a classe. O relacionamento entre as classes é representado através de setas. 162 C.1.2. Diagrama de Classes Representando a Modelagem da Metodologia. A figura a seguir ilustra o diagrama de classe da metodologia proposta. U s uário Área N om e 1 1 1..* N om e E n d e re ço Te le fo n e E _ Ma il C a rg o E xp e riê n cia _ Áre a E xp e riê n cia _ P ro d u to E m pres a 1..* N ome E ndereç o Telefone 0..* 1..* 1 ..* P rioridade Cr ité r io P ri orid a d e C rité rio Q u a lid a d e 1 1 ..* P roduto 0..* Q ualidad e 1 1..* D e s c riç ã o Fa b r ica n te Ve rs ã o 1 1..* Critér io No m e De s c riç ã o 1..* S ubc arac terís tic a 1 N om e D es c riç ão C arac terís tic a 1. .* 1 N om e D e sc riç ão FIGURA C.1 - Diagrama de classe. A Figura 4.2 acima apresenta o diagrama de classe da metodologia. Esta modelagem ilustra todas as entidades envolvidas na metodologia, onde cada uma das classes representa uma entidade. Através desta modelagem é possível avaliar a qualidade do produto de software não só utilizando a característica da usabilidade, mas qualquer outra característica proposta pela norma ISO/IEC 9126-1 (NBR 13596). C.1.2.1. Definição das Classes. • Áreas – representa as áreas de aplicação selecionadas e são caracterizadas pelo nome. • Usuários – representa os usuários que responderam aos questionários de avaliação e são caracterizados pelo nome, endereço, telefone,e-mail, setor e tempo de experiência em relação ao produto avaliado e a área de aplicação; • Empresas - representa as empresas ou instituições que avaliaram o(s) produto(s) de software utilizado(s) e são caracterizadas pelo nome, endereço e telefone; 163 • Produtos - representa os produtos de software avaliados e são caracterizados pela descrição, fabricante e versão. • Características - representa as características de qualidade do produto de software definida pela norma ISO/IEC 9126-1 (NBR 13596) e são caracterizadas pelo nome e descrição; • Subcaracterísticas - representa as subcaracterísticas de uma determinada característica de qualidade do produto de software, definida pela norma ISO/IEC 9126-1 (NBR 13596) e são caracterizadas pelo nome e descrição; • Critérios - representa os critérios, definidos pelo avaliador, de cada uma das subcaracterísticas e são caracterizados pelo nome e descrição. • Qualidades - representa a opção da avaliação de cada critério pelo usuário de um determinado produto de software e são caracterizadas pelo critério e qualidade; • Prioridades - representa a opção da avaliação de cada critério pelo usuário de uma determinada área de aplicação e são caracterizadas pelo critério e prioridade. C.1.2.2. Definição dos Relacionamentos. Os relacionamentos são identificados através da multiplicidade, que representa a quantidade de objetos de uma classe que pode está conectada através do relacionamento. Essa multiplicidade é escrita como um intervalo de valores ou como um valor explícito. Os relacionamentos existentes no diagrama de classe da Figura C.1 são: • Entre Áreas e Usuários; • Entre Empresas e Usuários; • Entre Usuários e Produtos; • Entre Características e Subcaracterísticas; • Entre Subcaracterísticas e Critérios; • Entre Produtos e Qualidades; • Entre Critérios e Qualidades; • Entre Critérios e Prioridades; • Entre Áreas e Prioridades. 164 C.2. O Software Desenvolvido para Auxiliar as Técnicas Utilizadas na Metodologia. A modelagem das técnicas utilizadas na metodologia através da UML foi utilizada também na parte referente à análise do produto de software desenvolvido para auxiliar as técnicas apresentadas neste capítulo. Este software possui as seguintes funcionalidades: • Cadastro das áreas de aplicação avaliadas; • Cadastro dos produtos de software avaliados; • Cadastro das empresas que avaliaram os produtos de software que utilizam; • Cadastro dos usuários que participaram das pesquisas de campo; • Cadastro das características e subcaracterísticas, de acordo com a norma ISO/IEC 9126, que foram avaliadas; • Cadastro dos critérios utilizados para a avaliação; • Entrada das opções de avaliação dos questionários referentes à prioridade; • Entrada das opções de avaliação dos questionários referentes à qualidade; • Cálculo do fator da usabilidade; • Classificação do produto de software de acordo com a escala da usabilidade; • Listagem das possíveis soluções para os problemas encontrados, apresentando os critérios que deverão sofrer melhorias para satisfazer aos usuários. C.2.1. Algumas Interfaces do Software Desenvolvido. • Cadastro das características, subcaracterísticas e dos critérios. 165 FIGURA C.2 – Interface para cadastro das características. FIGURA C.3 – Interface para cadastro das subcaracterísticas. 166 FIGURA C.4 – Interface para cadastro dos critérios. • Cadastro de Produtos. FIGURA C.5 – Interface para cadastro dos produtos. Todos os demais cadastros seguem este padrão apresentado acima. 167 • Entrada das opções de avaliação dos questionários referentes à prioridade. FIGURA C.6 – Interface para avaliação das prioridades dos critérios. • Entrada das opções de avaliação dos questionários referentes à qualidade. FIGURA C.7 – Interface para avaliação da qualidade dos critérios. 168 ANEXO A – METODOLOGIA DA CELEPAR PARA AVALIAÇÃO DA USABILIDADE. A.1. A CELEPAR. A Companhia de Informática do Paraná (CELEPAR) é uma sociedade de economia mista criada pela Lei Estadual 4945 de 30 de outubro de 1964, constituída por escritura pública, lavrada em 05 de novembro de 1964. É uma empresa pública de capital fechado, cujo acionista majoritário é o Estado do Paraná. E tem por objetivo a prestação de serviços de: • Consultoria em tecnologia da informação e de gestão; • Serviços de rede de comunicação de dados; • Administração de ambientes informatizados; • Operação de sistemas; • Desenvolvimento e manutenção de sistemas; • Recursos computacionais; • Central de atendimento a clientes. A.2. A Metodologia para Avaliação da Usabilidade. A.2.1. Critérios Utilizados. • Help On-Line; • Navegação; • Facilidade de Instalação; • Prevenção Contra Erros de Operação; • Auditabilidade; • Reaproveitamento da Entrada de Dados; • Padronização; • Documentação; • Glossário; • Mensagens; • Auto-Instrução. 169 A.2.2. Prioridade dos Critérios. Padronização Navegação Mensagens Help On-Line Documentação Prevenção Contra Erros de Operação Reaproveitamento da Entrada de Dados Auditabilidade Auto-Instrução Facilidade de Instalação Glossário FIGURA A.1- Prioridade dos Critérios. Fonte: Fonte: BAJERSKI (1994). A.2.3. Método para Aferição • Cálculo da Usabilidade: U = ∑ (G × P ) ∑ P Onde: U = usabilidade G = grau P = peso • Classificação: 0,0 a 0,4 = reprovado 0,5 a 0,6 = precisa melhorar para ser implantado 0,7 a 1,0 = aprovado 170 TABELA A.1 - Dados para aferição. CRITÉRIO CONTEÚDO PESO GRAU Padronização telas mensagens relatórios help teclas disposição dos campos na tela nome dos campos 11 1,0 = 6 a 7 itens 0,5 = 3 a 5 itens 0,0 = 0 a 2 itens Navegação hierárquica genérica 10 1,0 = todos os itens 0,5 = hierárquica, genérica ou mista 0,0 = sem Mensagens clareza 9 1,0 = todos os itens 0,5 = parcialmente compreensíveis 0,0 = incompreensível ou inexistente Help On-line por campo por função 8 1,0 = todos os itens 0,5 = por campo ou função 0,0 = sem 7 1,0 = todos os itens 0,5 = manual ou cartão de referência 0,0 = sem documentação ou não atualizada 6 1,0 = sempre alerta o usuário 0,5 = entre telas ou funções 0,0 = sem Documentação manual cartão de referência Prevenção Contra mensagens de alerta Erros de Operação Reaproveitamento entre telas da Entrada de entre funções Dados Auditabilidade rastreamento verificação de integridade (quando aplicável) 5 1,0 = todos os itens 0,5 = entre telas ou funções 0,0 = sem 4 1,0 = todos os itens 0,5 = rastreamento e ausência de verificação de integridade (quando aplicável) 0,0 = sem Auto-instrução simulação de todo o sistema 3 1,0 = simulação de todo o sistema 0,5 = simulação de algumas funções 0,0 = sem Facilidade de Instalação interage com usuário 2 1,0 = interage 0,0 = não interage Glossário existência 1 1,0 = completo 0,5 = incompleto 0,0 = sem Fonte: BAJERSKI (1994).