XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. AVALIAÇÃO ERGONÔMICA DE UM SOFTWARE PELOS MÉTODOS ANALÍTICOS HEURÍSTICO E PERCURSO COGNITIVO Gemison Amaral de Oliveira (UFERSA) [email protected] Adriana Fonseca Mendes (UNP) [email protected] Adricia Fonseca Mendes (UFERSA) [email protected] Liziane de Souza Morais (UFERSA) [email protected] Gildson Silva Medeiros Aquino (UFERSA) [email protected] No Brasil e no Mundo é notório o crescimento na fabricação de softwares, a rapidez com que avança a tecnologia cria necessidades aos desenvolvedores de lançarem novos sistemas no mercado. Muitos desses sistemas são criados apenas sob a visão de um programador que pouco se preocupa com a usabilidade dos usuários. A intervenção ergonômica se dá na fase embrionário de maneira que o projeto seja centrado no usuário. O presente trabalho avaliar a usabilidade de um software que simula um Diário de Classe, através da aplicação do método analítico de avaliação Heurística e Percurso Cognitivo procurando identificar causas de má usabilidade, prioriza-las e gerar soluções possíveis aos problemas encontrados. Palavras-chave: Avaliação Ergonômica, Avaliação Heurística, Diário de Classe XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. 1 Introdução Desde a Segunda Guerra Mundial, onde praticamente surgiu a era tecnológica, e principalmente com a popularização dos computadores de uso pessoal criou-se a necessidade das organizações em incrementar a utilização de softwares cada vez mais bem projetados como ferramenta a competitividade em mercados altamente dinâmicos. Atualmente, empresas que não se preocupam em desenvolver interfaces interativas, altamente amigáveis, não garantem para sí vantagens competitivas em mercados extremamente competitivos, como os de desenvolvimento de software. Diante disso, a exigência e sobretudo a busca por qualidade pelos usuários fez com que os desenvolvedores desses sistemas procurassem a melhor forma de satisfazer as necessidades de uso dos sistema. Dessa forma, é através da ergonomia, que estuda a melhor maneira de adaptar o trabalho, de natureza física ou intelectual, ao homem e dentro desse contexto, a ergonomia cognitiva, se preocupa com processos mentais e por meio de aplicações analítica essas necessidades são atendidas. Para isso, eles recorreram a aplicações de testes de avaliação ergonômicos de usabilidade de interfaces homem – máquina, através de revisão de literatura, em softwares sem a participação do usuário. Dentro desse contexto, as empresas desenvolvedoras de software necessitam criar interfaces altamente amigáveis com objetivos de receber retornos positivos quanto a usabilidade desses sistemas pelos usuários. Entretanto nem sempre os usuários trazem o retorno esperado, apesar de serem sensíveis a erros, por não terem a capacidade de apontar sensitivamente problemas na interface de um software. As empresas desenvolvedoras de software devem fazer testes de usabilidade antes de lançar seus produtos no mercado. Para isso, são necessárias aplicações de testes de avaliação para mensurar o quanto a interface se demostra interativa ao usuário. Com base nisso, à avaliação de um software deve ser dada real atenção, objetivando principalmente a obtenção de informações para tomadas de decisões adequadas e voltadas para a satisfação plena do usuário no que diz respeito à sua interação com o computador, com base nas condições às quais o indivíduo está exposto quando faz uso de um programa computacional, o que justifica este estudo. Dessa forma, para realização deste trabalho foram testados, através de dois métodos de avaliação analítica, Heurística e Percurso Cognitivo, a usabilidade de um software. 2 Revisão de literatura 2 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. 2.2 Software e ergonomia Software são instruções que, quando executadas produzem a função e o desempenho desejados, possibilitando aos programadores manipularem adequadamente as informações e documentos que descrevem a operação (PRESSMAN, 1995). Os princípios de um software bem desenvolvido são resultados de uma pesquisa exaustiva e detalhada sobre a interação entre pessoas e programas, os conceitos que elas adquirem, a forma como aprendem e os objetivos que perseguem. A interação homem-computador lida com todas essas questões abrangentes e utilizam a ergonomia cognitiva para criar softwares que sejam úteis ao usuário (BAWA, 1997). Segundo Moraes (2008), um dos maiores objetos da ergonomia na atualidade é a informática, devido ao diálogo entre homem e máquina, que exige estudo dos aspectos cognitivos que envolvam usabilidade, amigabilidade, encadeamento das informações, navegação, por meio de menus, telas, códigos e apresentação de informações. Logo, a ergonomia do software trata de aspectos relativos aos programas e programação, objetivando melhorar a capacidade de utilização, ou seja, a usabilidade, dos softwares por usuários de características distintas. Assim, as funções da ergonomia do software são referentes à análise, projeto e avaliação, tais quais de práticas ergonômicas tradicionais. A primeira diz respeito à análise do usuário, da tarefa e tecnologia; a segunda, o projeto de interface com o usuário, de apresentação de informações e forma de interação e do diálogo homem-máquina; a terceira, a avaliação da carga de trabalho, do desempenho na navegação, erros de interpretação, dentre outros (HIRATSUKA, 1996). 2.3 Ergonomia: uma abordagem conceitual Derivado do grego Ergon (trabalho) e nomos (leis, normas) ergonomia define-se, segundo Iida (2005), como sendo o estudo da adaptação do trabalho ao homem, englobando o ambiente físico e aspectos organizacionais de como o trabalho é programado e controlado para gerar segurança, satisfação e bem-estar dos trabalhadores. Segundo a Abergo (2005), a Associação Internacional de Ergonomia define ergonomia como sendo uma disciplina que relaciona o entendimento das interações entre o homem e demais elementos de um sistema, e buscam otimizar o desempenho de sistemas e bem-estar humano aplicando teorias e métodos a projetos. 2.3.1 Domínios da ergonomia Conforme Iida (2005), a Ergonomia também ode ser classificada em cognitiva. Sobre este domínio da ergonomia, sabe que a mesma ocupa-se com os processos mentais, como 3 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. percepção, memória, raciocínio e resposta motora, na medida em que afetem as interações entre os elementos de um sistemas. Trata, por exemplo, da carga de trabalho mental, tomada de decisão, aptidão para desempenho, estresse no trabalho e interação homem-computador. 2.3.2 Usabilidade Segundo a ISO 9241-11, a usabilidade pode ser definida como sendo a capacidade de um produto ser usado por usuários específicos para atingir objetivos específicos com eficiência, eficácia e satisfação em um contexto específico de uso. A usabilidade consiste em um atributo da interface homem-computador e que caracteriza o software com qualidade em relação ao seu uso, a qual está relacionada à fatores de eficiência e satisfação. (BIAVA, 2001). 2.3.3 Técnicas de avaliação ergonomica HCI (interação humano – computador) 2.3.3.1 Análise heurística De acordo com Magrinelli (2010, p.23) as heurísticas são “conjunto de diretrizes que auxiliam no processo de avaliação focando na usabilidade do sistema.” Segundo Nielsen (1993), essa avaliação envolve um pequeno número de inspetores que examinarão a conformidade da interface através de princípios de usabilidade preestabelecidos, as heurísticas. Sobre a análise heurística, Magrinelli (2010) corrobora que esta consiste em um método usado para avaliar a usabilidade do sistema seguindo as dez heurísticas propostas por Nielsen, as quais permitem verificar se o software atende a alguns desses dez pontos e desta forma a cada heurística infringida, o avaliador julga as consequências e a gravidade do problema, incentivando o desenvolvedor do sistema tornar a interface mais usável. Dessa forma para Bitencourt (2010) análise heurística baseia-se em experiências e competências dos avaliadores no assunto. Para esta avaliação, segundo Nielsen (1993), são necessários de 3 à 5 avaliadores que tenham conhecimento das heurísticas utilizadas na avaliação. Além disso, devem seguir um roteiro de execução das tarefas a fim de identificar não conformidades e classifica-las. A seguir, estão listadas as 10 heurísticas propostas por Nielsen, segundo Barbosa e Silva (2010): a) Visibilidade do estado do sistema; b) Correspondência entre o sistema e o mundo real; c) Controle e liberdade do usuário; d) Consistência e padronização; e) Prevenção de erros; f) Reconhecimento em vez de memorização; g) Flexibilidade e eficiência de uso; 4 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. h) Projeto estético e minimalista; i) Ajude os usuários a reconhecerem, diagnosticarem e se recuperarem de erros; j) Ajuda e documentação; No que diz respeito à gravidade julgada pelo avaliador ou o grau de impacto na usabilidade do sistema, ainda na visão dos autores supracitados, são adotados os seguintes graus de severidade: 0 problema inexistente – não concordo que isto seja um problema; 1 problema cosmético – se houver tempo no cronograma o problema pode ser consertado; 2 problema pequeno – o conserto deste problema pode receber baixa prioridade; 3 problema grande – importante que seja consertado e o problema deve receber alto grau de relevância. Esta não conformidade prejudica fatores de usabilidade importantes no projeto; 4 problema catastrófico – é extremamente importante que seja corrigido antes de ser lançado no mercado. Esse problema pode impedir a realização de tarefas e a concretização de objetivos pelo usuário. Quanto à localização o problema pode ser: 1. Pontual – o problema aparece em apenas um local do sistema; 2. Ocasional – o problema aparece em mais de um local do sistema; 3. Sistemático – o problema aparece na interface de modo geral; 4. Não existe – o problema não pertence a interface mais deveria ser incluído. 2.3.3.2 Percurso cognitivo Segundo Prates e Barbosa (2003), essa técnica busca identificar o grau de aprendizado do sistema na interação com o usuário, isso é motivado pelo uso, de maneira restrita, na maioria das vezes, que muitas pessoas fazem no momento em que necessitam executar determinada tarefa. De acordo com Branquinho e Felzenszwalb (2007), esse método pode ser feito por um ou mais avaliadores em sistemas implantados ou não examinando a usabilidade de uma interface de usuário. Prates e Barbosa (2003) define quatro passos principais para os procedimentos de avaliação pelo percurso cognitivo, a saber, No primeiro passo o projetista apresenta uma proposta de design; 5 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. O segundo passo é o avaliador ou os avaliadores que constroem histórias plausíveis sobre a interação de um usuário com a interface; No terceiro passo os avaliadores, através de simulações de tarefas, constroem perguntas sobre cada passo; No quanto passo os avaliadores anotam pontos importantes do tipo: o que o usuário deve ou precisa saber para executar determinada tarefa. Sobretudo, Barbosa e Silva (2010) identificam que cada tarefa é examinada minunciosamente, dessa forma, para cada passo o avaliador responde as seguintes perguntas: O usuário tentará atingir o efeito correto? O usuário perceberá que a ação correta está disponível? O usuário conseguirá associar a ação correta com efeito que está tentando atingir? Se a ação correta for realizada, o usuário perceberá que está progredindo para concluir a tarefa? 3 Metodologia Segundo Silva e Menezes (2001), essa pesquisa pode ser caracterizada, quanto a natureza, como aplicada que é orientada a gerar conhecimento para solução de problemas específicos em aplicações práticas. Quanto a forma de abordagem do problema esta pesquisa se caracteriza como quantitativa os quais se atém a aspectos não quantificáveis que relaciona aspectos do mundo real e a subjetividade do sujeito que não pode ser enumerado, não utiliza métodos e técnicas estatísticas (SILVA E MENEZES, 2001) 3.1 O método heurístico A avaliação heurística foi realizada, conforme Nielsen, por três pessoas, neste caso graduandos conhecedores do método que o aplicaram ao software Diário de Classe. Primeiramente foram apontados o máximo de problemas de usabilidade na interface, dispostos em 18 não conformidades. A seguir classificou-se cada problema de acordo com as 10 heurísticas de Nielsen. Depois disso, foi estabelecido o grau de severidade de cada não conformidade, ou seja, o grau de impacto, por exemplo, da falta de uma mensagem que signifique o encerramento, positivamente ou não, de uma tarefa na interface. Uma vez feito isso, foram identificadas a frequência de erros no software, os classificando segundo o grau de ocorrência. 3.2 O método percurso cognitivo 6 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. A avaliação pelo percurso cognitivo foi realizada por um único avaliador, um graduando, com prévio conhecimento sobre a aplicação do método, conforme referenciado na revisão de literatura, foram aplicadas perguntas para cada um dos dez (10) pontos que compõem uma tarefa. Para isso, cada tarefa foi classificada e subdividida, ao longo de sua execução, para aplicação das perguntas propostas por Prates e Barbosa, conforme referenciado na revisão literária. Dessa forma, para cada subdivisão das 10 tarefas presentes no roteiro, foram feitas as perguntas e as respostas geradas mostram em que pontos o software apresenta dificuldades na usabilidade. Depois de aplicado os métodos e de posse dos dados foram propostas as melhorias que foram apresentadas aos programadores para que estes pudessem verifica-las, segundo as prioridades estabelecidas pelos métodos, e fazer as correções necessárias. De posse das correções foram feitas comparações entre as propostas de melhoria e o método melhorado, de maneira a evidenciar a importância da avaliação ergonômica cognitiva e analítica na relação de usuários com a interface homem – máquina. 4 Resultados e discussões 4.1 Software diário de classe O software Diário de Classe foi desenvolvido por 3 (três) alunos do curso de Ciência da Computação da UFERSA – Campus Mossoró na disciplina de Engenharia de Software valendo a nota da terceira prova. O software simula um Diário de Classe que é fornecido pela DIRED (Diretoria Regional de Educação Cultura e Esportes) de jurisdição. O programa é utilizado para registrar a frequência dos alunos, para controle da presença dos alunos nas aulas, as notas das avaliações, que geram as notas bimestrais e anuais para registro de histórico dos alunos. Atualmente os Diários de Classe fornecidos pela DIRED são feitos de papel, depreciáveis e dispendiosos. O professor deve entregar este documento no fim de cada ano devidamente preenchido para cada disciplina ministrada. Uma vez feito isso, ele é entregue a Secretaria da Escola onde é assinado pelo diretor e arquivado. Contudo, esse sistema foi desenvolvido sobre critérios de usabilidade de três graduandos em Ciência da Computação baseados apenas no senso comum atrelado a eles, sem nenhum tratamento técnico de interação humano computador. 4.2 Avaliação heurística 7 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Para tratamento dos dados pelo método heurístico foi feito uma tabela com todos os 18 problemas encontrados, bem como as heurísticas atribuídas a estes, a frequência dos problemas na interface e o seu impacto na usabilidades. Mack & Nielsen apud (PRATES & BARBOSA, 2003) classificam como principais objetivos do tipo de avaliação heurística identificar, classificar e contar os problemas de usabilidade encontrados durante a inspeção. A tabela 1 apresenta os dados coletados pela avaliação heurística, grau de severidade, local onde foi definido o problema e heurísticas encontradas Tabela 1 - Dados coletados pela avaliação heurística Fonte: Autor 8 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Todas as heurísticas classificadas nos dezoito problemas pelos três avaliadores foram colocadas na tabela e se estabeleceu um parâmetro para sua escolha, aquelas que fossem escolhidas por mais de uma vez, pelos três avaliadores seriam aceitas. Dessa forma, foram identificadas quarenta heurísticas dispostas em dezoito problemas. De posse dos dados da Tabela 1 foi gerado a Tabela 2 com a frequência de heurísticas ocorrida nos dezoito problemas encontrados. Tabela 2 – Frequência de heurísticas por problemas Fonte: Autor Como se vê na Tabela 2 as heurísticas mais frequentes nos 18 (dezoito) problemas são respectivamente “2. Correspondência entre o sistema e o mundo real” e “1. Visibilidade do estado do sistema” que correspondem a mais de 30% dos problemas propostos, ou seja, são as desconformidades mais frequentes dentro dos 18 problemas encontrados. A heurística 2 trata do senso cognitivo que foram pouco percebidos pelo usuário na interface do programa. A heurística 1 diz respeito ao feedback gerado pelo sistema, ou seja, as respostas ao comando do usuário, respostas de encerramento de tarefas como “o usuário foi inserido com sucesso” são pouco vistas, por isso a representatividade de 15% no sistema. Para o grau de prioridade das não conformidades foi realizada a Tabela 3 com a frequência do grau de severidade nos 18 problemas encontrados. Tabela 3 – Frequência de severidade: 9 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Autor Segundo Mack & Nielsen apud (PRATES & BARBOSA, 2003) após identificar os problemas de usabilidade, seleciona-se os problemas que devem ser corrigidos priorizando-os de acordo com sua gravidade e o custo associado à correção. A partir dos dados da Tabela 3 verificou-se que 55,55% dos 18 problemas tem grau de severidade maior igual a três, ou seja, 10 dos 18 problemas tem grande impacto na usabilidade do sistema, ou seja, são problemas que devem receber auto grau de prioridade na correção pelos programadores. Nem sempre todos os problemas de grau de severidade elevado podem ser corrigidos na medida em que deve ser levado em consideração custos e tempo de execução das soluções das não conformidades. O Figura 1 mostra que os problemas 6, 13, 14 e 15 tem prioridade na correção por serem considerados como problemas catastróficos. Figura 1 – Problema por grau de severidade Fonte: Autor 10 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Com base nos dados da Tabela 4 e os dados coletados observou-se que dos 18 problemas identificados 10 eram pontuais e destes, 6 foram encontrados em pelo menos uma janela diferente de 12 contidas no sistema. Tabela 4 – Frequência dos problemas nas janelas do software. Fonte: Autor De acordo com a tabela da Tabela 4 e o Figura 2, 55,56% das não conformidades encontradas eram localizadas em um único ponto do programa, 27,78% eram componentes que não foram integrados ao sistema, 11,11% eram problemas que apareceram em toda a interface de modo geral. Figura 2 – Localização de não conformidades Fonte: Autor A Figura 2 mostra que dos 10 problemas pontuais encontrados 4 são de grau de severidade 4. Da mesma forma, observou-se que problemas de grau de impacto grande, de severidade 3, neste caso identificados 6 onde 2 destes estavam presentes em praticamente todas as janelas 11 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. do sistema. Analogamente observou-se que problemas de grau de severidade 3 foram localizados em componentes que faltavam a interface do programa para torna-la mais interativa, considerado como um problema existente pela falta de uma função. 4.3 Avaliação pelo percurso cognitivo No método de avaliação Percurso Cognitivo foram identificadas 17 não conformidades a partir da aplicação das perguntas referenciadas na revisão de literatura tentando simular ações do usuário na realização das tarefas. Dessa forma, os problemas apontados são apresentados a seguir, de acordo com as dez tarefas propostas na metodologia. Foram identificados 26 problemas de usabilidades nos dois métodos, destes 7 não foram corrigidos e 5 deles foram erros apontados pelo método heurístico. Dessa forma, dentre os 5 apenas um tinha grau de severidade 4, que é o problema de se deslogar através da opção sair no menu; o sistema só desloga quando o navegador é fechado. Contudo, dentro das maiores prioridades apontadas pelo método heurístico, 4 erros de severidade 4, essa foi a única que não foi resolvida, pois o programador não tinha conhecimento suficiente para realizar essa correção. Ainda conforme o método heurístico dos 5 erros não corrigidos pelo programador 2 deles tinham grau de severidade 3 e severidade 2, o programador não conseguiu resolver questões como edição das faltas, botão ajuda, que demanda muito tempo, recuperação de senha, sem acesso direto ao banco de dados e algumas mensagens de feedback ao usuário que não foram inseridas. Para avaliação Percurso Cognitivo, dos 17 problemas encontrados 6 não foram corrigidos pelo programador. No caso das criações dos submenus “secretário” e “professor” no menu cadastrar usuário não foi realizada porque o programador não achou que seria pertinente uma vez que quem faz o controle do software é o secretário e ele sabe que a utilização desse sistema é estritamente para secretários e professores. 5 Considerações finais O presente trabalho mostrou a importância de alguns métodos de avaliação para análise da usabilidade de um software sem a presença do usuário evidenciando, através da revisão de literatura, as maneiras de apontar e encontrar não conformidades. O método de avaliação heurístico mostrou – se eficiente por identificar 18 (dezoito) problemas apontando sua gravidade e a frequência deles nas janelas do software, entretanto esse método só apontou mais problemas superficiais enquanto que o método percurso cognitivo as não conformidades eram apontadas na medida em que o usuário estava realizando determinada tarefa, através de “n” suposições que ele poderia fazer ao longo das janelas do software. 12 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. As propostas de soluções dos problemas foram feitas a partir dos problemas apontados em ambos os métodos, depois de feitas as propostas e as alterações realizadas pelos programadores, foram confrontados os dados do método melhorado com o não melhorado a fim de comprovar e justificar a importância deste trabalho e dos métodos apresentados aplicados a um estudo de caso. Contudo, as maiores dificuldades na realização deste trabalho foi entender como se deveria julgar um problema e até que ponto este julgamento iria influenciar favoravelmente na usabilidade do software. 6 Referências bibliográficas ABERGO (Rio de Janeiro). O que é Ergonomia?, 2005. Disponível em: <http://www.abergo.org.br/internas.php?pg=o_que_e_ergonomia>. Acesso em: 27 jan. 2013. BAWA, Joanna. Computador e Saúde: Manual do Usuário - Problemas, Prevenção e Cura. Tradução de Eduardo Farias - São Paulo: Summus, 1997. 232 p. BARBOSA, Simone. D. J.; SILVA, Bruno. S. Interação Humano – Computador. Rio de Janeiro: Elsevier, 2010. 406 p. BIAVA, Lurdete Cadorin. Oficina de relatório: Concepção e desenvolvimento de um software com a participação do usuário. 2001. 144 f. Dissertação (Mestrado em Engenharia de Produção) - Universidade de Santa Catarina, Florianópolis, 2001. Disponível em: <https://wiki.ifsc.edu.br/mediawiki/images/b/bf/DISSERT_Biava.pdf>. Acesso em: 02 out. 2012. BITENCOURT, Rosimeire Sedrez. Ergonomia Cognitiva: Interação Homem-Computador. Curitiba: UFPR, 2010. 23 slides, color. Disponível em: <http://www.ergonomia.ufpr.br/Microsoft%20PowerPoint%20%20Ergonomia_Cognitiva_2010_Parte5.pdf> . Acesso em: 30 jan. 2013. BRANQUINHO, Fátima; FELZENSZWALB, Israel. Meio ambiente: experiências em pesquisa multidisciplinar e formação de pesquisadores. Rio de Janeiro: Mauad X – FAPERJ , 2007. 215 p. HIRATSUKA, Tei Peixoto. Contribuições da Ergonomia e do Design na Concepção de Interfaces Multimídia. 1996. Dissertação (Mestrado em Engenharia de Produção) - Universidade Federal De Santa Catarina, Florianópolis, 1996. Disponível em: <http://www.eps.ufsc.br/disserta96/tei/index/index.htm>. Acesso em: 07 out. 2012. IIDA, Itiro. Ergonomia: Projeto e Produção. 2. ed. São Paulo: Edgard Blücher, 2005. 630 p. ISO 9241 Part 11. Requisitos Ergonômicos para Trabalho de Escritórios com Computadores, Part 11: Orientações sobre Usabilidade, 2002. MAGRINELLI, Juliana Villas Boas. Avaliação de Usabilidade de Sistema para Gerenciamento Apícola: O Caso Laborapix. Monografia (Bacharel em Sistemas de Informação) - Universidade Federal de Lavras, Lavras, 2010. 89 f. Disponível em: <http://www.bsi.ufla.br/monografias/Monografia_Juliana_VillasBoasMagrinelli.pdf>. Acesso em: 03 de Out. 2012. MORAIS, Anamaria de. Ergonomia: Conceito de ergonomia por DE MORAES, Anamaria. Rio de Janeiro: PUC, 2008. Disponível em: <http://wwwusers.rdc.puc-rio.br/moraergo/define.htm>. Acesso em: 23 jan. 2013. NIELSEN, Jakob. Usability engineering. São Diego: Morgan Kaufmann, 1993. 352 p. 13 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. OLIVEIRA, Lucas Vinícius.; DAMASCENO, Alexandro Lima. Diário de Classe (Software). Mossoró: UFERSA, 2011. PRATES, Raquel. O.; BARBOSA, Simone. D. J. Avaliação de Interfaces de Usuário - Conceitos e Métodos. In: Jornada de Atualização em Informática (JAI), Congresso da SBC, 23., 2003, Belo Horizonte. Anais... Belo Horizonte: UFMG, 2003. cap. 6. Disponível em: <http://homepages.dcc.ufmg.br/~rprates/ge_vis/cap6_vfinal.pdf>. Acesso em: 03 out. 2012. PRESSMAN, Roger S. Engenharia de Software. São Paulo: Makron Books, 1995. 1090 p. SILVA, Edna. L.; MENEZES, Estera. M. Metodologia da Pesquisa e elaboração de dissertação. 3. ed. Florianópolis: Laboratório de Ensino a Distância da UFSC, 2001. 121 p. 14