XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
Avaliação de um software utilizando ensaios de interação e a Norma
NBR 9241:11.
Isabel Christina Corrêa Dias (UFPB) [email protected]
Francisco Soares Másculo, PhD (UFPB) [email protected]
Resumo
Este artigo relata sobre a avaliação do software XYZ produzido pela Universidade Delta
através dos ensaios de interação com o usuário e a Norma NBR 9241:11/2002 (Ergonomia
de Software) sobre usabilidade. Através dos ensaios de interação com o usuário e a Norma
citada acima, concluiu-se que o software, que já está em fase de comercialização, não se
enquadra nos quesitos de usabilidade propostos pela norma referente a este aspecto e que
necessita de ajustes para diminuir o nível de insatisfação dos usuários.
Palavras-chave: Software, Avaliação, Usabilidade, Ensaios de interação, NBR
9241:11/2002.
1. Introdução
Os trabalhos realizados no campo de HCI - Human Computer Interaction (Interação
Homem/Máquina) destacam a necessidade de se avaliar os softwares não somente na sua
concepção, mas durante todo o processo de desenvolvimento, porém os estudos ainda buscam
qual a melhor maneira de se fazer esta avaliação (CYBIS, 2002).
Matias (1995) afirma que o mercado para os softwares está cada vez mais competitivo, com a
globalização da informática. Preocupado com os requisitos de saúde e segurança no trabalho,
o Mercado Comum Europeu tem exigido padrões de qualidade nos produtos de software com
a obrigatoriedade da aplicação de princípios de ergonomia de software em seus produtos.
Por isso, a questão da usabilidade de um software vem se tornando fato prioritário para as
indústrias de software, que perceberam que a competição se dá, principalmente, na interface
do produto.
Como método de avaliação de software, os Ensaios de Interação ou Testes de Usabilidade
visam averiguar a adequação à tarefa com o atendimento às necessidades do usuário, à
facilidade de uso e também à facilidade de aprendizado.
O emprego de Ensaios de Interação ou Testes de Usabilidade numa análise ergonômica
justifica o princípio fundamental de que a presença de usuários do futuro sistema poderá
trazer à luz, dados reais sobre a qualidade da interação pretendida.
A norma NBR 9241:11/2002 esclarece que para se determinar o nível de usabilidade
alcançado é necessário medir o desempenho e satisfação dos usuários trabalhando com um
produto. Esta norma ainda explica que a medição de usabilidade é particularmente importante
para visualizar a complexidade das interações entre o usuário, os objetivos, as características
da tarefa e os outros elementos do contexto de uso.
É importante avaliar a usabilidade de um sistema para atingir seus objetivos junto aos
usuários. Através desta avaliação é possível definir a aceitação de um projeto de software,
propor revisões, correções de erros e aperfeiçoamento de sistemas em desenvolvimento e já
implementados.
ENEGEP 2005
ABEPRO
2705
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
Esta avaliação de usabilidade tem por objetivo diagnosticar características e elementos que
representem obstáculos para os usuários, assim como, os problemas existentes que dificultam
a realização de suas tarefas; e medir os níveis de eficiência, eficácia e produtividade
alcançadas com a utilização do software.
A boa usabilidade tem importância ímpar no sucesso e qualidade de um sistema.
2. Objetivos
O objetivo desta pesquisa é avaliar o software XYZ utilizando ensaios de interação e a Norma
NBR 9241:11/2002, através de estudos de medidas de eficiência, eficácia e satisfação desta
norma, seleção da amostra dos usuários que participarão da avaliação do programa e
apresentação dos resultados.
3. Revisão bibliográfica
3.1 Ergonomia
Iida (1998) diz que ergonomia e ó estudo da adaptação do trabalho ao homem. Os objetivos
práticos da ergonomia são a segurança, a satisfação e o bem-estar dos trabalhadores no seu
relacionamento com sistemas produtivos.
Os conflitos entre o humano e a tecnologia expressam-se através de custos humanos do
trabalho para o operador, como fadiga, doenças profissionais, lesões temporárias ou
permanentes, mutilações, mortes, e de acidentes, incidentes, erros excessivos, paradas não
controladas, lentidão e outros problemas de desempenho, assim como danificação e má
conservação de máquinas e equipamentos, que acarretam decréscimos na produção,
desperdício de matérias-primas, baixa qualidade dos produtos, o que acaba por comprometer a
produtividade do sistema homem-máquina.
A ergonomia está mais participativa e vários são os fatores que têm colaborado para essa
realidade. Segundo Wilson (1997), entre eles o clima social e político mundial que tem sido
visto como mais participativo e democrático, apesar de aparentes e eventuais retrocessos
localizados, e a grande ênfase na qualidade, flexibilidade e prestação de serviços ao
consumidor que vem pouco a pouco substituindo os critérios mais quantitativos, relacionados
a resultados, provocando uma maior participação dos trabalhadores.
3.1.1 Ergonomia de software
Moraes (2001) define ergonomia do software como um caso particular de adaptação do
trabalho ao homem: “adaptação do sistema informatizado à inteligência humana”. A
tecnologia informatizada faz parte da vida de cada vez mais pessoas. No entanto, muitas
dessas pessoas passam por experiências frustradas e dificuldades ao tentar usar os sistemas.
Em muitos casos a ergonomia é abordada somente na fase de avaliação de um software, o
que, segundo Czaja (1997), limita a utilidade e efetividade das contribuições da ergonomia.
Por isso, a Ergonomia do Software trata de aspectos relativos aos programas e à programação
e busca melhorar a capacidade de utilização – usabilidade - dos softwares por usuários de
diferentes características.
3.2 Usabilidade
Segundo Schackel apud Heemann (1997), a usabilidade envolve os quatro componentes
principais de uma situação de trabalho: usuário, tarefa, sistema e ambiente. O autor afirma que
um projeto com boa usabilidade depende da harmonia desses quatro componentes.
É importante perceber que a usabilidade não é uma simples propriedade da interface com o
usuário. Segundo Nielsen (1993), usabilidade tem muitos componentes e é tradicionalmente
ENEGEP 2005
ABEPRO
2706
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
associada com cincos atributos: fácil de aprender, eficiente no uso, fácil de ser lembrado, ter
poucos erros, gerar satisfação.
3.2.1 Norma NBR 9241:11
A norma NBR 9241 pode ser aplicada tanto como guia de orientação de projeto, quanto
ferramenta para avaliação de usabilidade. É uma norma com múltiplas partes que tratam dos
aspectos ergonômicos do uso de terminais de vídeo, envolvendo software e hardware.
Esta norma, na parte 11, indica quais as medidas de usabilidade de eficácia, eficiência e
satisfação podem ser especificadas para objetivos globais (p.ex. produzir uma carta) ou para
objetivos menores (p.ex. realizar busca e substituir). Ao selecionar medidas de usabilidade
para os objetivos mais importantes do usuário pode ser necessário ignorar muitas funções,
mas provavelmente esta seja a abordagem mais prática.
Para efeito deste trabalho, foram escolhidas as seguintes medidas de usabilidade global:
- Eficácia (porcentagem de objetivos alcançados): serão consideradas tarefas completadas
com sucesso aquelas cujos objetivos sejam atingidos;
- Eficiência (tarefas completadas por unidade de tempo): leva-se em consideração o tempo de
realização de uma tarefa completada pela avaliadora, a qual já tem uma certa experiência no
uso deste programa. O usuário completar a tarefa com pelo menos 50% a mais do tempo da
avaliadora, pois este é o tempo esperado de finalização de uma tarefa arbitrado pela mesma;
- Satisfação (escala de satisfação): será utilizado um questionário pós-teste para quantificar o
número de reclamações feitas pelos usuários. Para efeito deste teste, os itens “concordo em
parte”, “tenho dúvidas” e “discordo plenamente” deste questionário representam as
reclamações do usuário.
3.2.2 Ensaios de interação
Os ensaios de interação são testes realizados com os usuários do sistema. São uma simulação
de uso do mesmo em que são apresentadas algumas tarefas para o usuário realizá-las. Os
mesmos são acompanhados pelos avaliadores que analisarão os comandos dados, os erros
cometidos, o comportamento do usuário. Os ensaios de interação identificam problemas de
interação de mais alto nível, dificilmente identificados por outros métodos.
Um ensaio de interação consiste de uma simulação de uso do sistema da qual participam
pessoas representativas de sua população alvo, tentando fazer tarefas típicas de suas
atividades, com uma versão do sistema pretendido. Sua preparação requer um trabalho
detalhado de reconhecimento do usuário alvo e de sua tarefa típica, para a composição dos
cenários que serão aplicados durante a realização dos testes (CYBIS, 2003, p.117).
4. Metodologia
Para a validação do referido software, decidiu-se utilizar como método de avaliação os
ensaios de interação tendo como base a Norma NBR 9241:11 Para o desenvolvimento dos
ensaios seguiram-se as etapas da estrutura dos ensaios de interação apresentados Cybis
(1999), que são:
Análise preliminar: esta etapa consiste em reconhecer o software e seus atributos
ergonômicos. Fazem parte desta etapa o reconhecimento do software e o pré-dignóstico
ergonômico.
- Definição dos cenários e da amostra de usuários: com base no pré-diagnóstico e nos dados
obtidos no reconhecimento do perfil do usuário e sua tarefa, são criados os cenários, ou seja,
elaborar tarefas a serem executadas pelos usuários.
ENEGEP 2005
ABEPRO
2707
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
- Realização dos ensaios: compreende a obtenção da amostra de usuários, ajustes nos
cenários, planejamento dos ensaios, a sua realização e análise e interpretação dos dados.
5. Apresentação dos resultados
Realizado o ensaio de interação, passou-se a analisar as medidas de usabilidade escolhidas
com base na Norma NBR 9241:11.
A tabela 1 mostra a porcentagem de usuários que completaram a tarefa com sucesso, ou seja,
cujos objetivos foram atingidos em sua totalidade:
Tarefa
Tarefas completadas com sucesso
1
50%
2
10%
3
100%
4
0%
Tabela 1 – Porcentagem de tarefas completadas com sucesso
Com relação à tabela acima, percebe-se que apenas uma tarefa foi completada com
sucesso.Isso implica em 25% do total esperado, que é 100%
A tabela 2 mostra os tempos médios de realização das tarefas executadas pelos usuários e pela
avaliadora. Com base nesta tabela, verifica-se que nenhum usuário completou nenhuma tarefa
nos tempos esperados.
Tarefa
Tempo (avaliadora)
Tempo esperado
Tempo (usuários)
1
1min
1min 30s
2 min
2
1min
1min 30s
10min
3
1min
1min 30s
5min
4
2min
3min
20min
Tabela 2 – Tempos da avaliadora, tempo esperado de execução e tempo de
realização da tarefa pelos usuários
Os dados das tabelas acima indicam que nenhum dos usuários conseguiu concluir as tarefas
nos tempos previstos pela avaliadora. Mais uma vez, o idioma estrangeiro ao qual foi
programado o software foi um dos grandes responsáveis pela demora na execução das tarefas.
Para a análise da satisfação do usuário, foi utilizado o questionário pós-teste que encontra-se
no anexo 1.
O questionário pós-teste, que tem por objetivo coletar informações difíceis de identificar no
momento da realização dos ensaios e possibilitar conhecer o sentimento do usuário em relação
ao produto, teve como resultado o exposto abaixo.
0% 10%
concordo plenamente
concordo em parte
tenho dúvidas
discordo plenamente
50%
40%
Figura 1 – Resposta à questão “a interface do software é agradável?”
ENEGEP 2005
ABEPRO
2708
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
10%
10%
10%
concordo plenamente
concordo em parte
tenho dúvidas
discordo plenamente
70%
Figura 2 – Resposta à questão “a navegação do software é fácil?”
0%
20%
0%
concordo plenamente
concordo em parte
tenho dúvidas
discordo plenamente
80%
Figura 3 – Resposta à questão “os comandos são claros?”
0%
10%
0%
concordo plenamente
concordo em parte
tenho dúvidas
discordo plenamente
90%
Figura 4 – Resposta à questão “não tive dificuldades em realizar tarefas”
0%
concordo plenamente
concordo em parte
50%
50%
tenho dúvidas
discordo plenamente
0%
Figura 5 – Resposta à questão “é fácil usar o software?”
ENEGEP 2005
ABEPRO
2709
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
0%
concordo plenamente
40%
concordo em parte
tenho dúvidas
60%
discordo plenamente
0%
Figura 6 – Resposta à questão “estou satisfeito com o software?”
De acordo com estas figuras, todas as perguntas foram respondidas de modo que se percebe a
insatisfação dos usuários com as porcentagens das alternativas “concordo em parte”, “tenho
dúvidas” e “discordo plenamente” diferente de zero.
A questão 7 do questionário pós-teste pede ao usuário para atribuir uma nota de 0 a 10 ao
software. Abaixo, o gráfico 7 mostra as notas dadas, que estão numa média de 5,6 pontos.
Valor das
notas
atribuídas
8
6
4
2
0
1 2 3 4 5 6 7 8 9 10
Quantidade de notas atribuídas
Gráfico 7: Notas atribuídas pelos usuários
6. Conclusão
De acordo com os resultados obtidos, pode-se agora concluir que:
- Apenas 25% das tarefas foi concluída com sucesso, o que compromete a eficácia do
programa;
- A eficiência do software também ficou comprometida devido aos grandes intervalos de
tempo de realização das tarefas, o que indica que o programa tem problemas quanto à
navegação;
- Quanto à satisfação do usuário, levando-se em consideração o gráfico 6 e as notas atribuídas
ao software mostradas no gráfico 7, pode-se concluir que os usuários não ficaram satisfeitos
com a utilização deste.
Dessa forma, o programa, em geral, não estaria pronto para a comercialização, uma vez que
os testes de usabilidade em conjunto com a norma ISO 9241/11 deram negativos para a
usabilidade.
Com a realização deste trabalho comprovou-se, inicialmente, como a ergonomia, em geral, e
do software, em particular, contribuem para o desenvolvimento de sistemas que garantem a
usabilidade, gerando produtividade e satisfação para o usuário. Isso se deve à igualdade dada
tanto à lógica de utilização quanto à lógica de funcionamento, para isso o usuário deve
participar de todo o processo durante todo o ciclo de vida do software, a fim de se obter um
sistema que permita uma perfeita interação entre o usuário e a máquina, que gere eficiência,
eficácia e satisfação.
ENEGEP 2005
ABEPRO
2710
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
Conclui-se que a participação do usuário é a base para o desenvolvimento e avaliação de um
sistema. Porém, para que sua intervenção tenha valor ainda maior é necessário que ele seja
respeitado, ouvido pela equipe de desenvolvimento e que tenha consciência de que a sua
colaboração é importante, que suas análises e sugestões irão garantir a usabilidade do produto
e que como consumidor e cidadão ele tem direito a produtos com qualidade, eficientes,
eficazes, e que o satisfaçam. Para isso a escola deve proporcionar um ambiente democrático,
de debates, de reflexão crítica sobre conteúdos e a realidade, para garantir a formação de
cidadãos e consumidores, conscientes, autônomos, críticos e exigentes.
Referências
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 9241/11: requisitos ergonômicos para
trabalhos em escritórios com computadores: orientações sobre usabilidade. Rio de Janeiro. 2002.
CYBIS, W. A. Ergonomia de Interfaces Homem-Computador. Apostila para o curso de Pós-Graduação em
Engenharia de Produção - Universidade de Santa Catarina, Florianópolis. (última atualização 05/11/2002)
disponível em: <http://www.labiutil.inf.ufsc.br>. Acesso em 12 fev 2005.
CZAJA, S.J. Systems design and evaluation. In Gavriel Salvendy (edit.), Handbook of human factors and
ergonomics. 2.ed. New York: John Wiley, 1997.p.17-39.
HEEMANN, V. Avaliação ergonômica de interfaces de bases de dados por meio de cheklist especializado.
Florianópolis, 1997. Dissertação (Mestrado em Engenharia de Produção), Universidade Federal de Santa
Catarina. Disponível em <http://www.eps.ufsc.br>. Acesso em 05 mar 2005.
IIDA, I. Ergonomia: projeto e produção. São Paulo: Edgar Blücher, 1998.
MATIAS, Márcio. Checklist: uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis,
1995. Dissertação (Mestrado em Engenharia de Produção) - Departamento de Engenharia de Produção,
Universidade de Santa Catarina.
MORAES, A. Definições. Disponível em: <http://www.venus.rdc.pucrio.br/moraergo/define.htm> . Acesso em
09 mar 2005.
NIELSEN, J. Usability testing. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed.
New York: John Wiley, 1997. p.1543-1568.
WILSON, J.R.; HAINES, H.M. Participatory ergonomics. In Gavriel Salvendy (edit.), Handbook of human
factors and ergonomics. 2.ed. New York: John Wiley, 1997. p.490-513.
Anexo 1: Questionário pós-teste
1. A interface com o software é agradável
( ) Concordo plenamente
( ) Tenho dúvidas
( ) Concordo em parte
( ) Discordo plenamente
2. A navegação do software é fácil
( ) Concordo plenamente
( ) Tenho dúvidas
( ) Concordo em parte
( ) Discordo plenamente
3. Os comandos são claros
( ) Concordo plenamente
( ) Tenho dúvidas
( ) Concordo em parte
( ) Discordo plenamente
4. Não tive dificuldades em realizar alguma(s) tarefa(s)
( ) Concordo plenamente
ENEGEP 2005
( ) Tenho dúvidas
ABEPRO
2711
XXV Encontro Nac. de Eng. de Produção – Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005
( ) Concordo em parte
( ) Discordo plenamente
5. É fácil usar o software
( ) Concordo plenamente
( ) Tenho dúvidas
( ) Concordo em parte
( ) Discordo plenamente
6. Estou satisfeito com o software
( ) Concordo plenamente
( ) Tenho dúvidas
( ) Concordo em parte
( ) Discordo plenamente
7. Informe uma nota de 0 a 10 a respeito do software (utilização, facilidades, utilidades, etc)
ENEGEP 2005
ABEPRO
2712