Avaliação de Interfaces:
Heurística e Teste de Usabilidade
Unisinos – Centro 6
Projeto de Interfaces – 2003/02
Profª: Renata Vieira
Comentado por: Cássia T. dos Santos
Roteiro
• Parte I
– Considerações Iniciais
– Classificação dos Métodos de Avaliação
• Parte II
– Avaliação Heurística
– Teste de Usabilidade
– Comparativo
• Referências Bibliográficas
2 - 57
Avaliação
• Coletar informações sobre um projeto ou produto
em relação a funcionalidade e a interação;
• Estimativa do sucesso ou insucesso das hipóteses
do projetista sobre a solução que está propondo;
• Envolve desde “o que você acha desta idéia” até
avaliações rigorosas (experimentos em laboratório
e questionários em larga escala).
3 - 57
Avaliação
• Obtenção de interfaces com melhor usabilidade;
• Garante melhores decisões de projeto;
• Evita custos de fazer e distribuir correções;
• Vantagens indiscutíveis: modificação do projeto
nas fases iniciais são melhores que nas fases
finais!
4 - 57
Por quê avaliar?
• Conhecer o que os usuários querem e problemas
que experimentam;
• Verificar se idéias estão de acordo com as
necessidades e os desejos dos usuários;
• Responder dúvidas que surgem durante o projeto e
desenvolvimento.
5 - 57
Por quê avaliar?
• Verificar o sistema na situação real de uso;
• Comparar alternativas de design;
• Marketing:
– comparação entre produtos (funcionalidade, aceitação)
• Adequação a normas:
– produtos estão de acordo com padrões específicos
(exemplo ISO)?
6 - 57
O que avaliar?
• Funcionalidade do sistema
– qualidade da adequação aos problemas do usuário;
– design permite que usuário efetue as tarefas pretendidas
de modo fácil e eficiente;
• Usabilidade da interface
– qualidade da interação usuário/sistema;
– fácil aprender usar o sistema, uso agradável e eficiente.
7 - 57
O que avaliar?
• Comunicabilidade
– qualidade da comunicação projetista/usuário;
– interface expressa o modelo de interação previsto pelos
projetistas;
• Aprendizado do usuário
– conhecimento do usuário evolui através da interação.
8 - 57
Quando?
• Deve ocorrer durante o ciclo de vida do sistema:
– resultados utilizados para melhorias gradativas da interface.
• Nas primeiras fases:
– verificar compreensão dos projetistas sobre as necessidades dos
usuários (estudo de um sistema existente);
– testar idéias (possibilidades de layout).
• Nas fases finais:
– identificar dificuldades do usuário;
– melhorar produto.
9 - 57
Tipos de Avaliação
• Formativa
– feita durante o processo de projeto e desenvolvimento;
– permite identificar e consertar um problema de interação antes que
a aplicação seja implementada ou terminada;
– uso de modelos, protótipos, storyboards.
• Somativa
– avaliar o produto já terminado;
– testar se produto está de acordo com o estilo padrão da empresa.
10 - 57
Considerações
• Características dos usuários
– experiência, idade, gênero;
• Tipo de atividade a ser realizada
– atividades específicas controladas ou livres, de acordo
com a vontade do usuário;
11 - 57
Considerações
• Ambiente do estudo
– laboratório, ambiente natural de trabalho (estudo de
campo);
• Natureza do artefato
– projeto gráfico não implementado, protótipo em
desenvolvimento, produto terminado.
12 - 57
Métodos e Técnicas de Avaliação
• Envolvem:
– observação e monitoração das interações do
usuário;
– coleta de opiniões dos usuários;
– experimentos;
– interpretação de interações naturais;
– predição de usabilidade de um produto.
13 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
14 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
15 - 57
Inspeção de Usabilidade
• Conjunto de métodos baseados em se ter
avaliadores inspecionando ou examinando
aspectos de usabilidade de uma interface;
• Avaliadores:
– especialistas em usabilidade ou em determinado padrão
de interface, consultores de software, usuários finais.
16 - 57
Inspeção de Usabilidade
• Visa encontrar problemas de usabilidade no
projeto de uma interface e fazer recomendações
para eliminação destes problemas;
• Utiliza a habilidade e a experiência de avaliadores;
• Pode ser aplicada em fases iniciais e finais do
projeto e desenvolvimento.
17 - 57
Inspeção de Usabilidade
• Métodos:
– Avaliação Heurística: uso de lista de heurísticas;
– Revisão de Guidelines:
verificação da conformidade com
guidelines;
– Inspeção de Consistência:
consistência dentro de uma família de
interfaces (terminologia, cores, layout, formatos entrada/saída);
– Percurso Cognitivo (predição de uso):
análise do “caminho”
percorrido na execução de uma tarefa (modelagem psicológica);
especialistas revisam o sistema para predizer problemas que usuários
podem encontrar.
18 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
19 - 57
Teste de Usabilidade
• Método centrado no usuário;
• Inclui
– Métodos experimentais ou empíricos;
– Métodos observacionais;
– Técnicas de questionamento.
• Necessária existência de uma implementação real
(simulação, protótipo básico, cenário, implementação completa).
20 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
21 - 57
Experimento Controlado
• Envolve a execução de um bem projetado
experimento de laboratório;
• Tem-se uma hipótese a ser testada e variáveis de
interesse devem ser controladas;
• Uso de métodos estatísticos: necessário
conhecimento estatístico para validação dos
resultados.
22 - 57
Experimento Controlado
• Controle de variáveis em interações complexas
envolvendo humanos pode ser difícil e de validade
questionável;
• São feitos em laboratórios especialmente construídos;
• Coleta de dados através de observação e monitoramento;
• Avaliação rigorosa e dados coletados analisados
quantitativamente, de modo a produzir métricas que
guiem o projeto.
23 - 57
Experimento Controlado
• No planejamento, observar:
–
–
–
–
propósito do experimento;
o que se mantém constante, o que é alterado;
hipótese (estabelecida de forma a ser testada);
quais testes estatísticos e por que?
24 - 57
Experimento Controlado
• Exemplo:
- avaliação da eficiência relativa dos usuários
utilizando teclas de função ou menus num sistema de
controle de processos estabelecida em termos dos
elementos comparados, constantes (experiência dos
usuários e tarefa de controle) e medidas de
performance (velocidade na execução dos comandos
ou percentual de erros).
25 - 57
Experimento Controlado
• Exemplo
• Hipótese possível
- Teclas de função são mais eficientes (produzem execução mais
rápida dos comandos);
• Grupos usarão duas interfaces;
• Significância estatística entre as diferenças serão
determinadas.
26 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranauskas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
27 - 57
Método Interpretativo
• Objetiva proporcionar ao projetista um
melhor entendimento
– das condições naturais de trabalho do usuário;
– de como o uso do sistema se integra as outras
atividades do usuário.
28 - 57
Método Interpretativo
• Coleção de dados é informal
– deve causar pouca interferência ao trabalho do usuário;
– participação do usuário na coleta, análise e
interpretação dos dados;
– formas de registro como vídeos e áudio podem ser
adotadas.
• Incluem
avaliação
participativa
e
etnográfica
(pesquisadores inseridos no contexto de trabalho).
29 - 57
Qual método utilizar?
• Fatores determinantes:
–
–
–
–
–
o que se deseja avaliar;
etapa do desenvolvimento;
disponibilidade de especialistas;
ambiente e recursos necessários;
tempo disponíveis para avaliação.
• Técnica ideal: misturar e adaptar métodos.
30 - 57
Métodos e Técnicas de Avaliação
• Técnicas representativas:
– Avaliação Heurística
– Teste de Usabilidade
31 - 57
Avaliação Heurística
• Engenharia Econômica de Usabilidade
proposta por Nielsen (1989,1993);
• Envolve pequeno conjunto de avaliadores,
examinando a interface e julgando suas
características em face de reconhecidos
princípios de usabilidade (heurísticas).
32 - 57
Avaliação Heurística
• Heurística: regra geral que descreve
propriedade comum em interfaces usáveis;
uma
• Avaliadores, por experiência, estudam e observam
a interface;
• Não deve ser feita por um único avaliador (3-5).
33 - 57
Avaliação Heurística
• Metodologia:
– feita, em primeiro momento, individualmente;
– avaliadores percorrem a interface e relatam
problemas encontrados, junto as heurísticas violadas;
– posteriormente, as listas de problemas dos
avaliadores são consolidadas;
– discussão final: equipe de desenvolvimento e
sugestões de re-design.
34 - 57
Avaliação Heurística
• Avaliadores não estarão usando o sistema de fato:
interfaces não implementadas;
• Resultado: lista de problemas de usabilidade da interface
com referências aos princípios de usabilidade violados;
• Uso de heurísticas específicas: derivadas da
análise de produtos similares e de resultados de
uso (Ex.: formulários).
35 - 57
Algumas Heurísticas (Nielsen, 1990/93)
•
•
•
•
•
•
•
•
•
•
Diálogo simples e natural;
Falar na linguagem do usuário;
Minimizar a carga de memória do usuário;
Ser consistente;
Prover feedback;
Saídas claras marcadas;
Prover shortcuts;
Mensagens de erro construtivas e precisas;
Prevenir erros;
Help e documentação.
36 - 57
Avaliação Heurística
(Rocha e Baranauskas, 2000, pág. 177)
37 - 57
Avaliação Heurística
• Diagnóstico de um problema associado as heurísticas:
possibilidades concretas de re-design;
• Pode ser usada para avaliar a gravidade de cada
problema: atribuição de graus de severidade;
• Método básico da engenharia da usabilidade,
relativamente fácil de ser usado e aprendido.
38 - 57
Teste de Usabilidade
• Observação da interação de usuários no mundo real ou sob
condições controladas;
• Avaliadores coletam dados e verificam se a interface
suporta as tarefas do usuário;
• Importância do teste: impossibilidade do projetista em
prever o comportamento dos usuários diante da interface;
• Ferramentas de registro: áudio, vídeo, software para
registro da interação, outras;
• Importante coleta da opinião do usuário.
39 - 57
Teste de Usabilidade
• Resultados práticos: testes têm acelerado desenvolvimento
e produzido redução de custos;
• Vantagens (Matias, 1995):
–
–
–
–
–
–
indicar reações dos usuários potenciais;
mostrar os problemas e falhas no sistema;
mostrar onde o sistema funciona bem;
fornecer idéias ao projeto através das sugestões dos usuários;
fornecer meios para comparar múltiplos usuários;
promover a participação do usuário.
40 - 57
Teste de Usabilidade
• Observação dos usuários:
– direta
• usuários podem ser observados diretamente em seu
local de trabalho;
• observador toma nota sobre o comportamento do
usuário, como seqüência de ações (escolher o que é
importante ser anotado);
• usuários podem alterar comportamento pelo fato de
estarem sendo observados;
41 - 57
Teste de Usabilidade
• Observação dos usuários:
– direta
• técnicas de anotação de dados podem ser utilizadas
ou desenvolvidas, do tipo checklist;
• para registro permanente, vídeo, áudio ou logging de
interação é necessário.
42 - 57
Teste de Usabilidade
• Observação dos usuários:
– indireta
• software logging:
– coleta é automática e não interfere no trabalho
do usuário;
– ferramentas disponíveis para software logging;
– tempo de digitação: grava seqüência e os
intervalos de tempo.
43 - 57
Teste de Usabilidade
• Observação dos usuários:
– indireta
• vídeo:
– uso de diferentes câmeras;
– usuários têm noção de que estão sendo filmados;
– reduzir impacto da presença da câmera: coloca-la
dias antes do início das filmagens;
– análise é difícil e consome tempo;
– podem ser usados para convencer gerentes e
projetistas dos problemas no sistema.
44 - 57
Teste de Usabilidade
• Coleta da opinião dos usuários:
– além da performance é importante saber o que ele pensa
sobre o uso que faz da tecnologia;
– impressão dos usuários sobre o software;
– performance pode ser boa, mas usuário não gostar do
sistema;
– detalhes para os projetistas podem ser desagradáveis ao
usuário.
45 - 57
Teste de Usabilidade
• Coleta da opinião dos usuários:
– protocolo verbal: usuários “pensam em voz alta”;
– usuários podem ver vídeos e comentar sobre suas
ações;
– dois usuários podem testar uma interface e comentar;
– entrevistas e questionários podem ser utilizados.
46 - 57
Teste de Usabilidade
• Entrevistas e questionários:
– dados de entrevistas: qualitativos;
– dados de questionários: quantitativos;
– questionários podem ser aplicados a um grande número
de pessoas, possibilitando a obtenção de resultados
estatisticamente validados;
– questionário deve ser planejado de forma a garantir que
perguntas sejam relevantes às questões analisadas.
47 - 57
Teste de Usabilidade
• Entrevistas e questionários:
– entrevistas flexíveis podem ser moldadas se acordo com
a reação dos entrevistados (uso de um plano básico);
– entrevistado deve se sentir seguro e a vontade: podem
ter vergonha de criticar o sistema;
– entrevistador responsável por criar um clima agradável
de conversação.
48 - 57
Teste de Usabilidade
• Entrevistas e questionários:
– questionários podem conter respostas fechadas ou
abertas;
– fechadas
• checklists (sim, não, não sei);
• escalas (muito útil ... Inútil; concordo plenamente ... discordo
plenamente);
– questionários devem ser breves;
– estudos pilotos: antes de distribuir um questionário para
500 pessoas, distribuir um rascunho para 20.
49 - 57
Teste de Usabilidade
• Testes realizados em laboratório;
• Problemas:
– limitações de tempo e de recursos;
– dificuldade em conseguir usuários representativos;
– contexto do trabalho dificilmente consegue ser reproduzido;
• Saídas:
– testes remotos (tele-conferência);
– testes de campo: ambientes reais de uso (resposta do usuário, logs,
comandos usados, freqüência de acesso ao help).
50 - 57
Teste de Usabilidade
• Plano detalhado de teste: objetivo, quando e onde, duração,
recursos necessários, experimentadores, usuários, tarefas a
serem avaliadas;
• Etapas:
– Preparação dos recursos;
– Apresentação usuários as tarefas de teste;
– Teste (evitar auxiliar o usuário);
– Sessão final: usuários convidados a comentar, sugerir e
comentar ou responder questionário;
51 - 57
Teste de Usabilidade
• Usuários:
– Representativos em relação aos usuários aos reais:
• se não forem usuário reais: características similares (idade,
conhecimento, experiência com sistema, outras);
• evitar influências:
– Ex.: determinar um conjunto de ícones que é mais rapidamente
reconhecido por crianças entre 7 e 10 anos
» selecionar crianças que cubram todas as idades;
» número igual de meninos e meninas;
» mesmo nível de experiência;
» notas escolares semelhantes.
52 - 57
Teste de Usabilidade
• Equipe experimentadores:
- conhecimento da aplicação e interface;
- saber lidar com problemas que afetem o teste;
- isenção na avaliação.
53 - 57
Teste de Usabilidade
• Comentar com usuário:
– importância do teste: melhorias na interface;
– sistema é confidencial e resultados não serão colocados
publicamente;
– participação é voluntária (usuários tem outras coisas
para fazer);
– explicar gravações de vídeo ou áudio;
– informa-los dos objetivos do teste, tarefas a serem
realizadas e que podem ser livres para abandonar o teste
se assim desejarem.
54 - 57
Comparativo
• Testes de laboratório são caros;
• Abordagem heurística proposta para oferecer informação
de usabilidade de modo mais rápido e barato
– não substituem os testes: uso em conjunto;
• Avaliação heurística melhor
especialistas em avaliação;
quando
aplicada
por
– permite avaliação global da interface, menor custo, detecção de
erros;
55 - 57
Comparativo
• Testes são mais eficazes, mas caros (50x);
• Avaliação heurística detectou mais problemas ao custo
mais baixo, mas necessita de pessoas com conhecimento
e experiência para aplica-la (Jeffries);
• Não se pode afirmar qual o melhor método: cada
situação de projeto irá requerer uma forma de avaliação.
56 - 57
Referências
• Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de
interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola
de Computação, 2000), 242 p.
• Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação
ergonômica de interfaces. Florianópolis, 1995 (dissertação de
mestrado).
• Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto
de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In:
XIX Congresso Nacional da Sociedade Brasileira de Computação,
1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade
Brasileira de Computação;
• Material disponibilizado pela Profª Renata Vieira.
57 - 57