Avaliação de Interfaces:
Heurística e Teste de
Usabilidade
Avaliação
• Coletar informações sobre um projeto ou produto
em relação a funcionalidade e a interação;
• Estimativa do sucesso ou insucesso das hipóteses
do projetista sobre a solução que está propondo;
• Envolve desde “o que você acha desta idéia”
até avaliações rigorosas (experimentos em
laboratório e questionários em larga escala).
2 - 57
Avaliação
• Obtenção de interfaces com melhor usabilidade;
• Garante melhores decisões de projeto;
• Evita custos de fazer e distribuir correções;
• Vantagens indiscutíveis: modificação do projeto
nas fases iniciais são melhores que nas fases
finais!
3 - 57
Por quê avaliar?
• Conhecer o que os usuários querem e
problemas que experimentam;
• Verificar se idéias estão de acordo com as
necessidades e os desejos dos usuários;
• Responder dúvidas que surgem durante o
projeto e desenvolvimento.
4 - 57
Por quê avaliar?
• Verificar o sistema na situação real de uso;
• Comparar alternativas de design;
• Marketing:
• comparação entre produtos (funcionalidade, aceitação)
• Adequação a normas:
• produtos estão de acordo com padrões específicos
(exemplo ISO)?
5 - 57
O que avaliar?
• Funcionalidade do sistema
• qualidade da adequação aos problemas do
usuário;
• design permite que usuário efetue as tarefas
pretendidas de modo fácil e eficiente;
• Usabilidade da interface
• qualidade da interação usuário/sistema;
• fácil aprender usar o sistema, uso agradável e
eficiente.
6 - 57
O que avaliar?
• Comunicabilidade
• qualidade da comunicação projetista/usuário;
• interface expressa o modelo de interação
previsto pelos projetistas;
• Aprendizado do usuário
• conhecimento do usuário evolui através da
interação.
7 - 57
Quando?
• Deve ocorrer durante o ciclo de vida do sistema:
• resultados utilizados para melhorias gradativas da interface.
• Nas primeiras fases:
• verificar compreensão dos projetistas sobre as necessidades dos
usuários (estudo de um sistema existente);
• testar idéias (possibilidades de layout).
• Nas fases finais:
• identificar dificuldades do usuário;
• melhorar produto.
8 - 57
Tipos de Avaliação
• Formativa
• feita durante o processo de projeto e desenvolvimento;
• permite identificar e consertar um problema de
interação antes que a aplicação seja implementada ou
terminada;
• uso de modelos, protótipos, storyboards.
• Somativa
• avaliar o produto já terminado;
• testar se produto está de acordo com o estilo padrão da
empresa.
9 - 57
Considerações
• Características dos usuários
• experiência, idade, gênero;
• Tipo de atividade a ser realizada
• atividades específicas controladas ou
livres, de acordo com a vontade do
usuário;
10 - 57
Considerações
• Ambiente do estudo
– laboratório, ambiente natural de trabalho (estudo
de campo);
• Natureza do artefato
– projeto gráfico não implementado, protótipo em
desenvolvimento, produto terminado.
11 - 57
Métodos e Técnicas de Avaliação
• Envolvem:
• observação e monitoração das interações
do usuário;
• coleta de opiniões dos usuários;
• experimentos;
• interpretação de interações naturais;
• predição de usabilidade de um produto.
12 - 57
Métodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
• Inspeção de usabilidade
• Teste de usabilidade
• Experimento controlado
• Método interpretativo
13 - 57
Inspeção de Usabilidade
• Conjunto de métodos baseados em se
ter avaliadores inspecionando ou
examinando aspectos de usabilidade de
uma interface;
• Avaliadores:
• especialistas em usabilidade ou em
determinado
padrão
de
interface,
consultores de software, usuários finais.
14 - 57
Inspeção de Usabilidade
• Visa encontrar problemas de usabilidade no
projeto de uma interface e fazer recomendações
para eliminação destes problemas;
• Utiliza a habilidade
avaliadores;
e
a
experiência
de
• Pode ser aplicada em fases iniciais e finais do
projeto e desenvolvimento.
15 - 57
Inspeção de Usabilidade
• Métodos:
• Avaliação Heurística: uso de lista de heurísticas;
• Revisão de Guidelines:
verificação da conformidade com
guidelines;
• Inspeção de Consistência:
consistência dentro de uma família de
interfaces (terminologia, cores, layout, formatos entrada/saída);
• Percurso Cognitivo (predição de uso):
análise do “caminho”
percorrido na execução de uma tarefa (modelagem psicológica);
especialistas revisam o sistema para predizer problemas que usuários
podem encontrar.
16 - 57
Teste de Usabilidade
• Método centrado no usuário;
• Inclui
• Métodos experimentais ou empíricos;
• Métodos observacionais;
• Técnicas de questionamento.
• Necessária existência de uma
implementação real (simulação, protótipo
básico, cenário, implementação completa).
17 - 57
Experimento Controlado
• Envolve a execução de um bem projetado
experimento de laboratório;
• Tem-se uma hipótese a ser testada e variáveis de
interesse devem ser controladas;
• Uso de métodos estatísticos: necessário
conhecimento estatístico para validação dos
resultados.
18 - 57
Experimento Controlado
• Controle de variáveis em interações complexas
envolvendo humanos pode ser difícil e de validade
questionável;
• São feitos em laboratórios especialmente construídos;
• Coleta de dados
monitoramento;
através
de
observação
e
• Avaliação rigorosa e dados coletados analisados
quantitativamente, de modo a produzir métricas que
guiem o projeto.
19 - 57
Experimento Controlado
• No planejamento, observar:
• propósito do experimento;
• o que se mantém constante, o que é
alterado;
• hipótese (estabelecida de forma a ser
testada);
• quais testes estatísticos e por que?
20 - 57
Experimento Controlado
• Exemplo:
- avaliação da eficiência relativa dos usuários
utilizando teclas de função ou menus num
sistema de controle de processos estabelecida
em termos dos elementos comparados,
constantes (experiência dos usuários e tarefa de
controle) e medidas de performance (velocidade
na execução dos comandos ou percentual de
erros).
21 - 57
Experimento Controlado
• Exemplo
• Hipótese possível
- Teclas de função são mais eficientes (produzem
execução mais rápida dos comandos);
• Grupos usarão duas interfaces;
• Significância estatística entre as diferenças serão
determinadas.
22 - 57
Método Interpretativo
• Objetiva proporcionar ao projetista um
melhor entendimento
• das condições naturais de trabalho do
usuário;
• de como o uso do sistema se integra as
outras atividades do usuário.
23 - 57
Método Interpretativo
• Coleção de dados é informal
• deve causar pouca interferência ao trabalho do
usuário;
• participação do usuário na coleta, análise e
interpretação dos dados;
• formas de registro como vídeos e áudio podem
ser adotadas.
• Incluem avaliação participativa e etnográfica
(pesquisadores inseridos no contexto de trabalho).
24 - 57
Qual método utilizar?
• Fatores determinantes:
• o que se deseja avaliar;
• etapa do desenvolvimento;
• disponibilidade de especialistas;
• ambiente e recursos necessários;
• tempo disponíveis para avaliação.
• Técnica ideal: misturar
e adaptar
métodos.
25 - 57
Métodos e Técnicas de Avaliação
• Técnicas representativas:
• Avaliação Heurística
• Teste de Usabilidade
26 - 57
Avaliação Heurística
• Engenharia Econômica de Usabilidade proposta
por Nielsen (1989,1993);
• Envolve pequeno conjunto de avaliadores,
examinando a interface e julgando suas
características em face de reconhecidos
princípios de usabilidade (heurísticas).
27 - 57
Avaliação Heurística
• Heurística: regra geral que descreve
uma
propriedade
comum
em
interfaces usáveis;
• Avaliadores, por experiência, estudam
e observam a interface;
• Não deve ser feita por um único
avaliador (3-5).
28 - 57
Avaliação Heurística
• Metodologia:
• feita, em primeiro momento, individualmente;
• avaliadores percorrem a interface e relatam
problemas encontrados, junto as heurísticas
violadas;
• posteriormente, as listas de problemas dos
avaliadores são consolidadas;
• discussão final: equipe de desenvolvimento e
sugestões de re-design.
29 - 57
Avaliação Heurística
• Avaliadores não estarão usando o sistema de fato:
interfaces não implementadas;
• Resultado: lista de problemas de usabilidade da
interface com referências aos princípios de usabilidade
violados;
• Uso de heurísticas específicas: derivadas da
análise de produtos similares e de resultados de
uso (Ex.: formulários).
30 - 57
Algumas Heurísticas (Nielsen, 1990/93)
•
•
•
•
•
•
•
•
•
•
Diálogo simples e natural;
Falar na linguagem do usuário;
Minimizar a carga de memória do usuário;
Ser consistente;
Prover feedback;
Saídas claras marcadas;
Prover shortcuts;
Mensagens de erro construtivas e precisas;
Prevenir erros;
Help e documentação.
31 - 57
Avaliação Heurística
32 - 57
(Rocha e Baranauskas, 2000, pág. 177)
Avaliação Heurística
• Diagnóstico de um problema associado as
heurísticas: possibilidades concretas de redesign;
• Pode ser usada para avaliar a gravidade de
cada problema: atribuição de graus de
severidade;
• Método básico da engenharia da
usabilidade, relativamente fácil de ser
usado e aprendido.
33 - 57
Teste de Usabilidade
• Observação da interação de usuários no mundo
real ou sob condições controladas;
• Avaliadores coletam dados e verificam se a
interface suporta as tarefas do usuário;
• Importância do teste: impossibilidade do
projetista em prever o comportamento dos
usuários diante da interface;
• Ferramentas de registro: áudio, vídeo, software
para registro da interação, outras;
• Importante coleta da opinião do usuário.
34 - 57
Teste de Usabilidade
• Resultados práticos: testes têm acelerado
desenvolvimento e produzido redução de custos;
• Vantagens (Matias, 1995):
•
•
•
•
indicar reações dos usuários potenciais;
mostrar os problemas e falhas no sistema;
mostrar onde o sistema funciona bem;
fornecer idéias ao projeto através das sugestões dos
usuários;
• fornecer meios para comparar múltiplos usuários;
• promover a participação do usuário.
35 - 57
Teste de Usabilidade
• Observação dos usuários:
• direta
• usuários podem ser observados diretamente
em seu local de trabalho;
• observador
toma
nota
sobre
o
comportamento do usuário, como seqüência
de ações (escolher o que é importante ser
anotado);
• usuários podem alterar comportamento pelo
fato de estarem sendo observados;
36 - 57
Teste de Usabilidade
• Observação dos usuários:
• direta
• técnicas de anotação de dados podem ser
utilizadas ou desenvolvidas, do tipo
checklist;
• para registro permanente, vídeo, áudio ou
logging de interação é necessário.
37 - 57
Teste de Usabilidade
• Observação dos usuários:
• indireta
• software logging:
• coleta é automática e não interfere no
trabalho do usuário;
• ferramentas
disponíveis
para
software logging;
• tempo de digitação: grava seqüência
e os intervalos de tempo.
38 - 57
Teste de Usabilidade
• Observação dos usuários:
• indireta
• vídeo:
• uso de diferentes câmeras;
• usuários têm noção de que estão sendo
filmados;
• reduzir impacto da presença da câmera:
coloca-la dias antes do início das
filmagens;
• análise é difícil e consome tempo;
• podem ser usados para convencer gerentes
e projetistas dos problemas no sistema.
39 - 57
Teste de Usabilidade
• Coleta da opinião dos usuários:
• além da performance é importante saber o que
ele pensa sobre o uso que faz da tecnologia;
• impressão dos usuários sobre o software;
• performance pode ser boa, mas usuário não
gostar do sistema;
• detalhes para os projetistas podem ser
desagradáveis ao usuário.
40 - 57
Teste de Usabilidade
• Coleta da opinião dos usuários:
• protocolo verbal: usuários “pensam em voz alta”;
• usuários podem ver vídeos e comentar sobre suas
ações;
• dois usuários podem testar uma interface e
comentar;
• entrevistas e questionários podem ser utilizados.
41 - 57
Teste de Usabilidade
• Entrevistas e questionários:
• dados de entrevistas: qualitativos;
• dados de questionários: quantitativos;
• questionários podem ser aplicados a um grande
número de pessoas, possibilitando a obtenção de
resultados estatisticamente validados;
• questionário deve ser planejado de forma a
garantir que perguntas sejam relevantes às
questões analisadas.
42 - 57
Teste de Usabilidade
• Entrevistas e questionários:
• entrevistas flexíveis podem ser moldadas se
acordo com a reação dos entrevistados (uso de
um plano básico);
• entrevistado deve se sentir seguro e a vontade:
podem ter vergonha de criticar o sistema;
• entrevistador responsável por criar um clima
agradável de conversação.
43 - 57
Teste de Usabilidade
• Entrevistas e questionários:
• questionários podem conter respostas fechadas
ou abertas;
• fechadas
• checklists (sim, não, não sei);
• escalas (muito útil ... Inútil; concordo plenamente ...
discordo plenamente);
• questionários devem ser breves;
• estudos pilotos: antes de distribuir um
questionário para 500 pessoas, distribuir um
rascunho para 20.
44 - 57
Teste de Usabilidade
• Testes realizados em laboratório;
• Problemas:
• limitações de tempo e de recursos;
• dificuldade em conseguir usuários representativos;
• contexto do trabalho dificilmente consegue
reproduzido;
ser
• Saídas:
• testes remotos (tele-conferência);
• testes de campo: ambientes reais de uso (resposta do
usuário, logs, comandos usados, freqüência de acesso ao
help).
45 - 57
Teste de Usabilidade
• Plano detalhado de teste: objetivo, quando e onde,
duração, recursos necessários,
usuários, tarefas a serem avaliadas;
experimentadores,
• Etapas:
• Preparação dos recursos;
• Apresentação usuários as tarefas de teste;
• Teste (evitar auxiliar o usuário);
• Sessão final: usuários convidados a comentar,
sugerir e comentar ou responder questionário;
46 - 57
Teste de Usabilidade
• Usuários:
• Representativos em relação aos usuários aos reais:
• se não forem usuário reais: características similares
(idade, conhecimento, experiência com sistema,
outras);
• evitar influências:
• Ex.: determinar um conjunto de ícones que é mais
rapidamente reconhecido por crianças entre 7 e 10 anos
• selecionar crianças que cubram todas as idades;
• número igual de meninos e meninas;
• mesmo nível de experiência;
• notas escolares semelhantes.
47 - 57
Teste de Usabilidade
• Equipe experimentadores:
- conhecimento da aplicação e interface;
- saber lidar com problemas que afetem o
teste;
- isenção na avaliação.
48 - 57
Teste de Usabilidade
• Comentar com usuário:
• importância do teste: melhorias na interface;
• sistema é confidencial e resultados não serão
colocados publicamente;
• participação é voluntária (usuários tem outras
coisas para fazer);
• explicar gravações de vídeo ou áudio;
• informa-los dos objetivos do teste, tarefas a
serem realizadas e que podem ser livres para
abandonar o teste se assim desejarem.
49 - 57
Comparativo
• Testes de laboratório são caros;
• Abordagem heurística proposta para oferecer
informação de usabilidade de modo mais rápido e
barato
• não substituem os testes: uso em conjunto;
• Avaliação heurística melhor quando aplicada por
especialistas em avaliação;
• permite avaliação global da interface, menor custo,
detecção de erros;
50 - 57
Comparativo
• Testes são mais eficazes, mas caros (50x);
• Avaliação heurística detectou mais problemas
ao custo mais baixo, mas necessita de
pessoas com conhecimento e experiência
para aplica-la (Jeffries);
• Não se pode afirmar qual o melhor método:
cada situação de projeto irá requerer uma
forma de avaliação.
51 - 57
ISO 9241
• http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf