Autarquia Educacional do Vale do São Francisco – AEVSF
Faculdade de Ciências Aplicadas e Sociais de Petrolina - FACAPE
Curso de Ciência da Computação
Técnicas para Avaliação de
Interfaces
Profa. Cynara Carvalho
[email protected]
Técnicas de avaliação
• Existem diversas técnicas de avaliação e que
podem ser classificadas de várias maneiras.
Vamos examinar as seguintes:
–
–
–
–
–
Observação de usuários
Opinião de usuários
Opinião de especialistas
Teste de desempenho dos usuários
Modelagem do desempenho das tarefas dos
usuários, para prever a eficácia de uma
interface.
Interação Humano Computador
1 - Observação dos usuários
Envolve ver e ouvir os usuários.
Observá-los interagindo com
softwares, mesmo que
casualmente, pode dizer muita
coisa sobre o que fazem, o
contexto em que estão, como a
tecnologia os apóia e outros
suportes.
Usuários podem ser observados
em condições controladas de
laboratório (testes de
usabilidade) ou em ambientes
naturais (estudos de campo).
Metas, questões e paradigmas
 Metas e questões proporcionam o foco da observação,
por exemplo identificar ou confirmar os objetivos da
usabilidade.
 Independente do paradigma adotado, deve-se buscar um
equilíbrio entre o guiado pelas metas e estar aberto a
modificar, moldar e redirecionar o estudo, conforme se
aumenta a experiência.
 Observar é algo útil em qualquer momento do
desenvolvimento.
Como observar
 Ferramentas básicas de coletas de dados (observação direta, anotações, vídeos etc).
 Em laboratório, a ênfase está nos detalhes do que os usuários fazem.
 No campo, o contexto é importante e o foco está em como as pessoas interagem
umas com as outras, com a tecnologia e com o seu ambiente.
 Em ambientes controlados, testes com os equipamentos e sistemas de coleta
devem ser feitos antecipadamente, para que tudo ocorra sem transtornos.
 Em campo, os eventos da observação podem ser complexos e mudarem
rapidamente.
 Os avaliadores devem contar com um framework para melhor guiá-los, mantendo
as metas e questões.
 Esses frameworks são úteis também para organizar a observação e a coleta de
dados. (Exemplos na pag 388 – Livro Design de Interação)
Como observar
 Técnica de “pensar em voz alta” (Erikson e Simon, 1985) – As pessoas devem
dizer alto o que estão pensando e tentando fazer, de modo a exteriorizar seus
processos de raciocínio.
 Um silêncio momentâneo pode indicar que o mesmo cometeu um erro ou está com
uma dúvida relevante.
 A etnografia é uma metodologia que utiliza técnicas que inclui observação
participativa e entrevistas. Há uma imersão na cultura de quem se está
observando.
 Uma combinação de registros em vídeo, áudio, papel, logs de interação e diários
pode ser usada para coletar os dados das observações.
 Analisar logs de vídeo e dados pode ser difícil, em razão do grande volume de
dados. É importante ter as questões claramente especificadas, a fim de orientar
o processo e também acessar as ferramentas apropriadas.
 Os avaliadores marcam os eventos em tempo real e os analisam com detalhes
posteriormente.
2 – Perguntando a usuários e
especialistas
 As





entrevistas e questionários constituem técnicas bem
estabelecidas de pesquisas;
Podem ser utilizadas em avaliações “rápidas e sujas”, testes de
usabilidade e estudos de campo;
Podem ser estruturadas (como o estudo de caso HuchWord) ou
mais flexíveis (discussão);(pag. 344 – Livro Design e Interação)
Os questionários destinam-se mais a coletar resposta a questões
específicas, obtendo mais dados quantitativos;
As entrevista são usadas para explorar questões, obtendo mais dados
qualitativos que quantitativos.
As formas e detalhes destes processos são os mesmos para a coleta
de requisitos .
Analisando dados
 Identificar tendências ou padrões nas respostas. Uma planilha pode




ser útil;
Em geral, são necessárias somente simples estatísticas, como o
número ou percentual de respostas por categoria;
Se o número de participantes é pequeno, deve-se fornecer valores
reais. Para maiores quantidades, recomenda-se usar porcentagem;
Gráficos podem ser usados para visualizações mais significativas.
Ferramentas para questionários
Analisando dados
 O Google (sempre eles) já incorporou uma ferramenta útil de
questionários ao Docs.
 https://docs.google.com/support/bin/answer.py?answer=141062
Avaliação Heurística (Nielsen,
1994)
 Heurística: baseada em conhecimentos ou definições prévias.





Uma regra geral que descreve uma propriedade comum em
interfaces usáveis;
Envolve pequeno conjunto de avaliadores, examinando a interface
e julgando suas características em face de reconhecidos princípios
de usabilidade (heurísticas);
Avaliadores, por experiência, estudam e observam a interface;
Não deve ser feita por um único avaliador;
Avaliadores não estarão usando o sistema de fato: interfaces não
implementadas;
Resultado: lista de problemas de usabilidade da interface com
referências aos princípios de usabilidade violados.
Avaliação Heurística (Nielsen,
1994)
• Metodologia:
– Sessão inicial: onde se diz aos especialistas o que
fazer, através de um roteiro prévio;
– Período de avaliação: onde os especialistas percorrem
a interface usando as heurísticas como guia e relatam
problemas encontrados. Eles devem checar as
interfaces pelo menos duas vezes;
– Posteriormente, as listas de problemas dos
avaliadores são consolidadas;
– Discussão
final
e
resultados:
equipe
de
desenvolvimento e sugestões de re-design.
Questões focadas na avaliação
heurística:
1. Visibilidade do status do sistema
• Refere-se ao fato do sistema manter os usuários informados sobre o
que eles estão fazendo, com feedback imediato.
2. Compatibilidade entre o sistema e o mundo real
• O sistema deve utilizar a linguagem do usuário, com palavras, frases
e conceitos familiares a ele, fazendo as informações aparecerem em
ordem lógica e natural, de acordo com as convenções do mundo
real
3. Liberdade e controle do usuário
• Estão relacionados à situação em que os usuários escolhem as
funções do sistema por engano e então necessitam de “uma saída
de emergência” clara para sair do estado não desejado sem ter de
percorrer um longo diálogo, ou seja, é necessário suporte a undo e
redo.
Questões focadas na avaliação
heurística:
4.
Consistência e padrões
•
•
5.
Referem-se ao fato de que os usuários não deveriam ter acesso à
diferentes situações, palavras ou ações representando a mesma
coisa. A interface deve ter convenções não ambíguas.
A mesma operação deve ser apresentada na mesma localização e
deve ser formatada/apresentada da mesma maneira para
facilitar o reconhecimento.
Prevenção contra erros
•
6.
O erros são as principais fontes de frustração, ineficiência e
ineficácia durante a utilização do sistema.
Reconhecimento em lugar de lembrança
•
Diz respeito à característica da interface de ter objetos, ações e
opções visíveis e coerentes, para que os usuários não tenham
que lembrar as informações entre os diálogos, ou seja, as
instruções de uso do sistema devem ser visíveis ou facilmente
recuperadas sempre que necessário.
Questões focadas na avaliação
heurística:
7.
Flexibilidade e eficiência de uso (atalhos)
•
•
8.
Para usuários experientes executarem as operações mais
rapidamente: abreviações, teclas de função, duplo clique no mouse,
função de volta em sistemas hipertexto.
Atalhos também servem para recuperar informações que estão
numa profundidade na árvore navegacional a partir da interface
principal.
Projeto minimalista e estético
•
9.
Os diálogos não devem conter informações que são irrelevantes ou
raramente necessárias. Cada nova informação em um diálogo
compete com as informações relevantes, diminuindo sua relativa
visibilidade.
Auxiliar os usuários a reconhecer, diagnosticar e
recuperar-se de erros
•
As mensagens devem ser expressas em linguagem simples (sem
códigos), indicando o problema e sugerindo uma solução. Não
devem culpar nem intimidar o usuário.
Questões focadas na avaliação
heurística:
10. Ajuda e documentação
•
Por melhor que seja a interface, pode ser necessário fornecer ajuda
e documentação. Qualquer informação deveria ser fácil de achar, e
estar focalizada nas tarefas do usuário. Também deve estar
disponível uma lista das etapas concretas a serem realizadas
(informações breves).
Relação Nº Avaliadores e Problemas de Usabilidade Encontrados
3 – Testando e modelando
usuários
 Testes de usabilidade constituem um aspecto
fundamental do design da interação.
 Obter dados objetivos do desempenho dos usuários, para
medir quanto um produto é usável no que diz respeito às
metas de usabilidade.
 Baseiam-se na combinação de técnicas que incluem
observação, entrevistas, questionários e testes com
usuários.
 A modelagem é realizada para predizer a usabilidade,
descrevendo o comportamento do usuário frente às
interfaces.
Testando usuários
 Nos testes com usuários, mede-se o tempo em que usuários levam
para realizar tarefas e o número e tipos de erros que cometem.
 Tipicamente, envolvem-se de 5 a 12 usuários nos testes.
 Exemplo de um teste: Medline Plus (pg. 454)
 Roteiro:








Explicações iniciais e agradecimentos pela participação;
Tempo para exploração inicial;
Execução de tarefas, por ordem de dificuldades;
Observação dos usuários;
Aplicação de questionários;
Coleta de dados
Análise dos dados;
Conclusões e relatos das descobertas.
Testando usuários
 Deve-se assegurar as mesmas condições para todos os
participantes.
 O teste é mais adequado para examinar protótipos ou
sistemas funcionando.
 Algumas medidas quantitativas (pg 462):







Tempo para completar uma tarefa;
Número e tipos de erros por tarefa;
Número de erros por unidade de tempo;
Número de consultas à ajuda on-line ou manuais;
Número de usuários que completa a tarefa;
Número de usuários que cometem determinado erro;
Níveis mínimo, atual e desejável de desempenho.
Modelos Preditivos
O Porquê da Avaliação Preditiva
 Nenhuma empresa constrói um avião sem primeiro fazer uma
análise de Engenharia para prever o seu desempenho.
 O custo de construção e o risco de falhar são muito elevados
 Do mesmo modo, o custo de construir uma interface e testá-
la com vários utilizadores até descobrir todos os problemas é
inaceitável.
Modelos Preditivos
 Permitem que se obtenham medidas de desempenho dos usuários




sem ter que realmente testá-los.
Útil em situações que é difícil a realização de testes com eles.
Estimativas sobre como diferentes sistemas irão funcionar nos vários
tipos de tarefas.
Modelos têm sido utilizados para prever o desempenho do usuário
quando se comparam diferentes aplicações e dispositivos.
Os dois principais modelos são o GOMS e o KLM.
O Modelo GOMS (Goals, Operators, Methods e Selection rules)
 Desenvolvido no início dos anos 80 por Card et al.
 Destinado a modelar o conhecimento e os processos cognitivos envolvidos
quando usuários interagem com sistemas.
 Predizer o tempo das ações físicas e cognitivas associadas à forma correta de
realização de uma tarefa.
 Os objetivos (G) referem-se a um estágio em particular que o usuário pretende
alcançar. (Ex.: encontrar um website sobre um assunto específico),
 Os operadores (O) referem-se aos processos cognitivos e às ações físicas que
precisam ser realizadas para se atingir os objetivos. (Ex.: decidir qual
ferramenta de busca, acessá-la e inserir os critérios de busca)
 Os métodos (M) são procedimentos aprendidos para a realização de objetivos. É
a exata seqüência dos passos exigidos. (Ex.: arrastar o mouse para um ponto,
digitar a palavra-chave, pressionar o OK).
 As regras de seleção (S) são utilizadas para determinar que método selecionar
quando houver mais de uma opção.
O Modelo GOMS (Goals, Operators, Methods e Selection rules)
 Aplicação do modelo:
 Objetivo: deletar uma palavra em uma frase no word (pág 472, Livro texto).
 Objetivo: votar para prefeito na urna eletrônica (pág 182, livro ergonomia e
usabilidade).
 Com base nos valores das tabelas de tempo e na descrição da
tarefa, segundo o formalismo, é possível calcular os tempos
prováveis para realização de uma tarefa.
O Modelo GOMS (exemplo Livro Ergonomia e Usabilidade,
Cybis et. Al, 2007)
O Modelo KLM (Keystroke Level Model, Card et al., 1983)
 Difere do GOMS pois fornece previsões numéricas reais do




desempenho do usuário.
As tarefas são comparadas pelo seu tempo de realização utilizando
estratégias diferentes.
Vantagem principal da previsão quantitativa reside no fato de se
poder comparar recursos e verificar qual é o mais eficaz.
Baseado em vários estudos empíricos do desempenho real dos
usuários, obtendo-se um conjunto-padrão de tempos
aproximados para os principais tipos de operadores.
Ações físicas comuns podem ser dimensionadas.
O Modelo KLM (Keystroke Level Model, Card et al., 1983)
Principais tempos propostos pelo modelo:
O Modelo KLM (Keystroke Level Model, Card et al., 1983)
Vantagens e Limitações dos modelos
preditivos
 Esse tipo de análise pode ser útil para comparar antecipadamente






alternativas de interfaces, mesmo preservando seus limites.
O seu valor está em permitir comparações de soluções.
Rapidamente identificamos a solução mais rápida.
Não é necessário construir sistema.
Mais barato que testes com usuários.
Limitações -Não leva em conta a mínima hesitação do usuário, erro
ou incidente de interação. Trata-se de prever o tempo da interação
perfeita.
Previsões são apenas aproximações.