Testes de Usabilidade
1
Testes de Usabilidade
“Não é o que considera sobre o seu sítio que conta,
mas sim o que os utilizadores pensam dele.”
— Jakob Nielsen (adaptado)
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
2
O que são?
• São testes que avaliam o desempenho de um
produto quando utilizado pelos utilizadores ao
qual este se destina.
• São testes laboratoriais realizados em
condições controladas similares àquelas nas
quais o produto se irá utilizar.
• Testam a primeira utilização de uma nova
funcionalidade do produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
3
Para que servem?
• Permitem obter uma avaliação quantitiva do
desempenho do sistema. Conhecer:
– O tempo de execução médio de cada tarefa.
– A percentagem de utilizadores que completaram, com
sucesso, cada tarefa.
– O número de vezes que o utilizador recorreu à
documentação para cada tarefa.
– O número e tipo (observações e comentários, nãocríticos e críticos) de erros.
(...)
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
4
Para que servem?
• Permitem obter uma avaliação qualitativa do
sistema – opinião dos utilizadores sobre:
–
–
–
–
Informação dos ecrãs.
Terminologia e informação do sistema.
Aprendizagem.
Capacidades do sistema.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
5
Quando se fazem?
[Rubin, 1994]
• Na fase inicial de projecto: para estabelecer a
intuitividade da implementação – teste exploratório.
• Na fase inicial e durante a fase de desenvolvimento:
para medir a efectividade da implementação – teste de
avaliação.
• Na fase próxima do lançamento: para verificar que o
produto corresponde ou excede as expectativas e como
é que o produto se comporta como um todo – teste de
validação.
• A qualquer instante: para comparar o desempenho do
sistema antes e depois de determinada alteração –
teste comparativo.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
6
Como proceder?
• Definir o público-alvo e os seus objectivos.
– Quem vai utilizar o produto e o que pretende do mesmo?
• Definir tarefas com base nesses objectivos.
– As tarefas são cenários típicos de utilização do produto pelo
público-alvo.
• Encontrar as pessoas adequadas.
– Devem corresponder ao perfil do público-alvo ou aproximar-se o
mais possível.
• Observá-las a executar as tarefas.
– Tentar compreender o modelo mental dos utilizadores para que
o produto os satisfaça. Deve-se pedir ao utilizador que vá
dizendo o que pensa à medida que utiliza o produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
7
Um caso prático
• Avaliar a usabilidade de um sistema de Banca
na Internet. Realizar um pré-teste para melhorar
o teste real.
• Será que as pessoas com mais receptividade
para a tecnologia têm mais facilidade em utilizar
a Banca na Internet?
• Quais são os melhoramentos a introduzir na
Banca na Internet para que esta possa ser
utilizada por pessoas com menos aptidão
tecnológica?
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
8
Público-alvo e objectivos
• Constituído por alunos universitários que
tenham ingressado este ano no ensino superior.
• Devem fazer algum uso da Internet.
• Não devem conhecer a Banca na Internet do
banco em questão.
• Os utilizadores pretendem consultar
informações sobre o banco e produtos
disponibilizados.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
9
Tarefas
• Obtenção de informações sobre empréstimo
para suportar os custos da educação.
• Saber qual a taxa de câmbio para uma moeda
estrangeira.
• Determinar as condições para a aquisição de
habitação própria.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
10
Selecção de utilizadores (1ª fase)
• Encontrar um grupo numeroso de pessoas que se
encaixem no perfil demográfico. Neste caso são alunos
universitários que ingressaram este ano no ensino
superior.
• Distribuir um questionário a estes utilizadores para
determinar:
– Receptividade a novas tecnologias.
• Uso de uma escala já testada (Technology Readiness Index —TRI,
[Parasuraman, 2000]) que avalia 4 dimensões: Optimismo,
Capacidade de inovação, Desconforto e Insegurança.
– Utilização de novas tecnologias (Internet e Banca na Internet).
– Informações demográficas detalhadas.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
11
Selecção de utilizadores (2ª fase)
• Ordenar os utilizadores pelo seu índice de receptividade
a novas tecnologias (TRI).
• Eliminar outlyers.
• Definir três grupos de alguns candidatos com índices
baixos, médios e altos.
• De cada grupo escolher dois utilizadores (um
participante e outro suplente) cujo índice reflicta a
utilização que faz das novas tecnologias.
• Para o pré-teste escolher dois utilizadores (um
participante e um suplente) do grupo com índices
médios.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
12
TRI dos candidatos
21
13
11 12
2
-3 -3 -3
4
5
15
7
-1
-11
-19 -18
-17
-14
-15
-16 -16
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
13
Reunião com os utilizadores
• Depois de escolhidos convocam-se
telefonicamente os utilizadores para uma
reunião onde se irá explicar:
– Os documentos que irão assinar no dia do teste.
– Que as acções que executam sobre o produto irão
ser registadas e observadas por um painel de
observadores.
– Quais as regras de funcionamento do teste.
• Deve também informar os utilizadores da data e
hora de realização do teste.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
14
O teste (para o utilizador)
• Autorização de participação
• Acordo de confidencialidade (preenchido por todos os
intervenientes no teste)
• Execução das tarefas
• Entrevista final (foca pontos dúbios da utilização que fez
do produto)
• Questionário para avaliação de satisfação ([Chin et al,
1988]) onde o utilizador pode descrever até três
aspectos negativos e três positivos.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
15
Cenário físico
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
16
O teste (para o monitor)
• O monitor permanece com o utilizador numa
sala e observa o seu comportamento. Deve
pedir ao utilizador para verbalizar os seus
pensamentos sobre o produto.
• Deve dialogar com o utilizador sem lhe colocar
perguntas fechadas (“Considera (in)seguro?” vs
“O que pensa da segurança?”).
• Não deve mostrar muito conhecimento sobre o
produto.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
17
O teste (para o observador)
• O observador permanece noutra sala que deve
estar isolada visual e acusticamente da sala
onde decorre o teste.
• O observador regista os dados objectivos da
utilização, permitindo assim que o monitor se
concentre no diálogo com o utilizador.
• Vários observadores e um monitor.
João Falcão e Cunha, Miguel B. Gonçalves © 2003
Testes de Usabilidade
18
Resultados
• Análise demográfica dos participantes
• Análise da execução das tarefas
• Análise dos questionários de avaliação de
satisfação
• Comentários relevantes dos utilizadores durante
o teste
• Recomendações baseadas nos pontos
anteriores
João Falcão e Cunha, Miguel B. Gonçalves © 2003