Autarquia Educacional do Vale do São Francisco – AEVSF
Faculdade de Ciências Aplicadas e Sociais de Petrolina - FACAPE
Curso de Ciência da Computação
Introdução à Avaliação de Interfaces
Profa. Cynara Carvalho
[email protected]
Interface Humano Máquina
Avaliação de Interfaces
 Processo sistemático de coleta de dados responsável por nos
informar o modo como um determinado usuário ou grupo de
usuários deve utilizar um produto em uma determinada tarefa;
 Faz parte do ciclo de desenvolvimento: design – avaliação – redesign;
 O design de interação exige que se saiba avaliar tipos diferentes de
sistemas em estágios diferentes de desenvolvimento;
 Desenvolver sistemas neste processo acaba sendo mais barato do
que consertar problemas depois do sistema entregue.
Interface Humano Máquina
Avaliação de Interfaces
 O projeto e o design de sistemas são inerentemente criativos e
imprevisíveis:
 São processos, não-hierárquicos, transformacionais e envolvem a descoberta
de novos objetivos.
 … mas em todo domínio criativo pode haver disciplina, técnicas
refinadas, métodos corretos e medidas de sucesso
 Os projetos de desenvolvimento também envolvem métodos de
avaliação e usabilidade
 Neste sentido, engenheiros de usabilidade e arquitetos de interface
estão ganhando experiência em gerenciar as mudanças
organizacionais, o que repercute em $.
Interface Humano Máquina
Avaliação de Interfaces
 Usuários preferem sistemas que sejam fáceis de aprender e utilizar,
assim com eficientes, eficazes e seguros (Preece et. al., 2007);
 Saber o que avaliar, a sua importância e quando avaliar são,
portanto, tarefas fundamentais para designers de interação.
O Quê?
Interface Humano Máquina
Por que?
Quando?
O quê, por que e quando?
 Grande variedade de produtos interativos com muitas características
que necessitam ser avaliadas;
 Forte tendência a se observar e avaliar como as pessoas interagem
com o sistema no trabalho, no lar e outros ambientes, embora a
avaliação em laboratório seja bastante satisfatória;
 A avaliação é necessária para a certificação de que os usuários
podem vir a utilizar o produto e apreciá-lo;
 Os usuários procuram cada vez mais produtos usáveis (NN Group);
Interface Humano Máquina
O quê, por que e quando?
 Tognazinni, outro bem sucedido consultor de usabilidade, afima:
 “ O design interativo, com seu ciclo repetitivo de design e teste, é a única metodologia
validada existente que produzirá resultados bem-sucedidos com consistência.
(www.asktog.com).
 Ele aponta 05 razões para se investir em testes com usuários:
1. Problemas são consertados antes do produto ser lançado;
2. A equipe pode se concentrar em problemas reais e não imaginários;
3. Os engenheiros codificam, em vez de debater;
4. O tempo para que o produto entre no mercado é menor;
5. Após a entrega da primeira versão, o produto terá um design consistente,
que poderá ser vendido sem que se tenha de se esperar a versão 1.1. ou 2.0.
Interface Humano Máquina
O quê, por que e quando?











Correções em projetos em desenvolvimento;
Revisões em produtos acabados;
Definir a aceitação ou não, de projetos encomendados;
Comparar o desempenho de softwares interativos.
Constatar, observar e registrar problemas;
Calcular métricas objetivas para eficácia, eficiência e
produtividade;
Diagnosticar as falhas do projeto que provavelmente atrapalhem a
interação;
Prever dificuldades de aprendizado na operação do sistema;
Prever os tempos de execução de tarefas;
Conhecer a opinião do usuário;
Sugerir as ações de re-projeto.
Interface Humano Máquina
O quê, por que e quando?
 O produto que está sendo desenvolvido pode consistir em algo
totalmente novo ou em uma atualização de algo já existente;
 Em caso de produto novo, as pesquisas de mercado são necessárias
e os designers podem fornecer suporte a esse processo, a partir de
maquetes dos produtos, para extrair reações dos usuários em
potencial;
 Muitas das técnicas de elicitação de requisitos são usadas na coleta
de opiniões sobre os produtos ( prototipação, entrevistas etc.);

O objetivo é saber se o design preenche as necessidades dos usuários e se
estes o apreciam.
Interface Humano Máquina
Avaliação de usabilidade
 Porque a avaliação da usabilidade é tão importante?
 Intuições de designers e desenvolvedores não estão sempre corretas
 Terminologia de designers e desenvolvedores nem sempre significa a mesma do
usuário
 Pessoas diferem e não há um usuário médio
 Princípios de usabilidade e guidelines não são suficientes
 Feedback informal é inadequado para avaliações do produto
 Tempo, dinheiro e recursos gastos nas avaliações de usabilidade valem a pena
 Produtos construídos em pedaços sempre têm inconsistências de alto nível
 Problemas encontrados mais tarde no software são mais difíceis e caros de
consertar
 Problemas consertados no processo de desenvolvimento reduzem os custos mais
tarde
 Avaliações de usabilidade podem dar vantagens sobre produtos competitivos
Interface Humano Máquina
Avaliação de usabilidade
 A ISO define usabilidade como “a efetividade, eficiência e satisfação
com a qual um conjunto específico de usuários pode alcançar um
conjunto específico de tarefas em um ambiente particular”
 Os métodos de avaliação da interface e os testes de usabilidade são
muitos e seguem orientações teóricas diversas
 Quando se deve parar de fazer um teste?
• Se a sessão não produziu feedback do usuário em novos problemas.
Interface Humano Máquina
Definições importantes
 Avaliações quantitativas – Envolvem somente medidas;
 Avaliações qualitativas – Envolvem descrições e relatos;
 Avaliações objetivas – São baseadas em técnicas que utilizam
medições quantitativas, em vez das opiniões dos usuários ou
especialistas;
 Avaliações subjetivas – São baseadas em opiniões e relatos;
 Estudos de Laboratório – Ocorrem em ambientes controlados
e preparados;
 Estudos de campo ou naturais – Estão situados no contexto
do mundo real, no qual o sistema é ou será utilizado.
Interface Humano Máquina
Paradigmas de avaliação
 Avaliação “rápida e suja” – obtenção de feedback
informal dos usuários e consultores, para confirmar que
as idéias dos designers estão de acordo com as
necessidades.
 Podem ser realizadas em qualquer estágio do projeto, com
ênfase na contribuição rápida e não em descobertas
documentadas;
 O termo rápida e suja é em razão de ter de ser realizada em
curto espaço de tempo;
 Bastante usada no web design.
Interface Humano Máquina
Paradigmas de avaliação
 Testes de usabilidade – envolvem avaliar o desempenho dos
usuários típicos na realização de tarefas cuidadosamente
preparadas.
 O desempenho é avaliado no que diz respeito ao número de erros e ao
tempo para completar a tarefa;
 Enquanto realizam as tarefas, os usuários são observados e filmados e suas
interações são registradas por meio de softwares (cálculo do tempo e
esclarecimentos posteriores);
 Questionários e entrevistas também são usados para elicitar opiniões dos
usuários;
 Os testes são controlados pelo avaliador. Não há comunicação com terceiros.
Todas as ações são registradas.
Interface Humano Máquina
Paradigmas de avaliação
 Estudos de Campo – Realizados em ambientes reais
com o objetivo de aumentar o entendimento do que os
usuários fazem naturalmente e de como a tecnologia
causa impacto nessas atividades;
 Usados para (1) ajudar a identificar oportunidades de uso de
novas tecnologias, (2) determinar requisitos para o design, (3)
facilitar a introdução de um tecnologia e (4) avaliar a
tecnologia;
 Empregam técnicas qualitativas como entrevistas, observação
participativa e etnografia.
Interface Humano Máquina
Paradigmas de avaliação
 Avaliação preditiva – Os especialistas aplicam seu
conhecimento a respeito de usuários típicos, guiados por
heurísticas, visando prever problemas de usabilidade.
 Os usuários não precisam estar presentes, o que torna o
processo atrativo e barato;
 Novas heurísticas são necessárias para avaliarem diferentes
classes de produtos interativos;
Interface Humano Máquina
Características dos diferentes paradigmas de
avaliação
Paradigma
Rápida e suja
Testes
Usabilidade
Estudos de
campo
Avaliação
preditiva
Papel dos
usuários
Quem
controla
Local
Comportamento Realizar um
Comportamento Não são envolvidos
natural
conjunto de tarefas natural
Avaliadores
(mínimo)
Avaliadores
(máximo)
Avaliadores e
usuários
Ambiente
natural/laborat.
Laboratório
Ambiente
natural
Quando é
usado
A qualquer
momento
Com um protótipo
ou produto
Tipos de
dados
Geralmente
qualitativos e
informais
Esboços,
citações,
relatórios
Abordagem
centrada no
usuário, prática.
Quantitativos
Retorno para
o design
Filosofia
Relatório de
desempenhos, de
erros etc.
Abordagem
aplicada, eng.
Usabilidade.
Interface Humano Máquina
Avaliadores
experientes
Orientada a
Laboratório, mas
nas instal. Usuários
Início do design, Revisões
verificar necess. especialistas, a
qualquer momento
Qualitativos,
Lista de problemas,
com esboços,
dados quantitativos
cenários etc.
Descrições,
Problemas e
citações, logs.
sugestões, métricas
Observação
objetiva ou
etnográfica
Heurísticas práticas
e experiências dos
profissionais
Técnicas de avaliação
 Existem diversas técnicas de avaliação e que podem ser
classificadas de várias maneiras. Vamos examinar as seguintes:





Observação de usuários
Opinião de usuários
Opinião de especialistas
Teste de desempenho dos usuários
Modelagem do desempenho das tarefas dos usuários, para
prever a eficácia de uma interface.
Interface Humano Máquina
Técnicas de avaliação - Observação de
usuários
 Ajudam a identificar necessidades, levando a novos tipos de
produtos a avaliar protótipos;
 Anotações, áudio, vídeo e logs de interação são formas usuais
da técnica;
 Desafios: como observar sem atrapalhar as pessoas e como
analisar o grande volume de dados coletados;
Interface Humano Máquina
Técnicas de avaliação – Opinião dos
usuários
 Perguntar o que os usuários pensam a respeito do produto –
se realiza o que querem; se apreciam; se é atraente; se
enfrentaram problemas ao utilizá-lo;
 Entrevistas e questionários são as principais técnicas para
fazê-la;
 Atingem diferentes faixas de público.
Interface Humano Máquina
Técnicas de avaliação – Opinião dos
especialistas
 Inspiradas nas inspeções e revisões de software;
 Guiadas por heurísticas (conhecimentos ou definições
prévias), onde os especialistas desempenham tarefas
como se fossem usuários típicos, identificando
problemas;
 Abordagem mais rápida e relativamente mais barata;
 Os especialistas sugerem soluções para os problemas;
Interface Humano Máquina
Técnicas de avaliação – Testes com
usuários
 Ambientes controlados para que o desempenho possa ser
analisado;
 Tarefas típicas e bem definidas;
 Mede-se o tempo para realizar uma tarefa, o número de erros
cometidos e o caminho mais comum na navegação do uso do
produto.
Interface Humano Máquina
Técnicas de avaliação – Modelagem do
desempenho das tarefas
 Sem construir protótipos elaborados, tenta-se prever a
eficiência e os problemas associados ao design, ainda em
estágio preliminar;
 Bem aplicadas a sistemas com funcionalidades limitadas;
 Modelos mais usados:
 KLM (Keystroke Level Model)

Predizer o tempo de interações físicas
 GOMS (Goals, Operators, Methods & Selection rules)

Predizer o tempo total da interação (física e cognitiva) para atingir objetivos.
Interface Humano Máquina
Relação entre paradigmas e técnicas de
avaliação
Paradigma Rápida e suja
Técnica
Observar os Observar o
comportamento
usuários
Perguntar
aos usuários
Perguntar
aos
especialistas
Testes Usabilidade
Logs de vídeo e
interação, para idt
do usuário nos
erros, rotas de uso
ambientes
ou calcular tempo de
naturais
desempenho
Discussão
Questionários de
individuais ou em satisfação de
grupo de foco.
usuários para coletar
opiniões
Fornecer críticas
N/A
da usabilidade de
um protótipo
Testes com
usuários
N/A
Modelar o
desempenho
das tarefas
N/A
Testar usuários
típicos na realização
de tarefas típicas, em
laboratório.
N/A
Interface Humano Máquina
Estudos de
campo
Avaliação
preditiva
Imprescindível
para o estudo de
campo
N/A
O avaliador pode
entrevistar ou
discutir o que vê
com os part.
N/A
N/A
N/A
N/A
Os espec. usam
heurísticas logo no
início do design, para
prever eficácia da
interface.
N/A
Modelos utilizados
para prever a
eficácia ou comparar
tempos.
Preparando a avaliação


Avaliações bem planejadas são dirigidas por metas
claras e perguntas adequadas.
Check list para auxílio de avaliadores:
1.
2.
3.
4.
5.
6.
Determinar as metas que a avaliação irá abordar.
Explorar as questões específicas a serem respondidas.
Escolher o paradigma de avaliação e as técnicas de respostas
para as perguntas.
Identificar questões práticas que devem ser abordadas, como
a seleção dos participantes.
Decidir como lidar com questões éticas.
Avaliar, interpretar e apresentar os dados.
Interface Humano Máquina