Avaliação de Interfaces
Avaliação de Interfaces
Porque avaliar?
 A percepção do usuário não é igual a dos
projetistas.
 O desenvolvimento de interfaces baseado
em processos formais e estudos científicos
NÃO garante uma boa usabilidade.
 Devemos ter em mente que alguém vai
avaliar a qualidade de uso do seu sistema,
nem que seja o usuário final.
Avaliação de Interfaces
Importância
 Corrigir os problemas antes que o produto seja
lançado é sempre a melhor alternativa.
 Quanto mais cedo forem encontrados os problemas
de interação, menor o custo de consertá-los.
(Menor o
tempo de lançamento do produto)
 Problema: Engenheiros codificam ao invés de
debater
Necessidade: Trabalhar com problemas reais.
Mas como identificá-los?
MÉTODOS DE AVALIAÇÃO DE
INTERFACE
Avaliação de Interfaces
Objetivos
 Identificar as necessidades de usuários ou verificar os
entendimento dos projetistas sobre estas necessidades;
 Identificar problemas de interação ou de interface;
 Identificar como uma interface afeta a forma de trabalhar
dos usuários;
 Comparar alternativas de projeto de interface (o design
utilizado na primeira versão poderá ser mantido em versões futuras);
 Identificar
objetivos
quantificáveis
em
métricas
de
usabilidade;
 Verificar a conformidade com um padrão ou um conjunto de
heurísticas.
Qualidade de Uso
 Capacidade e facilidade dos usuários atingirem suas
metas com eficiência e satisfação.
 O conceito de qualidade de uso mais amplamente
utilizado é o de usabilidade, relacionado a facilidade e
eficiência de aprendizado e de uso, bem como a
satisfação do usuário.
 O conceito de qualidade de uso agrega ainda
conceitos como comunicabilidade e aplicabilidade
Qualidade de Uso - Comunicabilidade
 Capacidade dos usuários entenderem o design
tal como concebido pelo projetista.
 Em sistemas de alta comunicabilidade usuários
são capazes de responder:

Para que serve o sistema;

Qual a vantagem de utilizá-lo;

Como funciona;

Quais são os princípios gerais de interação com o
sistema;
Qualidade de Uso - Aplicabilidade
 Conceito relacionado a utilidade de um
sistema com uma variedade de situações
e problemas.
 Permite determinar:

O quanto o sistema é útil para o contexto
em que foi projetado;

Em que outros contextos o sistema pode
ser útil
Problemas de Usabilidade
Problemas de Usabilidade
 Quanto ao impacto que produzem
sobre a produtividade da tarefa.



Barreiras
Obstáculos
Ruídos
 Quanto ao tipo de usuário que afetam




Geral
Iniciantes
Experientes
Específicos
Problemas de Usabilidade
 Quanto a tarefa em que se manifestam


Principal
Secundária
 Quanto ao grau de severidade

Escala: 0 -

Fatores a serem considerados:




+4
Freqüência com que ocorre
Impacto sobre o usuário
Persistência do problema
Impacto no mercado
Problemas de Interfaces com baixa
Usabilidade
 Requerem treinamento excessivo;
 Desmotivam a exploração;
 Confundem os usuários;
 Induzem os usuários ao erro;
 Geram insatisfações;
 Diminuem a produtividade;
 Não trazem o retorno de investimento previsto.
Métodos de Avaliação de Interfaces
Características
 Métodos de avaliação de interfaces diferem em vários
aspectos
 Deve-se entender as características de cada métodos para
se avaliar interfaces de acordo com cada contexto.
 Principais diferenças entre métodos de avaliação:




Etapa do ciclo de vida do design do software (durante
ou após o desenvolvimento);
Técnica utilizada para a coleta de dados;
Tipos de coletas de dados (quantitativos ou qualitativos)
Tipo de análise a ser feita.
Cognição Reflexiva
 Envolve pensar, comparar e tomar decisões;
 Promove novas idéias e a criatividade;
 EX: Perceber, aprender, escrever um livro,
etc.
Cognição Reflexiva
Caract. Métodos de Avaliação de
Interfaces
Etapa do Ciclo de Vida
Coleta de Dados
• Formativas
• Somativas
Tipos de Dados
Tipos de Análise
• Quantitativos
• Qualitativos
• Opinião dos usuários
• Observação de usuários
• Registro de Uso
• Preditiva
• Interpretativa
CICLO DE VIDA - Formativa
 Realizadas durante o processo de design, antes
mesmo de uma linha de código sequer ser
escrita.
 Utilização de cenários, storyboards, modelagem
conceitual ou até mesmo protótipos.
 Quanto antes um problema for identificado
menor é o custo de alterações no software.
CICLO DE VIDA - Somativa
 Realizadas após o término do desenvolvimento
do produto.
 Buscam verificar a existência de determinados
aspectos no sistema (conformidade com um
padrão estabelecido).
Cognição Reflexiva
Caract. Métodos de Avaliação de
Interfaces
Etapa do Ciclo de Vida
Coleta de Dados
• Formativas
• Somativas
Tipos de Dados
Tipos de Análise
• Quantitativos
• Qualitativos
• Opinião dos usuários
• Observação de usuários
• Registro de Uso
• Preditiva
• Interpretativa
COLETA DE DADOS
Opinião do usuário
 Visam obter uma apreciação dos usuários com
relação ao sistema interativo.





Usuários gostaram dos sistema.
Aparência estética dos sistema é satisfatória.
Sistema faz aquilo que usuário deseja.
Usuários tiveram algum problema ao utilizar o sistema.
Usuários gostariam de usá-lo novamente.
 Principais técnicas utilizadas:
 questionários/entrevistas
(pessoalmente
telefone, e-mail ou web)
 Pequeno ou grande número de pessoas;
 Perguntas estruturadas ou livres
ou
por
COLETA DE DADOS
Observação dos usuários
 Permite
ao avaliador ter uma visão dos
problemas vivenciados pelo usuário e dos
aspectos positivos experimentados durante o
uso do sistema.
 Pode ser registrada usando-se anotações do
observador, gravação de vídeo, áudio ou uma
combinação destas.
COLETA DE DADOS
Registro de Uso
 Uma forma de se coletar informações de como o
usuário interage com o sistema é através de
registros de uso (logs).
 Normalmente, registros de uso geram uma
grande quantidade de informação e a análise
destes dados pode ser bastante custosa para os
avaliadores.
Cognição Reflexiva
Caract. Métodos de Avaliação de
Interfaces
Etapa do Ciclo de Vida
Coleta de Dados
• Formativas
• Somativas
Tipos de Dados
Tipos de Análise
• Quantitativos
• Qualitativos
• Opinião dos usuários
• Observação de usuários
• Registro de Uso
• Preditiva
• Interpretativa
TIPO DE DADOS
Quantitativos/ Qualitativos
QUANTITATIVOS
Dados que podem ser representados numericamente.
Podem ser utilizados cálculos estatísticos para sua
obtenção (desvio padrão, média etc..).
QUALITATIVOS
Dados que não podem ser representados numericamente.
Podem ser apresentados em forma de uma lista de
problemas identificados na interface ou ainda como
sugestões de melhoria para a mesma.
Cognição Reflexiva
Caract. Métodos de Avaliação de
Interfaces
Etapa do Ciclo de Vida
Coleta de Dados
• Formativas
• Somativas
Tipos de Dados
Tipos de Análise
• Quantitativos
• Qualitativos
• Opinião dos usuários
• Observação de usuários
• Registro de Uso
• Preditiva
• Interpretativa
TIPO DE ANÁLISE
Preditiva
 Ao analisarem os dados especialistas
tentam prever os problemas a serem
enfrentados pelo usuário.
 Pode ser realizada através de uma
inspeção da interface ou em função de
técnicas de modelagem.
TIPO DE ANÁLISE
Interpretativa ou Experimental
 Ao analisarem os dados coletados os especialistas
procuram explicar os fenômenos que ocorreram durante
a interação do usuário com o sistema.
 São consideradas interpretativas quando realizadas em
ambientes naturais sem a interferência
observadores nas atividades normais do usuário.
 Quando
dos
realizadas em ambientes controláveis
(laboratórios) são denominadas experimentais.
Cognição Reflexiva
• Heurísticas
• Percurso Cognitivo
Analíticos
Métodos de Avaliação de
Interfaces
• Testes de laboratório
Empíricos
•
 Preparação: objetivo da avaliação, seleção de
tarefas, seleção de usuários, material para teste e
execução do teste piloto
 Execução: ambiente de teste, questões éticas,
deixando o usuário a vontade, aplicação de testes e
análise de dados coletados.
MÉTODOS DE AVALIAÇÃO ANALÍTICOS
 Aqueles em que avaliadores inspecionam ou
examinam aspectos de uma interface de acordo
com aspectos relacionados a usabilidade.
 Avaliadores
podem
ser
especialistas
usabilidade, consultores de desenvolvimento
SW especializado em determinado estilo
interface ou usuários finais conhecedores
domínio e da tarefa.
 Tem por objetivo:


Identificação de problemas de usabilidade
Seleção de problemas a serem corrigidos
em
de
de
do
MÉTODOS DE AVALIAÇÃO ANALÍTICOS
 Tipos de conhecimentos envolvidos em uma inspeção analítica:



Conhecimento sobre o domínio;
Conhecimento e experiência no projeto e avaliação de interfaces
Experiência para realizar um tipo de avaliação específico
 Perfis de Avaliadores:

Ideal: possui experiência tanto nos processos e nos princípios de
usabilidade quanto nos processos e aspectos relevantes do domínio.

Desejável: especialista em IHC. Conhece o processo de avaliação, bem
como os princípios e diretrizes relevantes. Capaz de aprender o suficiente
do domínio para selecionar as tarefas que devem ser realizadas.

Menos desejável: especialista no domínio e estuda princípios de interface

Menos desejável ainda: membro da equipe de desenvolvimento (tem
dificuldade de enxergar o ponto de vista de um usuário comum)
Cognição Reflexiva
• Heurísticas
• Percurso Cognitivo
Analíticos
Métodos de Avaliação de
Interfaces
• Testes de laboratório
Empíricos
•
 Preparação: objetivo da avaliação, seleção de
tarefas, seleção de usuários, material para teste e
execução do teste piloto
 Execução: ambiente de teste, questões éticas,
deixando o usuário a vontade, aplicação de testes e
análise de dados coletados.
MÉTODOS DE AVALIAÇÃO ANALÍTICOS
HEURÍSTICAS
 Método
analítico de avaliação que visa
identificar problemas de usabilidade conforme
um conjunto de heurísticas ou diretrizes
(guidelines).
 Se baseia nas melhores praticas definidas por
especialistas experientes e especialistas em IHC.
 Não envolve usuários.
 Recomenda-se que 3 a 5 especialistas realizem
a avaliação.
PROCEDIMENTOS DE AVALIAÇÃO
HEURÍSTICA
 Sessões curtas (1 a 2 horas)
 Especialistas julgam a conformidade da interface
com um determinado conjunto de heurísticas
 Anotação
de problemas encontrados e sua
localização
 Julgamento da gravidade do problema encontrado.
 Elaboração de relatório individual com o resultado da
avaliação e comentários adicionais
 Consolidação da avaliação de especialistas.
 Julgamento consolidado de especialistas
 Relatório unificado de problemas de usabilidade
 Seleção dos problemas a serem corrigidos
HEURÍSTICAS - NIELSEN
Descrevem as propriedades que devem ocorrer em sistemas de alta
usabilidade
(1)Visibilidade do status do sistema: O sistema precisa manter os
usuários informados sobre o que está acontecendo, fornecendo um
feedback adequado dentro de um tempo razoável.
(2) Correspondência do sistema com o mundo real: Sistema precisa
falar a linguagem do usuário, com palavras, frases e conceitos
familiares ao usuário, ao invés de termos orientados ao sistema. Seguir
convenções do mundo real, fazendo com que a informação apareça
numa ordem natural e lógica,
HEURÍSTICAS - NIELSEN
(3) Controle de liberdade do usuário: Usuários freqüentemente escolhem por
engano funções do sistema e precisam ter saídas claras de emergência para sair
do estado indesejado sem ter que percorrer um extenso diálogo. Prover funções
desfazer e refazer.
(4) Consistência e padronização: Fale a mesma língua o tempo todo, e nunca
identifique uma mesma ação com ícones ou palavras diferentes. Trate coisas
similares, da mesma maneira, facilitando a identificação do usuário.Usuários não
precisam adivinhar que diferentes palavras, situações ou ações significam a
mesma coisa.
HEURÍSTICAS - NIELSEN
(5) Prevenção de erros: Na tradução livre das palavras do próprio Nielsen
“Ainda melhor que uma boa mensagem de erro é um design cuidadoso que
possa prevenir esses erros”. Por exemplo, ações definitivas, como deleções
ou solicitações podem vir acompanhadas de um checkbox ou uma
mensagem de confirmação
(6) Ajuda aos usuário a reconhecer, diagnosticar e se recuperar de erros:
As mensagens de erro do sistema devem possuir uma redação simples e
clara que ao invés de intimidar o usuário com o erro, indique uma saída
construtiva ou possível solução. As mensagem de erro devem ser expressas
em linguagem clara, sem códigos indicando precisamente o problema.
HEURÍSTICAS - NIELSEN
(7) Reconhecimento em vez de memorização: Evite acionar a memória do
usuário o tempo inteiro, fazendo com que cada ação precise ser revista
mentalmente antes de ser executada. Permita que a interface ofereça ajuda
contextual, e informações capazes de orientar as ações do usuário - ou seja - que
o sistema dialogue com o usuário. O usuário não deve ter que lembrar
informação de uma parte para outra do diálogo.
(8) Flexibilidade e eficiência de uso: O sistema precisa ser fácil para usuários
leigos, mas flexível o bastante para se tornar ágil à usuários avançados. Essa
flexibilidade pode ser conseguida com a permissão de teclas de atalhos, por
exemplo. No caso de websites, uso de máscaras e navegação com tab em
formulários são outros exemplos.
HEURÍSTICAS - NIELSEN
(9) Design estético e minimalista: Evite que os textos e o design fale mais do
que o usuário necessita saber. Os “diálogos” do sistema precisam ser simples,
diretos e naturais, presentes nos momentos em que são necessários. Os
diálogos não devem conter informação irrelevante ou raramente necessárias.
Qualquer unidade de informação extra no diálogo irá competir com unidades
relevantes e diminuir sua visibilidade relativa.
(10) Ajuda e documentação: Um bom design deveria evitar ao máximo à
necessidade de ajuda na utilização do sistema. Ainda assim, um bom conjunto
de documentação e ajuda deve ser utilizado para orientar o usuário em caso de
dúvida. Deve ser visível, facilmente acessada, focalizadas na tarefa do usuário e
não muito extensa. Dica: oferecer uma ferramenta de busca na ajuda.
HEURÍSTICAS
Identificação de Problemas



Para cada heurística violada deve-se definir a sua localização na interface e a
gravidade do mesmo.
O problema pode estar:

Em um único local na interface;

Em dois ou mais locais da interface, casualmente,
 Na estrutura geral da interface de forma sistemática,

Pode ser algo que não está lá, ou seja, precisa ser incluído na interface
Quanto a gravidade (severidade do problema):

Frequência com que o problema ocorre (comum ou raro)

Impacto do problema (de fácil ou difícil superação para o usuário)

Persistência do problema (problema que ocorre apenas uma vez e facilmente
superado pelo usuário ou problema que ocorre diversas vezes e usuários se
sentem incomodas pelo problema
Defina a gravidade através de escalas de erro :
Nível 0: Não é encarado necessariamente como um problema de usabilidade.
Nível 1: Problema estético que não tem necessidade de ser corrigido (só se houver tempo e recurso disp.)
Nível 2: Pequeno problema com baixa prioridade na correção.
Nível 3: Problema com alta prioridade de correção.
Nível 4: Catástrofe de usabilidade, ou seja, o produto só será liberado se a correção for feita.
HEURÍSTICAS
Identificação de Problemas
O relatório das violações de heurística vai ficar similar à tabela abaixo:
MÉTODOS DE AVALIAÇÃO ANALÍTICOS
PERCURSO COGNITIVO
 Método analítico que visa avaliar principalmente a facilidade de
aprendizado do sistema pela exploração do usuário.
 Investiga principalmente:



Correspondência de conceitualização de uma tarefa por parte de
usuários e designers.
Escolha adequada (inadequada) de termos, ou seja, vocabulário
utilizado.
Feedback adequado (inadequado) para as consequências de uma
ação.
 Não envolve usuários.
 Pode ser realizado individualmente pelo próprio projetista ou em grupos
(projetista, equipe de projeto, pessoal de marketing,
responsável pela documentação ou especialistas em IHC).
pessoal
Cognição Reflexiva
• Heurísticas
• Percurso Cognitivo
Analíticos
Métodos de Avaliação de
Interfaces
Empíricos
• Testes de laboratório
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
 Baseado em Engenharia Semiótica
 Objetivo: avaliar a interface de acordo com sua
comunicabilidade
 comunicabilidade: propriedade de transmitir ao
usuário de forma eficaz e eficiente as intenções e
princípios de interação que guiaram o seu design
 Propõe um conjunto de expressões que o usuário
plausivelmente pode usar para se exprimir em uma
situação onde acontece uma ruptura na sua
comunicação com o sistema
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
PROCEDIMENTOS:
 Aplicação do teste



solicitar ao usuário a execução de uma tarefa pré-determinada na
aplicação
gravar a interação do usuário com a aplicação
entrevista com o usuário
 Análise



ver gravações da interação e atribuir expressões nos momentos
de ruptura
tabular as expressões
interpretação:


extrair mapa dos pontos críticos da interação
obter perfil da interação da aplicação
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
EXPRESSÕES:
 Conjunto das interjeições:
 Capaz de expressar as rupturas de interação que
acontecem durante o uso de uma aplicação
 Cadê? usuário sabe a operação que deseja executar mas não a encontra
de imediato na interface. Sintoma: abrir e fechar menus e submenus e
passar com o cursor de mouse sobre botões, inspecionando diversos
elementos de interface sem ativá-los.
 E agora? O usuário não sabe o que fazer e procura descobrir qual é o seu
próximo passo. Sintoma: vagar com o cursor do mouse sobre a tela e
inspecionar os menus de forma aleatória ou seqüencial.
 O que é isto? usuário não sabe o que significa um elemento de interface.
Sintoma: deixar o cursor do mouse sobre o elemento por alguns instantes,
esperando que uma dica seja apresentada.
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
 Epa! O usuário realizou uma ação indesejada e, percebendo imediatamente que
isto ocorreu, desfaz a ação. Sintoma: acionamento imediato do
cancelamento de um quadro de diálogo aberto indevidamente.
Undo ou o
 Onde estou? O usuário efetua operações que são apropriadas para
outros contextos, mas não para o contexto atual (por exemplo, tenta digitar
um dado em um campo desabilitado; digita um comando em um campo de
dado ou um dado no campo reservado para comandos). Sintoma:
desfazer a ação incorreta e mudar em seguida para o contexto desejado.
 Assim não dá. O usuário efetuou uma seqüência (longa) de operações
antes de perceber que estava seguindo um caminho improdutivo.
Sintoma: acionamento de Undo repetidas vezes ou o cancelamento de
um ou mais quadros de diálogos abertos indevidamente.
 Por que não funciona? A operação efetuada não produz o resultado
esperado, mas o usuário não entende ou não se conforma com o fato.
Sintoma: típico consiste em o usuário repetir a ação.
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
 Ué, o que houve? O usuário não percebe ou não entende a resposta dada
pelo sistema para a sua ação (ou o sistema não dá resposta alguma). Os
sintomas típicos incluem repetir a ação ou buscar uma forma alternativa de
alcançar o resultado esperado.
 Para mim está bom… Ocorre quando o usuário acha equivocadamente
que concluiu uma tarefa com sucesso. O sintoma típico é encerrar a tarefa
e indicar na entrevista ou no questionário pós-teste que a tarefa foi
realizada com sucesso. O observador, no entanto, sabe que se trata de um
engano, provavelmente causado por uma falha de resposta do sistema ou
modo de visualização inadequado para a tarefa atual.
 Desisto. O usuário não consegue fazer a tarefa e desiste. O sintoma é a
interrupção prematura da tarefa. A causa pode ser falta de conhecimento,
tempo, paciência, informação necessária, etc.
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
 Vai de outro jeito. O usuário não consegue realizar a tarefa da forma
como o projetista gostaria que ele o fizesse, e resolve seguir outro
caminho, geralmente mais longo ou complicado. Cabe ao avaliador
determinar, se possível junto ao designer, qual é a forma preferencial de
execução da tarefa.
 Não, obrigado. O usuário já conhece a solução preferencial do designer,
mas opta explicitamente por uma outra forma de interação. Sintoma:
ocorrência da ação preferencial seguida de uma ou mais formas
alternativas para se alcançar o mesmo resultado.
 Socorro! O usuário não consegue realizar sua tarefa através da
exploração da interface. O sintoma é recorrer à documentação ou pedir
explicação a outra pessoa.
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
Comunicabilidade x Problemas de IHC
Cadê?
navegação
Que é isso?
E Agora?
atribuição de significado
Socorro!
Epa!/Onde estou?/
Assim não dá.
navegação
atribuição de significado
Por que não funciona?
Ué, o que houve?
atribuição de significado
Para mim está bom...
atribuição de significado
Vai de outro jeito.
Não, obrigado.
affordance baixa/inexistente
affordance recusada
Não dá.
fracasso da tarefa
SERG – Semiotic Engineering Research Group
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
Dilema de Comunicabilidade
 Semelhança com um ícone existente (de procurar em muitas
aplicações), o que sugere uma interpretação diferente da indicada
no tooltip (Nova Tarefa).
 No entanto, na concepção do designer o
ferramenta que PROCURA vírus no disco.
VirusScan é uma
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
Projetando um Teste de Comunicabilidade
 Definir perfil dos usuários a participarem do teste
 Selecionar as tarefas a serem executadas no
teste
 Critérios:



Os pontos onde o designer está ciente ou acredita
que possa haver ruptura de comunicação.
Pontos críticos da aplicação, ou seja, onde o usuário
não pode errar.
Pontos principais da aplicação
MÉTODOS DE AVALIAÇÃO EMPÍRICOS
TESTE DE COMUNICABILIDADE
Testes de Usabilidade x Testes de Comunicabilidade
 Usabilidade




Quantitativo
Não oferecem indicadores de solução
Necessário especialista em IHC
Avalia produtividade
 Comunicabilidade




Quantitativo e qualitativo
Oferecem indicadores de solução
Não é necessário especialista em IHC para coleta de dados
Avalia sucesso da comunicação
Exemplo de Teste de Usabilidade
fator
método de
medição
pior caso
nível
almejado
melhor
caso
taxa de
aprendizado
comparação entre
primeira e segunda
medições
tempo para realizar
uma consulta
número de vezes em
que o sistema de
ajuda é acessado em
cada tela
questionário
mesma coisa
segunda
medição
melhor
1,5 min
“muito”
melhor
mais de uma
vez
nenhuma vez
nenhuma vez
igual
questionário sobre
impressões
questionário sobre
impressões
neutro
maior
preferência
ao sistema
positivo
neutro
positivo
nenhuma
preferência às
fichas
muito
positivo
muito
positivo
questionário
muitas
poucas
uso inicial
uso esporádico,
após 2 semanas
sem uso
preferência sobre
fichas impressas
avaliação inicial
avaliação de
usuário
experiente
restrições ao uso
do sistema
20 min
0,5 min
nenhuma