Avaliação de Usabilidade
de IHC
Edla Maria Faust Ramos
maio, 2004
Departamento de Informática e Estatística
Universidade Federal de Santa Catarina
Usabilidade

A capacidade que um sistema interativo
oferece a seu usuário, em um determinado
contexto de operação, para a realização de
tarefas, de maneira eficaz, eficiente e
agradável. (ISO 9241)
Problema de Usabilidade

... um aspecto do sistema e/ou da demanda
sobre o usuário que torna o sistema
desagradável, ineficiente, oneroso ou impossível
de permitir a realização dos objetivos do usuário
em uma situação típica de uso. (Lavery et al,
1997)
Descrição de um
Problema de Usabilidade

Contexto : situação de uso em que o problema
pode ser verificado

Efeito sobre o usuário : sobrecarga cognitiva

Efeito sobre a tarefa : trabalho adicional

Causa : aspecto do sistema

Re-design possível : alteração no projeto
Como identificar um problema
prioritário?
Natureza do problema: barreira, obstáculo
ou ruído
 Natureza da tarefa: importante e
frequente ou secundária e esporádica
 Quais Usuários: geral, novatos,
intermitentes, especialista ou usuários
especiais

Por quê?
 correções
em projetos em
desenvolvimento.
 revisões em produtos acabados.
 Definir a aceitação ou não, de
projetos encomendados.
 Comparar o desempenho de
softwares interativos .....
Como?
constatar, observar e registrar problemas;
 calcular métricas objetivas para eficácia,
eficiência e produtividade;
 diagnosticar as falhas do projeto que
provavelmente atrapalhem a interação;
 prever dificuldades de aprendizado na
operação do sistema;
 prever os tempos de execução de tarefas;
 conhecer a opinião do usuário;
 sugerir as ações de re-projeto.

Técnicas de Avaliação
de Usabilidade

Técnicas Prospectivas
baseadas na opinião do usuário sobre a
interação com o sistema

Técnicas Diagnósticas (ou preditivas)
baseadas no conhecimento / competência do
avaliador

Técnicas Definitivas (ou empíricas)
baseadas na observação da interação
Questionários para
avaliar a satisfação do usuário

ISONORM
baseado nos princípios da norma ISO 9241-10 (Prumper,
1999)

QUIS
Questionaire for User Interaction Satisfaction - U.
Maryland (Norman, 1989)
http://www.lap.umd.edu/QUIS/index.html

SUS
Systema Usability Scale da DEC (Digital Equipment Corp)
Técnicas Prospectivas
Técnicas Diagnósticas (ou preditivas)

Baseadas no confronto, realizado por um
inspetor/avaliador, entre padrões
explícitos/implícitos de usabilidade e os
atributos das interfaces humano computador
Técnicas Diagnósticas (ou preditivas)

Inspeção de Conformidade (por checklists)

Avaliações Heurísticas
 Usabilidade em geral
 Intuitividade (Inspeção Cognitiva)
 Gestão de erros (Inspeção Preventiva)
Inspeções de Conformidade
(por checklists)

Definição : Inspeção da conformidade do
software à requisitos propostos por padrões
de qualidade explícitos e pontuais
(checklists) para interfaces humanocomputador;
Técnicas Diagnósticas (ou preditivas)
Inspeções de Conformidade


Checklists oficiais
– Norma ISO 9241
Checklists informais
– Evadis II (Oppermman, 1992)
– ErgoList (Cybis, 1996)
– ISOmetrics (Gediga, 1999)
– W3C Assessibility
Inspeções de Conformidade
Características

Abordagem
 Dependente
da organização das listas de
verificação;
 Em geral são orientados à qualidades ou à
componentes

Tipo de Diagnóstico
 Grande
quantidade de problemas
intermediários e menores;
Inspeções de Conformidade
Características (cont.)

Sistematização



Dependente da qualidade da lista de
verificação;
Podem permitir avaliações repetitíveis /
reproduzíveis
Custo x Benefício


Avaliação barata e sistemática, porém limitada
a problemas intermediários e menores
Proporcionam que pessoas sem formação
específica em ergonomia possam realizar uma
inspeção de usabilidade;
Inspeções de Conformidade
Estratégia

Análise contextual (em equipe)
Reconhecer o sistema
Conhecer o contexto de operação

Ajustes (em equipe)
Definir aplicabilidade das questões
Definir prioridades entre as questões

Aplicação
Aplicação individual
Reuniões de discussão dos diagnósticos

Relatório (lider de equipe)
Descrição de problemas
Sugestões de melhoria
Estatísticas
Inspeções de Conformidade
Normas ISO de Usabilidade







ISO
ISO
ISO
ISO
ISO
ISO
ISO
9126 - Características de qualidade
9241 - Ergonomia de Soft. Escritórios
11581 - Ícones
14915 - Multimídia IU Design
13407 - Projeto Centrado no Usuário
16982 - Métodos de Usabilidade
14598 - Processo de Avaliação
Técnicas Diagnósticas (ou preditivas)
Baseadas em Conhecimento

Avaliação Heurística
 Definição
 Análise de conformidade do sistema face a
padrões de qualidade abrangentes ou
heurísticas (grades, princípios ou critérios de
avaliação), definidas por especialistas.
Avaliações Heurísticas
 Grades
de Heurísticas de Usabilidade
 Heurísticas de Nielsen
–
(Nielsen, 1994)
 Princípios de Diálogo
–
(ISO 9241-10)
 Critérios Ergonômicos
–
(Scapin & Bastien, 1993)
Avaliações Heurísticas
Características

Abordagem
 Definida pelo avaliador
tarefas do usuário
 estrutura da interface
 níveis de abstração
 componentes técnicos



grades de qualidades ergonômicas
Tipo de Diagnóstico
 Todos os tipos problemas ergonômicos do
software, inclusive os falsos;
Avaliações Heurísticas
Características (cont.)

Sistematização


Dose de subjetividade elevada - intrínseca ao
avaliador;
Custo x Benefício


Avaliação rápida, abrangente, porém subjetiva e
pouco sistemática
Demanda uma equipe de avaliadores
Técnicas Diagnósticas (ou preditivas)
Baseadas em Conhecimento

Inspeção Cognitiva

Definição

Confronto entre as lógicas de operação do
Projetista e de um Usuário Novato
Perspectiva do projetista - o caminho previsto
para as tarefas;
Perspectiva do usuário novato - o caminho que
parece o correto a um usuário novato;
Inspeção Cognitiva
Características

Abordagem
 Orientada à tarefa

Tipo de Diagnóstico
 problemas gerais e iniciais (ligados à intuitividade
do sistema);
Inspeção Cognitiva
Estratégia
 Análise
contextual (usuário e suas tarefas)
 Desenvolvimento
serem avaliadas
 Inspeção
do modelo de tarefas a
nas tarefas básicas
 Percorrer o caminho previsto aplicando, a cada
ação, uma lista de verificação das possibilidades
de desvios ocorrerem.
Inspeção Cognitiva
Checklist
 O usuário tentará realizar a tarefa certa?
 Ele verá o objeto associado a esta tarefa?
 Ele reconhecerá o objeto como associado à
tarefa?
 Ele saberá operar o objeto?
 Ele compreenderá o feedback fornecido?
Técnicas Preditivas
Baseadas em Conhecimento

Inspeção Preventiva de Erros

Definição

Aplicação de guidewords (heurísticas) ao modelo
de tarefas previstas para predizer possíveis
desvios.
Inspeção Preventiva de Erros
Características

Abordagem
 Orientada à tarefa

Tipo de Diagnóstico
 problemas gerais e definitivos
Inspeção Preventiva de Erros
Características (cont.)

Sistematização
 Dependente da competência do avaliador neste
tipo de técnica;

Custo x Benefício
 Avaliação rápida e barata
 Induz a consideração aos possíveis erros do
usuário;
Inspeção Preventiva de Erros
Estratégia
 Análise
contextual (usuário e suas tarefas)
 Desenvolvimento do modelo de tarefas a
serem avaliadas (CTT)
 Inspeção nas tarefas básicas
 Percorrer o caminho previsto aplicando, a cada
ação, uma lista de verificação das possibilidades
de desvios ocorrerem.
 Inspeção
nas tarefas de alto nível
Inspeção Preventiva de Erros
Heurísticas – GuideWords

Se aplicam às partes das tarefas básicas



Entradas
Realização
Resultados
Inspeção Preventiva de Erros
Resultados

Tabelas para cada tarefa






Tarefa
Guideword de desvio possivel
Explicações sobre os desvios (Modelo de Norman,
1988)
Causas dos desvios
Consequências dos desvios
Recomendações de reprojeto
Inspeção de Desvios
Heurísticas – GuideWords
 Nada
acontecer?
 Algo diferente acontecer?
 Mais
 Menos
 Diferente
 Acontecer
 Antes
 Depois
fora de tempo?
Técnicas Definitivas
 Ensaios
de Interação
 Sistemas
de monitoramento
Ensaios de Interação
Conceituação
 Simulação
de uma situação real de
trabalho, em campo ou em laboratório,
da qual participam usuários
representativos da população alvo do
sistema com o objetivo de revelar
problemas ligados a utilização real do
sistema e obter dados objetivos sobre a
produtividade na interação
Ensaios de Interação
Características

Abordagem
 técnica orientada ao usuário e à tarefa

Tipo de Diagnóstico
 Revela problemas reais ou efetivos, segundo a
perspectiva do usuário
Ensaios de Interação
Características (cont.)

Sistematização
 dependente da qualidade de scripts e dos cenários nas
simulações;

Custo x Benefício
 Avaliação custosa, porém reveladora de problemas sérios
ligados à perspectiva do usuário;
Ensaios de Interação
Elementos de Configuração (1/4)

Scripts
 conjuntos de operações da uma tarefa real que,
durante uma simulação com o sistema serão realizados
por uma amostra de usuários-alvo do aplicativo.

Cenários
 contexto ambientais e organizacionais que
caracterizam a realização das tarefas; ex. urgência,
ruídos, interrupções,
Ensaios de Interação
Elementos de Configuração (2/4)

Amostra de Usuários
 especialistas nas tarefas, novatos, experientes na
operação do sistema e outros;

Local de realização
 local de trabalho;
 laboratório;
Ensaios de Interação
Elementos de Configuração (3/4)

Constrangimento





esclarecer que quem está sendo testado é o
software.
não pressioná-los a participarem dos ensaios;
não expô-los a comentários de colegas.
Cansaço  parar.
Garantia de privacidade.
Ensaios de Interação
Elementos de Configuração (4/4)

Situações de impasse
 não interferir inicialmente;

Não prolongar as situações de impasse;
 mostrar o caminho ao usuário ou;
 propor a troca de tarefas;

Encerrar o ensaio no caso de constrangimentos;
registro da observação
Papel e caneta.
 Registro em vídeo.



Verbalização simultânea.
Verbalização consecutiva

Monitoramento da sessão -

Técnicas de registro da observação.


Transcrição.
Esquemas de códigos.
via screenCam
Ensaios de Interação
Estratégia



Análise Contextual
Diagnóstico preliminar
Definições
 Scripts, Cenários e amostra de usuários

Realização de Ensaios
 Obtenção da amostra de usuários
 Ajustes nos scripts e cenários
 Planejamento e Execução

Relatório do ensaio
 Análise e interpretação dos dados obtidos
 Redação do relatório do ensaio
Ensaios de Interação
Resultados Quantitativos

Métricas de produtividade na interação
 Eficácia = quantidade de tarefas realizadas * 100 /
quantidade de tarefas solicitadas
 Eficiência em uma tarefa = tempo produtivo na
tarefa*100/tempo total da tarefa
 Tempo produtivo na tarefa = tempo total da tarefa tempo não produtivo na tarefa
Ensaios de Interação
Resultados Qualitativos

Confirmação de diagnóstico preliminar de
problemas na interface

Identificação de novos problemas na interface
a partir da observacao e análise das situações
de incidente/não produtivas
MONTAGEM DE ENSAIO DE INTERAÇÃO
ANÁLISE PRELIMINAR
Reconhecimento do software
Pré-diagnóstico Ergonômico
DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA
Reconhecimento do usuário
Coleta de informações
sobre o usuário e sua tarefa
Definição de tarefas para o usuário
REALIZAÇÃO DOS ENSAIOS
Obtenção da amostra de usuários
Ajuste nos scripts e cenários
Preparação dos ensaios
Realização dos ensaios
Coleta e análise dos dados
Diagnóstico e relatório final
Compromisso de uma técnica de
avaliação








Efetividade –quantidade de problemas sérios)
identificados - heurísticas e os ensaios de
interação;
Abrangência –quantidade de problemas reais checklists e as avaliações heurísticas;
Eficiência - os ensaios de interação;
Produtividade – relação eficência/custo;
Sistematização – repetitividade e
reproduzibilidade - Checklists.
Facilidade de aplicação –checklists;
Poder de persuasão - ensaios de interação e as
avaliações heurísticas
Poder de desobstrução.
Projeto de uma avaliação
análise : identificação dos requisitos da
avaliação;
 projeto preliminar : seleção das técnicas
aplicáveis;
 projeto detalhado : configuração das
técnicas;
 implementação : realização da avaliação;
 documentação : elaboração do relatório;
 validação : confronto entre os resultados
esperados e obtidos com a avaliação.
