Um ambiente para
avaliação
Objetivos
 Explicar conceitos e termos da avaliação
 Descrever paradigmas de avaliação e técnicas
utilizadas no design de interação
 Discutir questões conceituais, práticas e
éticas que devem ser consideradas quando
planejamos uma avaliação
 Introduzir o framework DECIDE
Paradigma da avaliação
Todo tipo de avaliação é dirigida
implicitamente ou explicitamente por um
conjunto de crenças freqüentemente baseadas
na teoria. A associação dessas crenças e
métodos é conhecido como paradigma da
avaliação.
Estudando o usuário
Estudar o usuário consiste em observar
como estes se comportam em seus ambientes
naturais ou em laboratórios, com tecnologias
já utilizadas e com as novas tecnologias.
4 paradigmas de avaliação
• Método “rápido e sujo”
• testes de usabilidade
• estudos de campo
• avaliação predictiva
Avaliação “rápida e suja”
• Avaliação “rápida e suja” descreve a prática que
os designers utilizam informalmente para obter um
feedback dos usuários ou consultados para
confirmar que as suas idéias estão convergentes
com as expectativas e necessidades dos usuários.
• Avaliação “rápida e suja” é executada o tempo todo.
• A ênfase é a contribuição rápida para o processo de
design ao invés de uma obtenção mais cuidadosa
desses dados.
Teste de usabilidade
• Testes de usabilidade envolve registrar a
performance do usuário na execução de tarefas
típicas em um ambiente controlado. Observação de
campo também pode ser utilizada.
• A performance dos usuários é observada, gravada
em vídeo e gerado um “log”.
• Esses dados são utilizados para calcular os tempos,
identificar erros, e tentar explicar porque os
usuários executaram as tarefas de determinada
forma.
• São utilizados questionários e entrevistas para
obter o grau de satisfação do usuário.
Estudos de campo
• Estudos de campo são realizados no ambiente
natural
• Os objetivos são entender como os usuários
procedem naturalmente e que impacto a
tecnologia tem sobre eles
• No design de produtos, o estude de campo pode
ser utilizado para:
- identificar oportunidades para novas tecnologias
- determinar os requisitos de design
- decidir a melhor maneira de introduzir uma nova
tecnologia
- avaliar a tecnologia em uso
Avaliação predictiva
• Especialistas utilizam os seus conhecimentos a
respeito dos usuários típicos, geralmente
guiados pela heurística, para predizer
problemas de usabilidade.
• Um outro enfoque teórico baseado em
modelos pode ser utilizado.
• O grande benefício desta avaliação é que não
há necessidade do usuário estar presente.
• É relativamente rápido e de baixo custo.
Overview de técnicas
 Observando os usuários
 perguntando aos usuários a sua opinião
 obtendo a opinião dos especialistas
 testando a performance do usuário
 modelando a performance do usuário
DECIDE:
Uma estrutura para guiar a
avaliação
• Determine os objetivos da avaliação.
• Explore as questões específicas.
• Choose (escolha) as técnicas e paradigmas.
• Identify (identifique) as questões práticas.
• Decide (decida) como lidar com questões éticas.
• Evaluate (avalie), interprete e apresente os dados.
Determine os objetivos
• Quais são os objetivos gerais da avaliação?
• Quem precisa e por quê?
• Os objetivos determinam o melhor paradigma
• Alguns exemplos de objetivos:




Identificar qual a melhor metáfora a ser utilizada.
Verificar a consistência final de uma interface.
Identificar como a tecnologia influi na execução de tarefas.
Melhorar a usabilidade de um produto existente.
Explore the questions
• Todas as avaliações necessitam ter os seus
objetivos bem determinados para não
desperdiçarmos tempo em estudos mal definidos.
• Por exemplo, o objetivo de determinar quantos
consumidores preferem comprar as suas passagens
aéreas no balcão ao invés de adquiri-las pela
Internet pode ser subdividida em subquestões:
- Como é o comportamento dos novos consumidores?
- Eles estão familiarizados com as questões de segurança na
compra on line?
- A interface de venda é muito pobre?
• Quais as perguntas que você faria para projetar
esta interface para ser visualizada no celular?
Escolha as técnicas e
paradigmas de avaliação
• Os paradigmas de avaliação tem forte
influência sobre as técnicas a serem utilizadas,
de como os dados serão analisados e
apresentados.
• Por exemplo, estudos de campo não envolve
testes ou modelagem.
Identifique questões práticas
Por exemplo:
• selecione os usuários
• fique dentro do orçamento
• matenha o cronograma em dia
• encontre os avaliadores
• selecione o equipamento
Decida sobre questões éticas
• Crie um formulário de consentimento
• Os participantes devem ser informados:
- quais os objetivos do estudo
- o que será feito com as informações
- privacidade dos dados pessoais
- nome não será citado sem o consentimento
- pode interromper a avaliação quando quiser
- será tratado com muita atenção e polidez
Evaluate, interpret & present
data
• How data is analyzed & presented depends on
the paradigm and techniques used.
• The following also need to be considered:
- Reliability: can the study be replicated?
- Validity: is it measuring what you thought?
- Biases: is the process creating biases?
- Scope: can the findings be generalized?
- Ecological validity: is the environment of the
study influencing it - e.g. Hawthorn effect
Pilot studies
• A small trial run of the main study.
• The aim is to make sure your plan is viable.
• Pilot studies check:
- that you can conduct the procedure
- that interview scripts, questionnaires,
experiments, etc. work appropriately
• It’s worth doing several to iron out problems
before doing the main study.
• Ask colleagues if you can’t spare real users.
Key points
 An evaluation paradigm is an approach that is influenced by
particular theories and philosophies.
 Five categories of techniques were identified: observing
users, asking users, asking experts, user testing, modeling
users.
 The DECIDE framework has six parts:
- Determine the overall goals
- Explore the questions that satisfy the goals
- Choose the paradigm and techniques
- Identify the practical issues
- Decide on the ethical issues
- Evaluate ways to analyze & present data
 Do a pilot study