Ferramentas para Avaliação de
Software
Palestrante: Karin Cristina Siqueira Ramos
Local: GEIAAM
Data: 20.09.2001
Estágios do Desenvolvimento e Avaliação de Software
Que ferramenta usar para avaliar?






Questionários;
Entrevistas;
Testes;
Observações
...
Uma combinação destes.
Ferramentas de Avaliação
(http://mime1.marc.gatech.edu/MM_Tools
/evaluation.html)
Anedoctal Record (Relatório de Ocorrência)



Captura histórias importantes e incidentes
ocorridos
Gravar a descrição verbal do incidente
(testemunhado ou ouvido)
Separar a descrição da interpretação do
incidente
Anedoctal Record (Relatório de Ocorrência)
Exemplo:
Data: ____
Local: ____
Nome Observador: ______
Descrição do Incidente: ...
Interpretação: ....
Checklist para Revisão do Especialista

Usar na formativa (como o software multimídia
pode ser melhorado?) e também na somativa (qual
efetividade e utilidade do software?)

Preferencialmente para ser usado por designer
instrucionais

Diferenciar o checklist para o especialista no
conteúdo do checklist para o especialista em
interface
Checklist para Revisão do Especialista
Exemplo:
Nome do revisor: ____ Data: ____
a) Revisão do Design Instrucional
(clareza dos objetivos e do feedback, velocidade
apropriadas)
e dificuldade
b) Revisão do Design Estético
(bom desenho da tela, cores apropriadas, displays fáceis de entender)
c) Revisão da Funcionalidade Geral
(operação sem falhas)
Relatório de Revisão Formativa

Qualquer pessoa pode fazer essa revisão do
software em seus estágios iniciais (inclusive
futuro usuário)

Tabela: identificação da tela
observações (erros, questionamentos, dúvidas)
ações a serem tomadas por projetistas
Relatório de Revisão Formativa
Exemplo:
Nome: _____ Quando: _____
Tela
Menu
Principal
Comentários
A palavra portfolio
é soletrada errado
Ação Tomada
Soletrar corretamente
Protocolo de Entrevistas

Para coletar dados sobre as reações dos
aprendizes e instrutores

Servem para identificar as questões mais
importantes relativas ao software

Selecionar uma amostra para aplicar

As perguntas geralmente são dissertativas
Protocolo de Entrevistas
Exemplo de Questões:
o
o
o
o
o
o
Qual sua especialidade?
Descreva sua 1a. reação com o IMM.
Descreva sua opinião atual sobre o IMM.
Quais problemas você experimentou?
Que melhorias você sugere?
Você necessitou de treinamento extra para usar?
Questionário

Tipo de instrumento mais freqüentemente usado
para avaliação

Podem ser apresentados de várias formas
(questões abertas, múltipla escolha, checklists)

Cuidar para que o questionário não tome muito
tempo da pessoa

Dele podemos tirar muitas informações, não
somente se usuário “gostou” do software.
Questionário
Exemplo:
•
Nome curso : ___
Local: ____
Nome (opcional): ____
Data: ____
•
•
•
•
•
Conteúdo
Design
Instrutor
Ambiente
Resultados
Alcance
Individualizado
(20 tipo N/A 1 2 3 4 5)
Questionário
•
Como você melhoraria o curso?
(múltipla escolha)
•
Que outras melhorias recomendaria a esse
curso?
•
O que foi menos válido nesse curso?
•
O que foi mais válido nesse curso?
Formulário de Julgamento de
Qualidade da Interface (Rating)

Interface com o Usuário (UI) é um elemento crítico
que deve ser cuidadosamente avaliado

Formulário com 10 critérios para “julgar” a UI

Nem todos os critérios são relevantes em todo tipo
de software

Não se deve fazer esta avaliação com usuários
novatos em software interativos
Formulário de Julgamento de
Qualidade da Interface (Rating)
(Desenvolvida por Reeves e adotada por Campos)

Facilidade de uso: Difícil
Fácil

Navegação: Difícil

Carga Cognitiva: Confusa

Mapeamento: Nenhum

Desenho Tela: Viola

Compatibilidade Espaço Conhecimento :
Incompatível
Compatível
Fácil
Intuitiva
Poderoso
Segue Princípios
Formulário de Julgamento de
Qualidade da Interface (Rating)
(Desenvolvida por Reeves e adotada por Campos)

Apresentação Informação: Obtusa
Clara

Integração Mídias: Descoordenada
Coordenada

Estética: Desagradável

Funcionalidade Geral:
Disfuncional
Altamente Funcional
Agradável
Conclusão
Existem várias ferramentas que podem
ser usadas para avaliar um software, cada uma
com diferentes abordagens e facilidades.
Deve-se então escolher aquela(s) mais
apropriada(s) e possível de ser(em) usada(s).
Conclusão
Por exemplo:
Um questionário pode ser usado para
coletar informações sobre as reações globais
com um software. Depois, podem ser usadas
entrevistas para coletar informações mais
detalhadas.