Contribuição para Avaliação da Usabilidade
Plataforma e-Learning - Moodle
Martinha Fonseca Piteira
Escola Superior de Tecnologia de Setúbal
[email protected]
O Ensino Superior – Desafios e Estratégias
Setúbal, 26 de Setembro de 2006
Índice
ÍNDICE
1. Usabilidade. O que é?
• Conceitos
2. Importância da usabilidade sob três perspectivas
• utilizador
• programador
• gestor
3. e-Learning e usabilidade
1. contextualização do problema
4. Estudo empírico
• Problemas / hipóteses de investigação
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
2
1
Índice
ÍNDICE
• Contexto do estudo empírico
• Metodologia – Instrumentos de Investigação
• Resultados
6. Bibliografia
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
3
1. Usabilidade: O que é?
Usabilidade: o que é? (I)
Norma ISO-9241-11, define a usabilidade
•
como a capacidade de um determinado produto ser usado por
utilizadores específicos para atingir objectivos específicos com eficácia,
eficiência e satisfação num contexto específico de utilização.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
4
2
1. Usabilidade: O que é?
Usabilidade: o que é? (II)
Nielsen (1993)
•
Integra
a
usabilidade
como
um
dos
parâmetros
associados com a aceitabilidade1 do sistema. Ele associa
5 atributos à usabilidade:
[1] A aceitabilidade de um sistema computacional é a combinação da sua aceitabilidade social e a sua aceitabilidade prática. Se o sistema é socialmente
aceite, é necessário analisar a sua aceitabilidade prática, através de categorias como custo, compatibilidade com sistemas existentes, etc.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
5
1. Usabilidade: O que é?
Usabilidade: o que é? (III)
Intuitividade
Eficiência
Memorização
Satisfação
Erro
Usabilidade
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
6
3
1. Usabilidade: O que é?
Usabilidade: o que é? (IV)
A Usabilidade é um “atributo de qualidade”, usado para
aferir a facilidade de utilização de interfaces entre sistemas
informáticos e utilizadores.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
7
2. A importância da usabilidade
A importância da usabilidade (I)
A importância da usabilidade pode ser analisada sob 3 perspectivas,
(www.usabilityfirst.com):
- Na perspectiva do utilizador;
- Na perpectiva do programador;
- Na perspectiva dos Gestores.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
8
4
2. A importância da usabilidade
A importância da usabilidade (II)
Perspectiva do Utilizador
- A usabilidade é importante porque pode ser a diferença
entre a realização de uma tarefa correcta e completa ou não. Por
um lado a satisfação, por outro a frustação.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
9
2. A importância da usabilidade
A importância da usabilidade (III)
Perspectiva do Programador
A usabilidade é importante porque significa a diferença entre o sucesso ou
o insucesso do sistema.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
10
5
2. A importância da usabilidade
A importância da usabilidade (IV)
Perspectiva dos Gestores
- A usabilidade é importante no ponto de vista dos gestores,
porque software com uma fraca usabilidade pode reduzir a
produtividade da equipa a um nível de performance mais baixa, do
que não tendo o sistema.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
11
2. A importância da usabilidade
Exemplo - A importância da usabilidade (V)
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
12
6
3. Usabilidade e e-Learning
Contextualização do Problema (I)
O propósito de um software educacional é suportar a aprendizagem. Logo
o software deverá ter em conta a forma de aprender dos alunos e ser
possuidor de uma boa usabilidade, de modo a: permitir aos alunos interagir
com o software de uma forma natural e intuitiva quanto possível.
Assim, deverá existir uma sinergia entre o processo de aprendizagem e
a interacção do aluno com o software.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
13
3. Usabilidade e e-Learning
Contextualização do Problema (II)
As características de usabilidade deverão não só permitir aos alunos
manipular
eficientemente
o
software,
mas
também
permitir
a
aprendizagem de tarefas.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
14
7
3. Usabilidade e e-Learning
Contextualização do Problema (III)
Design centrado no utilizador
Design centrado no aluno
(D.C.U.)
(D.C.A.)
Permite
ferramentas
desenvolver
usáveis
e
Coloca o aluno, no centro
da concepção do curso
acessíveis
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
15
3. Usabilidade e e-Learning
Contextualização do Problema (IV)
Quando se utiliza a metodologia D.C.A., estamos a identificar as
necessidades dos alunos que vão para além das necessidades dos
utilizadores típicos.
Uma interface de um sistema educacional é especialmente efectiva
quando o aluno é capaz de se focar no conteúdo da aprendizagem em
vez de se focar em como utilizar a interface.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
16
8
3. Usabilidade e e-Learning
Contextualização do Problema (V)
As características das ferramentas usadas para suportar a aprendizagem são
factores que afectam o processo.
Uma das mais importantes características de qualquer software é a
usabilidade.
Assim a usabilidade de ambientes educacionais está relacionada com o seu
valor didáctico Kirkpatrick (1994) e a avaliação da usabilidade é parte do
processo de modo a estabilizar a sua qualidade.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
17
3. Usabilidade e e-Learning
Contextualização do Problema (VI)
Podemos assim, afirmar que a usabilidade dos sistemas de e-Learning
deve ser um desafio, para todos os intervenientes no desenvolvimento
dessas aplicações de modo a contribuir para a motivação, satisfação e
consequentemente sucesso na conclusão da aprendizagem.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
18
9
4. Estudo Empiríco
Problemas / Hipóteses de Investigação
Problemas:
…….
Qual o modo de aprendizagem adoptado pelos alunos, quando utilizam uma
ferramenta de ensino à distância?
Hipóteses de Investigação:
H1 – A idade afecta a percepção da usabilidade.
H2 – A experiência computacional afecta a percepção da usabilidade.
H3 – A experiência profissional afecta a percepção da usabilidade.
H4 – O desempenho afecta a percepção da usabilidade
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
19
5. Contexto do estudo empirico
Contexto do estudo empirico (I)
O teste de avaliação da usabilidade decorreu no semestre ímpar
do ano lectivo de 2005/2006, na Escola Superior de Tecnologia,
por alunos do primeiro ano, de
cursos de engenharia não
pertencentes à àrea de informática, num total de 4 cursos.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
20
10
5. Contexto do estudo empirico
Contexto do estudo empirico (II)
O teste realizou-se em sala de laboratório, equipada com 12 computadores e
acesso à Internet;
O teste realizou-se ao longo de uma semana, com os alunos divididos pelos
seus respectivos horários de aula de laboratório, com duração de 2 horas;
Os alunos não tinham conhecimento do que lhe iria ser pedido nessa aula de
laboratório. Apenas tinham sido informados préviamente que nessa aula
seriam sujeitos a uma avaliação.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
21
5. Contexto do estudo do estudo empirico
Contexto do estudo empirico (III)
Introdução ao alunos do que era pretendido:
- acederem ao URL fornecido, e que esse URL correspondia a
uma plataforma de e-learning;
- Através dessa plataforma teriam de aprender uma nova
matéria e realizar após aprendizagem o teste de avaliação de
conhecimentos;
- A matéria sobre a qual tinham de realizar a aprendizagem, era
um dos módulos da unidade curricular Introdução à Informática: Tabelas
em HTML.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
22
11
5. Contexto do estudo do estudo empirico
Contexto do estudo empirico (IV)
Após acederem à plataforma:
- os alunos não podiam falar verbalmente entre eles;
- podiam falar, mas utilizando as ferramentas
colaborativas disponíveis pela plataforma: chat e forum, mas
apenas enquanto estivessem a realizar a aprendizagem, não
enquanto realizavam o teste de avaliação de conhecimentos;
- Após realização da aprendizagem e teste de avaliação
de conhecimentos, os alunos deveriam efectuar o logout do
sistema;
- A observadora apenas interviu no inicio, ao longo do
teste de avaliação de usabilidade, interviu o menos possível,
para não desvirtuar o ambiente que se pretendia criar: ensino à
distância.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
23
6. Metodologia - Instrumentos de Investigação
Metodologia - Instrumentos de Investigação
- Questionário de perfil de utilizador;
- Análise aos logs da aplicação (identificação do tipo
de ajuda);
- Grelha de observação, para registar os
acontecimentos por sessão;
- Análise das grelhas de avaliação da plataforma,
relativamente à identificação do desempenho dos
alunos no teste de avaliação de conhecimentos;
- Questionário de avaliação da usabilidade
percebida.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
24
12
6. Metodologia - Instrumentos de Investigação – Perfil de Utilizador
Metodologia - Instrumentos de Investigação
–
–
–
–
–
–
–
–
1) Informações Pessoais
Idade (seleccione uma opção)
17-25
26-35
36-45
46-55
Acima dos 55
2) Experiência Profissional
É estudante-trabalhador? Se sim, qual a sua actividade profissional?
_____________________________________________________________________________________
Se respondeu SIM, à questão anterior, indique qual o tempo de permanência na actual actividade profissional?
(seleccione uma opção)
Menos de um mês
Entre 1 a 6 meses
De 6 meses a dois anos
De 2 a 10 anos
Há mais de 10 anos
3) Experiência Computacional
Em média, quantas horas por semana utiliza o computador? (seleccione uma opção)
Menos de 2 horas
Entre 2 a 5 horas
Entre 5 a 10 horas
Mais de 10 horas
Nunca
.........................................................., entre outros ….
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
25
6. Metodologia – Instrumento de Investigação – Análise de Logs
Instrumento de Investigação – Análise de Logs e registo de conversação no
chat
-Tipo de ajuda
- Ferramenta
- Matéria
- Tipo de aprendizagem
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
26
13
6. Metodologia – Instrumento de Investigação – Grelha de Observação
Instrumento de Investigação – Grelha de Observação
- Login
- Estudo da matéria
- Realização do teste
- Logout
- Entre outros….
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
27
6. Metodologia – Instrumento de Investigação – Grelha de Desempenho
Instrumento de Investigação – Grelha de Desempenho
- Identificação do desempenho obtido pelo aluno
no teste de avaliação de conhecimentos
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
28
14
6. Metodologia – Instrumento de Investigação – Questionário Avaliação
Usabilidade
Instrumento de Investigação – Questionário de Avaliação da Usabilidade
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
29
6. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
•O tratamento dos dados foi efectuado com recurso à ferramenta
SPSS (Statistical Package for the Social Sciences)
- Esse tratamento consistiu numa primeira fase na obtenção
de médias e desvio padrão, relativas a cada
dimensão
(idade,
experiência
experiência computacional,
profissional e desempenho).
- Numa segunda fase, analisar se as diferenças de médias
entre os dois perfis de cada dimensão, eram significativas.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
30
15
6. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
- Os dados obtidos na primeira fase sugerem-nos que a
usabilidade percebida da plataforma Moodle pelos quatro perfis
de utilizadores é alta.
- Na segunda fase foram analisadas as médias, e se, as
diferenças encontradas eram significativas. Para tal, foi
utilizada a técnica estatística student t, disponível no SPSS.
Após análise, foram encontradas diferenças de médias
significativas no diferentes perfis de utilizadores.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
31
6. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
32
16
6. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
Resposta às hipóteses de investigação
Os dados sugeriram que:
H1
- A idade afecta a percepção da usabilidade.
H2
- A experiência computacional afecta a percepção
da usabilidade.
H3
- A experiência profissional afecta a percepção da
usabilidade.
H4
- O desempenho afecta a percepção da
usabilidade.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
33
3. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
Resposta às questões abertas
Aspectos positivos:
- Facilidade de utilização;
- Interface agradável e simples de usar;
- Facilidade de compreensão;
- Estrutura da informação;
- Facilidade de aprendizagem;
- Método de estudo.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
34
17
6. Resultados
Instrumento Investigação – Questionário de Avaliação da Usabilidade
Resposta às questões abertas
Aspectos negativos:
- As cores;
- Chat;
- Logout do sistema.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
35
3. Análise de Resultados
Instrumento Investigação – Análise aos Logs e registo de conversação no
chat
- Tipo de ajuda;
- Modo de aprendizagem;
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
36
18
FIM
Obrigada pela vossa atenção!!!!
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
37
Bibliografia
BIBLIOGRAFIA
•Alexander, S. (1995). Teaching and learning on the World Wide Web. In R. Debreceny & A. Ellis (Eds.)
Ausweb95:Innovation and Diversity. Ballina, New South Wales: Norsearch Limited.
•Ardito, C., Marsico, M. , Lanzilotti, R. Levialdi, S., Roselli, T., Rossano, V. Tersigli, M., (2004 ). Usability
of E-Learning Tools, in Proceedings of AVI, May 25-28, Gallipoli, pp 80-84.
•Dias, A., (2002) How Age Affects User Performance
http://hid.fidelity.com/q2202/age.htm, acedido em 2006/02/15.
on
the
Web.
Disponível
em
•Dix, A., Finlay, J., Abowd, G., Beale, R. (2004), Human-Computer Interactio. Prentice Hall Pearson.
•ISO 9241, (1998): Ergonomics Requirements for Office Work with Visual Display Terminal, Part 11:
Guidance on Usability.
•Nielsen, J. (1993). “Usability Engineering”. New Jersey: Academic Press.
• Piteira, Martinha (2006). “ Avaliação da Usabilidade Percebida: Plataforma de e-Learning Moodle”.
Ibero-American Conference, IADIS. Espanha, Murcia.
•Poulymenakou, A, (2004). Designing Affective-Oriented e-Learning Courses: An Empirical Study
Exploring Quantitative Relations between Usability Attributes and Motivation to Learn. Presentation for
ED-Media, Conference in Lugano, Switzerland.
“Contribuição para Avaliação da Usabilidade – Plataforma Moodle”
Martinha Fonseca Piteira
26 de Setembro de 2006
38
19