Instrumento para a Avaliação de Objectos de
Aprendizagem
(LORI)
Manual do Usuário
John Nesbit ([email protected])
Karen Belfer ([email protected])
Tracey Leacock ([email protected])
O LORI foi desenvolvido para a Rede de Pesquisa e avaliação em E-Learning ou eaprendizagem (eLera) com o apoio da Telelearning NCE, CANARIE Inc, e EduSource Canada.
Agradecemos à Natasha Boskic, Anne Archambault e John Vargo pelo seu trabalho nas
versões anteriores do LORI.
Learning Object Review Instrument (LORI)
Versão 2.0
2009-01-01
O que são objectos de aprendizagem?
Objectos de aprendizagem são recursos online
ou softwares interactivos usados para
aprendizagem. Uma única imagem, uma página
de texto, uma simulação interactiva, ou um
curso completo, podem todos ser exemplos de
objectos de aprendizagem. Quando concebidos
para a reutilização, os objectos de aprendizagem
podem ser partilhados e os custos de produção
gerais reduzidos.
Porque precisamos de um instrumento de
avaliação?
Uma procura através de um vasto repositório de
objectos de aprendizagem na internet pode ter
como resultado milhares de objectos. As
avaliações ajudam os usuários a optar pela
qualidade e adequação. O LORI facilita a
comparação dos objectos, fornecendo um
formato de avaliação comum.
6. Utilização Interactiva: Facilidade de
navegação, previsibilidade da interface
do usuário, e qualidade das funções de
ajuda da interface.
7. Acessibilidade: Concepção de controlos
e formatos de apresentação para
acomodar alunos deficientes e em
mobilidade.
8. Conformidade com os Padrões:
Aderência aos padrões e operatividade
internacionais no que respeita às
plataformas técnicas normalmente
usadas
Como são os objectos classificados?
Alto
O que é o LORI?
Ao avaliar um objecto de aprendizagem com o
LORI, os revisores podem avaliar e comentar
tendo em conta 9 aspectos:
Baixo
1. Qualidade do Conteúdo: Precisão,
apresentação equilibrada de ideias, nível
apropriado de detalhes, e reutilização
em contextos variados
2. Alinhamento dos Objectivos de
Aprendizagem: Alinhamento entre os
objectivos
de
aprendizagem,
actividades, avaliações, e características
do aluno.
3. Feedback e Adaptação: Conteúdo ou
feedback adaptativo impulsionados pelo
input ou modelação do aluno
4. Motivação: Habilidade de motivar e
interessar um grupo concreto de alunos
5. Concepção
da
Apresentação:
Concepção de informações visuais e
sonoras para uma aprendizagem
reforçada e processamento mental
eficaz
Para cada item, a qualidade é avaliada numa
escala de valores de cinco níveis. Se o item é
considerado como não relevante para o objecto
de aprendizagem, ou se o revisor não se sente
qualificado para julgar esse critério, então o
revisor pode optar pela exclusão do item,
escolhendo “não aplicável” (NA).
Como deverá o LORI ser usado?
O LORI pode ser usado para avaliações
individuais e de Painel. Quando usado numa
avaliação de painel, recomendamos o modelo
convergente de participação para a avaliação
colaborativa (Besbit, Belfer, & Vargo, 2002). Os
resultados para cada item devem ser
apresentados
como
valores
médios
acompanhados de comentários dos revisores.
Para mais informações sobre a teoria e
evidências que apoiam o LORI, veja Leacock e
Nesbit (2007) e outros relatórios publicados.
Referências
Leacock, T.L., & Nesbit, J.C. (2007). A qualidade
dos objectos de aprendizagem. Tecnologias
Educacionais e a Sociedade, 10 (2), 44-59.
Nesbit, J. C., Belfer, K., & Vargo, J. (2002). Um
modelo de participação convergente para a
avaliação de objectos de aprendizagem. Jornal
Canadense de Aprendizagem e Tecnologias, 28
(3), 105-120.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
1- 1. Qualidade do Conteúdo
Precisão, apresentação equilibrada de ideias, nível apropriado de detalhes, e reutilizabilidade em contextos
variados
O conteúdo não tem erros e apresenta-se sem parcialidade ou omissões que possam enganar os alunos. Os
enunciados são apoiados por evidências e argumentos lógicos. As apresentações enfatizam pontos-chave e
ideias significantes com um nível apropriado de detalhes. Os grupos culturais e étnicos são representados de
forma equilibrada e sensível. O conteúdo é aplicável a uma vasta gama de contextos de aprendizagem e
adequado para muitos tipos e níveis de alunos.
Exemplo
Numa animação da acção, de bombeamento, do coração o conteúdo é preciso, mas a
omissão de informações importantes e relevante pode enganar o aluno. A animação
mostra correctamente o sangue a mover-se do átrio direito para o ventrículo direito, e
do átrio esquerdo para o ventrículo esquerdo. Falha ao não mostrar o sangue a moverse do ventrículo direito para os pulmões e dos pulmões para o átrio esquerdo. Alguns
estudantes podem ser enganados, passando a acreditar que o sangue vai directamente
do ventrículo direito para o átrio esquerdo sem passar pelos pulmões. A animação é
adequada para a biologia do ensino secundário mas pressupõe que os alunos já
conheçam certos termos especializados como artéria e veia.
Uma ou mais das seguintes características tornam o objecto de aprendizagem inutilizável.
•
•
•
•
•
O conteúdo não é preciso.
O conteúdo é apresentado com parcialidade ou omissões significantes.
O nível de detalhes não é apropriado.
O conteúdo não se adequa à reutilização.
Diferenças culturais ou étnicas não são representadas de forma equilibrada.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
2. Alinhamento dos Objectivos de Aprendizagem
Alinhamento entre os objectivos de aprendizagem, actividades, avaliações, e características do aluno.
Os objectivos de aprendizagem são declarados, seja no âmbito do conteúdo acedido por um aluno ou dos
metadados disponíveis. Os objectivos de aprendizagem são apropriados para os alunos pretendidos. As
actividades, conteúdos e avaliações de aprendizagem fornecidos pelo objecto alinham-se com os objectivos
declarados. O objecto de aprendizagem é suficiente, em si e por si mesmo, para permitir que os alunos
alcancem os objectivos de aprendizagem.
Exemplo
Num objecto de aprendizagem sobre a função cardíaca, sete de entre dez questões
num pós-teste correspondem a
uma animação que mostra a acção de bombeamento do coração. O grupo de alunos
pretendido, dificilmente, responderia a três das questões a partir das informações
apresentadas na animação, mesmo apesar das instruções implicarem que não são
necessários recursos adicionais.
Uma das seguintes características torna o objecto de aprendizagem inutilizável.
•
•
•
Nenhum dos objectivos de aprendizagem é claro.
As avaliações, actividades de aprendizagem e outros conteúdos são substancialmente
incompatíveis.
Os objectivos de aprendizagem não são apropriados para os alunos pretendidos.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
3. Feedback e Adaptação
Conteúdo adaptativo ou feedback impulsionados pelo input ou modelação do aluno
O objecto de aprendizagem tem a capacidade (a) de criar mensagens instrutivas ou
actividades de acordo com as necessidades ou características específicas do aluno ou
(b) de simular ou construir fenómenos em estudo em resposta ao input diferencial do
aluno. Um modelo ou perfil do aluno é mantido, o qual influência o comportamento do
objecto de aprendizagem.
Exemplo
Um objecto de aprendizagem sobre a acção de bombeamento do coração apresenta
feedback, mas não mantém um modelo do aluno. Após cada questão do teste o
objecto de aprendizagem indica se a resposta do aluno está ou não errada, e, no caso
de erro, fornece a resposta correcta. Após todas as questões serem respondidas, ele
retorna uma pontuação total. Embora não use as respostas do aluno para adaptar
apresentações subsequentes, o objecto de aprendizagem pode ainda ser útil.
O objecto de aprendizagem pode apoiar a interactividade na navegação mas:
•
•
•
Não há qualquer feedback no que respeita à qualidade ou exactidão da resposta de um estudante/
Não há qualquer manutenção de um registo de respostas ou modelo de alunos que influencie
apresentações instrutivas.
Não há qualquer simulação ou conjunto de ferramentas que pode variar o seu output de acordo com
o input do aluno.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
4. Motivação
Habilidade de motivar e interessar um grupo concreto de alunos
O objecto de aprendizagem é altamente motivador. O seu conteúdo é relevante para os objectivos e
interesses pessoais dos alunos pretendidos. O objecto oferece escolha, actividades de aprendizagem
baseadas na vida real, interactividade, humor, drama, ou desafios em forma de jogo. Ele fornece
expectativas e critérios reais para o sucesso. O Feedback compara o desempenho do aluno aos critérios,
mostra as consequências naturais do desempenho, e explica como pode o desempenho ser melhorado. Os
alunos terão tendência a relatar maior interesse no tópico após terem trabalhado com o objecto de
aprendizagem.
Exemplo
Uma animação multimédia sobre a anatomia do coração é acompanhada de uma
narração sonora, apresentada completamente. O objecto inclui um pós-teste de
informações factuais, mas não existem desafios integrados na animação. O aluno não
pode controlar ou interagir com a animação. Os alunos terão tendência a relatar nem
o aumento, e nem a redução de interesse no tópico após terem trabalhado com o
objecto de aprendizagem. Apesar das suas limitações motivacionais, o objecto pode
ainda ser útil para os alunos.
Devido a uma ou mais das seguintes características, o objecto não é útil.
•
•
•
•
•
O conteúdo não é relevante para os objectivos dos alunos pretendidos.
As actividades são muito fáceis ou difíceis para os alunos pretendidos.
As funcionalidades que atraem o interesse são distracções que interferem com a
aprendizagem.
Os alunos não têm oportunidade de escolher.
O feedback não informa aos alunos sobre o seu nível de competência relativamente aos
objectivos de aprendizagem.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
5. Concepção da Apresentação
Concepção de informações visuais e sonoras para uma aprendizagem reforçada e processamento mental
eficaz
Os valores de produção e concepção de informações permitem ao usuário uma
aprendizagem eficaz. A apresentação minimiza a procura visual. O texto é legível. Os
gráficos e diagramas estão etiquetados e ordenados. Os eventos animados ou
gravados em vídeo são descritos por narração sonora. Os títulos significativos
assinalam o conteúdo das passagens de texto. A escrita é clara, concisa e sem erros. As
cores, musicas, e aspectos decorativos são esteticamente agradáveis e não interferem
com os objectivos de aprendizagem.
Exemplo
A acção de bombeamento do coração é claramente descrita em texto ao lado da
animação, mas é difícil para os alunos associar eventos específicos na animação com
as partes do texto que os descrevem. Apesar deste defeito, o objectivo de
aprendizagem pode ainda ser útil.
A concepção das informações, estética ou valores de produção são baixos. O objecto
de aprendizagem pode ser inutilizável por razoes como as seguintes.
•
•
•
•
•
•
A fonte ou tamanho de fonte escolhido reduz, significativamente a velocidade
de leitura.
As informações necessárias são ilegíveis.
A qualidade de vídeo ou áudio é insuficiente para a aprendizagem.
A escolha de cores, imagens e sons interfere com os objectivos de
aprendizagem.
A concepção das informações produz processos cognitivos desnecessários.
Não há títulos suficientes no texto ou os mesmos não são significativos para os
alunos.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
6. Utilidade interactiva
Facilidade de navegação, previsibilidade da interface do usuário, e qualidade das funções de ajuda da
interface.
A concepção da interface do usuário implicitamente informa aos alunos como interagir com o objecto, ou
existem instruções claras de uso. A navegação pelo objecto é simples, intuitiva e livre de atrasos excessivos.
O comportamento da interface do usuário é consistente e previsível.
Exemplo
A interface para uma animação da função cardíaca é útil mas pode ser melhorada
com uma concepção ou instruções melhores. A animação tem etiquetas que apenas
aparecem quando o usuário passar o cursor do mouse sobre uma parte etiquetada do
coração. É difícil julgar que partes estão etiquetadas sem passar o cursor sobre cada
parte da animação. Apesar deste defeito, o objecto de aprendizagem pode ainda ser
útil.
A interface do usuário do objecto de aprendizagem é caracterizada por uma ou mais
das seguintes caracteristicas :
•
•
•
•
•
Funcionalidades de navegação como botões e hyperlinks são inexistentes.
Vários hyperlinks ou botões não funcionam.
Atrasos de navegação são excessivos.
O funcionamento da interface não é intuitivo, e não são fornecidas
instruções.
O funcionamento da interface é inconsistente e imprevisível.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
7. Acessibilidade
Concepção de controlos e formatos de apresentação para acomodar alunos deficientes e em mobilidade.
O objecto de aprendizagem fornece um nível elevado de acomodação para os alunos com deficiências
sensoriais e motoras, e pode ser acedido através de dispositivos de assistência e altamente portáteis. Segue
as directrizes do Consórcio IMS para as Aplicações de Aprendizagem Acessíveis e está em conformidade com
as Directrizes de Acessibilidade de Conteúdo Web a nível ‘AAA’.
Exemplo
Um objecto de aprendizagem que consiste numa página HTML com uma animação
integrada fornece subtítulos para uma narração sonora e uma descrição sonora
suplementar das acções visuais. Todavia, o objecto falha no âmbito de especificar a
expansão de vários acrónimos e usa o elemento HTML FONT ao invés da propriedade
da CSS ‘font’ para controlar o tamanho da fonte. Ele está em conformidade com as
Directrizes de Acessibilidade de Conteúdo Web a nível ‘A’.
O objecto de aprendizagem é inutilizável para muitos alunos deficientes por razões
como as que se seguem.
•
•
•
•
Os vídeos não têm subtítulos.
Não são fornecidas transcrições para os ficheiros de áudio.
Faltam etiquetas nas imagens.
Os gráficos requerem a percepção de cores para que possam ser entendidos.
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
8. Conformidade com os padrões
Aderência aos padrões internacionai e operacionalidade no que respeita às plataformas técnicas
normalmente usadas
O objecto de aprendizagem adere a todos os padrões e especificações internacionais relevantes. Estes
incluem os padrões dos Metadados de Objectos de Aprendizagem IEEE, e as directrizes técnicas
desenvolvidas pela IMS, IEEE, SCORM e W3C (não incluídas as directrizes de acessibilidade). São fornecidos
em código com tags no objecto e apresentados numa página disponível a usuários, metadados padrões
suficientes.
Exemplo
Um objecto de aprendizagem baseado na Web está registado num repositório com
seis das áreas de metadados, mais comuns, no padrão IEE LOM. O objecto passa os
testes de metadados da SCORM e a validação HMTL da W3C, mas falha nos testes de
complacência da SCORM relativos a interoperabilidade e empacotamento de
conteúdos.
O objecto de aprendizagem não está conforme com nenhum dos padrões e especificações internacionais
relevantes”
•
•
Não são fornecidos metadados suficientes ou não está formatado de acordo com os padrões dos
metadados de objectos de aprendizagem.
O objecto de aprendizagem falha em todos os testes de complacência no âmbito das directrizes
da W3C e SCORM (não incluídas as directrizes de acessibilidade).
Instrumento para a Avaliação de Objectos de Aprendizagem
LORI 2.0
Folha de Pontuação
Objecto de aprendizagem __________________________________ Revisor _____________________
Observações Gerais
Alto
Baixo
1. Qualidade do
Conteúdo: Precisão,
apresentação equilibrada
de ideias, nível apropriado
de detalhes, e
reutilizabilidade em
contextos variados
1
2
3
4
5
NA
2. Alinhamento dos
Objectivos de
Aprendizagem:
Alinhamento entre os
objectivos de
aprendizagem, actividades,
avaliações, e
características do aluno.
1
2
3
4
5
NA
3. Feedback e Adaptação:
Conteúdo ou feedback
adaptativo impulsionados
pelo input ou modelação
do aluno
1
2
3
4
5
NA
4. Motivação: Habilidade
de motivar e interessar um
grupo concreto de alunos
1
2
3
4
5
NA
5. Concepção da
Apresentação: Concepção
de informações visuais e
sonoras para uma
aprendizagem reforçada e
processamento mental
eficaz
1
2
3
4
5
NA
6. Usabilidade Interactiva:
Facilidade de navegação,
previsibilidade da interface
do usuário, e qualidade
das funções de ajuda da
interface.
1
2
3
4
5
NA
7. Acessibilidade:
Concepção de controlos e
formatos de apresentação
para acomodar alunos
deficientes e em
mobilidade.
1
2
3
4
5
NA
8. Conformidade com os
Padrões: Aderência aos
padrões e operatividade
internacionais no que
respeita às plataformas
técnicas normalmente
usadas
1
2
3
4
5
NA