Avaliação em ambientes
virtuais de aprendizagem
Laguardia, J.; Portela, M.C.; Vasconcellos,
M.M.
Fundação Osvaldo Cruz
Educação e Pesquisa, São Paulo, v.33. n.3, p.
513-530, set/dez 2007
Por que ?
 Avaliação:
 Reflexão “espontânea” – desafios,
dificuldades na prática como docente.
 Reflexão “provocada” – forum.
Conservadorismo.
 Esse texto: ao acaso, proximidade. Mais
amplo do que procurava e mais útil em nosso
contexto justamente por isso.
Objetivos
 Apresentar aspectos conceituais e
metodológicos que norteiam os protocolos de
estudo de avaliação dos ambientes de
aprendizagem virtual e da aprendizagem
nesse meio.
Resumo
 A crescente oferta de cursos de EaD e a crescente
demanda governamental por cursos de EaD não tem
se acompanhado por avaliações adequadas dessas
iniciativas.
 A estreita relação que se estabelece entre
comunicação e educação dentro da EaD de terceira
geração, utilizando as novas Tecnologias de
Comunicação e Informação (TIC), requer o emprego
de conceitos e métodos que transcendem a área de
educação.
Resumo – cont...
 O texto apresenta tópicos relativos à avaliação das
TIC e à aprendizagem nos ambientes virtuais onde
elas vem sendo utilizadas, nos cursos de EaD.
 Introdução
 Avaliação da TIC
 Tipos de avaliação em ambientes virtuais
 Modelos de avaliação em ambientes virtuais
Introdução
 Mudanças de ordem econômica, técnicas, sociais e





culturais que servem de base para o aparecimento
de e demanda para EaD.
Economia pós-industrial baseada no conhecimento.
Processos de trabalho exigindo habilidades
metacognitivas, de aprendizado contínuo e
cooperativo.
Novas Tecnologias de Informação e Comunicação –
comunicação mediada pelo computador.
Características da EaD – flexibilidade, abertura.
Autonomia individual, liberdade intelectual.
Ausência de estudos avaliativos – tempo e falta de
conhecimento especializado.
Avaliação de TIC
 Avaliação : “aplicação sistemática de procedimentos
metodológicos para determinar, a partir dos objetivos
propostos e com base em critérios internos e/ou
externos, a relevância, a efetividade e o impacto de
determinadas atividades com a finalidade de tomada
de decisão.”
 “Julgamento de valor a respeito de uma intervenção
ou sobre qualquer um de seus componentes...”
Avaliação de TIC
 Repercussões – natureza benéfica ou adversa de
suas consequências.
 Correlação potencial tecnológico e capacidade de
preencher as necessidades e os desejos econômicos
e sociais.
 Não deve se restringir apenas à tecnologia em si,
mas focar a interação entre a TIC e os usuários.
Avaliação de TIC
 Investigações quantitativas x qualitativas.
 Tipos de abordagens: experimental (ensaio clínico),
pragmática (estudo de caso), econômica (custobenefício, custo-efetividade), naturalista (interação
dos indivíduos).
 Desenhos de estudos: objetivistas e subjetivistas.
(parte mais difícil do texto...)
 Metodologias híbridas – quali e quantitativas.
Tipos de avaliação de ambientes virtuais
de aprendizagem
 Investigação das condições em que a aprendizagem
acontece (estrutura), modos pelos quais os
estudantes são capazes de interagir (processos) e
alcance de objetivos e metas propostos (resultados).
 Poucos indicadores específicos ou adequados de
educação digital a distância. Indicadores de países
desenvolvidos.
 Níveis de interação aluno-tutor-conteúdo-interface –
fator crítico para o sucesso da aprendizagem
baseada na tecnologia.
Tipos de avaliação de ambientes virtuais
de aprendizagem
 Desenho do currículo, ambiente de aprendizagem e interface de





aprendizagem devem ser avaliados – satisfação do usuário e
usabilidade (avaliação ergonômica).
Carga de trabalho mental e prático exigida. Aspectos cognitivos,
funcionalidade.
Avaliação externa com enfoque no ambiente sociocultural –
custo-benefício, custo-efetividade.
Avaliação externa com enfoque nos coordenadores e
promotores – conflitos de interesses, participação.
Avaliação do processo de avaliação do curso.
Certificação ISO.
Tipos de avaliação de ambientes virtuais
de aprendizagem
 Kirkpatrick – 1975/1998 – avaliação de aprendizagem em
programas de treinamento empresarial. 4 níveis:
1 – reação e ação planejada – relatórios de progresso, autoavaliação, satisfação, como pretende usar conhecimento.
 2 – aprendizagem – pré e pós testes, simulações, jogos,
detectar mudanças de atitude.
 3 – aplicação – após término do curso. “Knowledge x Knowhow”. Verificar aplicação no ambiente de trabalho.
 4 – resultado – repercussões na empresa, retorno do
investimento, redução absenteísmo, melhora motivação etc.

Métodos de avaliação de ambientes
virtuais de aprendizagem
 Modelo sugerido – Benigno, V. & Trentin, G. – The
evaluation of on line courses. J. Computer Assisted
Learning, 2000; 16: 259-270.
 Elemento central nos cursos online: interação.
 Indicadores: alguns do ensino presencial e outros
ligados à sociabilidade do processo (participação,
interação com tutor, níveis de colaboração).
Modelo proposto –
Benigno & Trentin
 Elementos chave (9):
1.
2.
Características individuais – competência inicial,
experiências, motivação, logística de participação, habilidades
de manuseio computador, expectativas. Questionário de
entrada.
Análise quantitativa da participação – números entradas,
mensagens, participações em discussões síncronas /
asssíncronas. Análise automática (algoritmos de técnicas
sociométricas) / estatística.
Modelo proposto
3.
4.
Análise qualitativa das mensagens - Conteúdo e
contribuição colaborativa. Problema de “quantificar a
qualidade”. Impressões pessoais do tutor - metodologia
inadequada. Sugere-se usar 4 elementos básicos (grid
qualitativo): número de mensagens, características de
interatividade das mensagens, extensão na qual as
mensagens cobrem os tópicos sugeridos, profundidade na
qual os tópicos são explorados – de modo a avaliar qualidade
da participação e conteúdo. Ter previamente um “check-list”
de tópicos que deveriam ser abordados. Produção de
trabalho de grupo. Relatórios de progresso ao tutor.
Agentes de interface, tecnologia de mineração de dados.
Desenvolvimento de projeto final.
Modelo proposto
5.
6.
7.
8.
Análise da comunicação – dinâmica de interação, interação
com tutor, estratégias de ensino e/ou operacionais.
Ambiente de aprendizagem – características que influenciam
positiva ou negativamente o aprendizado. Acesso, clima etc.
Material utilizado – livros, artigos, softwares.
Tecnologia de comunicação – facilidade de uso, efetividade.
Questionário final – visão do participante: conteúdo,
aspectos educacionais, materiais, aspectos organizacionais,
logística de participação, aspectos técnicos (TIC), atuação de
tutores e “experts”, satisfação.
Ficha final de participação do aluno preenchida pelo tutor:
compilando a participação.
Modelo proposto
9. Retorno do investimento – comparação com
cursos presenciais. Avaliar uso do conhecimento no
ambiente de trabalho.
Segundo a modalidade de avaliação:
 Avaliação diagnóstica – questionário inicial,
características do aluno.
 Avaliação formativa – avaliação tradicional (testes),
ferramentas síncronas (chat) e assíncronas (forum),
mapeamento conceitual, portfólios.
 Avaliação somativa – questionários de satisfação,
testes pré e pós, análise de artigos, produções finais,
auto-avaliação.
Conclusões do artigo
 A escolha da metodologia para avaliar um curso em
ambiente virtual depende da proposta educacional e
dos interesses dos grupos envolvidos
especificamente no curso em questão. Há inúmeras
possibilidades e o processo deve ser individualizado.
 É necessário que instituições promotoras de cursos
de EaD discutam e implementem metodologias de
avaliação que permitam reve-los, adequa-los,
aprimora-los.
Conclusões pessoais sobre o artigo
 Apresenta questões técnicas e metodológicas




importantes para a “prática” da EaD de terceira
geração / digital.
Avaliação dos ambientes virtuais é fundamental –
estabelecimento de padrão de qualidade.
Avaliação do aprendizado faz parte da avaliação da
qualidade do curso.
Avaliar o aluno é importante para avaliar a qualidade
do curso e sua relevância (através do impacto).
Avaliação já faz parte do processo de ensino –
aprendizagem – avaliações ruins estimulam
aprendizagem ruim !
Conclusões pessoais após o artigo
 Multidisciplinaridade da EaD ficou muito evidente.
A leitura dos textos me exigiu procura de conceitos e
definições de áreas as mais variadas: pedagogia (ou
melhor andragogia?), psicologia, antropologia,
filosofia, informática, etc.
 Não é possível dominar todas as áreas em “uma só
vida”....mas é imprescindível conhecer alguns
conceitos de outras áreas. Professor é conteudista e
tutor, mas para melhor desempenho nesse ambiente,
deve ampliar seus conhecimentos.