Ambientes e Programas
de Aprendizagem
a Distância
Avaliação
Miriam Struchiner
Laboratório de Tecnologias Cognitivas
Núcleo de Tecnologia Educacional para a Saúde -NUTES/UFRJ
Características Gerais da EAD
• abertura e flexibilidade (seqüência, relação espaçotempo, ritmo, requisitos x abertura)
• mediatização (baseia-se no uso de meios, materiais
educativos e estratégias de comunicação)
• finalidades da iniciativa educativa
• abordagem e estratégias pedagógicas
• perfil do grupo participante (aprendiz adulto, situado
em seu contexto, autonomia e responsabilidade)
• relação educação-trabalho (teoria-prática) conhecimento científico, escolar e da prática
• logística complexa (gerência, distribuição etc.)
Definindo Avaliação de Programas Educativos
Processo pelo qual se emite um julgamento de valor à
qualidade de características dos alunos, grupo, ambiente
educativo, objetivos educacionais, materiais educativos,
programas de ensino-aprendizado, com o objetivo de
intervir sobre uma dada realidade e modificá-la.
Paradigmas de Avaliação:
 enfoca o produto e suas formas de manifestação
(resultados); métodos quantitativos e estatística;
 preocupado não apenas com o produto final mas com o
processo (métodos qualitativos e quantitativos).
Momentos e Finalidades em Avaliação de EAD
Momentos
Finalidades
Avaliação relativa ao
processo de produção:
avaliação formativa
Analisar a qualidade do material
produzido; analisar estratégias de
implementação
Avaliação relativa ao
processo de
implementação do
programa:
avaliação somativa
Analisar a qualidade do programa,
de suas atividades, elementos e dos
resultados obtidos
Avaliação relativa ao
impacto do programa:
avaliação a longo prazo
Analisar as mudanças no processo
de trabalho e na formação
profissional; cobertura, qualidade
da atenção e no contexto envolvido.
Avaliação relativa ao processo de produção
Modelo de Apreciação Analítica
Baseia-se em
observação, análise
e julgamento para o
planejamento e
produção, e/ou
seleção de materiais
Questiona os materiais,
combinando metodologias
de coleta e análise de dados

Estudo Piloto com a População Alvo do Sistema
- Observação
- Registro das Atividades (portfolio, “navegação”,
forum)
- Avaliação do Programa/material e da Experiência
pelos Orientadores e Coordenação (entrevistas e
questionários)
- Avaliação do Programa/material e da Experiência
pelos Alunos (entrevistas e questionários)
- Avaliação da Aprendizagem (problemas, casos,
Não define ordem para as
monografias, mapas conceituais – pós e pré
diferentes etapas. Alguns
teste)
elementos de avaliação são
comuns e outros específicos
 Painel de Especialistas
de cada avaliador
- Profissionais experientes em diferentes aspectos
do sistema (conteúdo, funcionamento,
apresentação, enfoque pedagógico/linguagem).
Painel de Especialistas: considerações
Especialistas, na
posição de usuários,
interagem, analisam e
julgam a qualidade e
validade
Um método de baixo
custo, porém, eficiente
Necessita cautela na
seleção de seus
membros e atenção no
perfil dos profissionais
participantes
 Realiza-se em estágio avançado de
desenvolvimento do material/ambiente educativo.
 Permite a interação dos diferentes conhecimentos
envolvidos no processo de produção e de
utilização.
 Acomoda pequeno número de especialistas pode
detectar problemas relevantes. (3-10 membros
participam).
 Podem ser feitos tantos painéis quanto
necessários para dar conta de todas as questões.
 Perfil de especialistas: experiência em produção
de materiais educativos, conhecimento sobre
EAD, experiência prática na área de aplicação do
conteúdo, conhecimento do conteúdo e/ou ensino
do conteúdo e outros perfis necessários.
Avaliação relativa ao Processo de Implementação
• avaliação do aluno
Avaliação do Aluno
• avaliação do
programa
e de seus elementos e
dinâmica
• avaliação gerencial
(logística,
compromisso
institucional)
avaliação da aprendizagem: depende das
finalidades do programa educativo
avaliação do desempenho /processual
(qualitativa: portfolios, registros de atividades,
foruns) - uso de pré e pós-teste???
- avaliar conhecimentos (mapas conceituais,
discussão e análise de problemas) habilidades
(práticas), atitudes desenvolvidas (prática e
abordagens diante de problemas no processo
por meio da observação, do diálogo etc.) aprendizagem baseada em competências
(avaliação integrada)
autoavaliação (parte do processo de “aprender a
aprender” e de auto-responsabilização sobre o
processo - rever metas etc)
avaliação para fins de certificação (segue as
normas oficiais)
Avaliação relativa ao Processo de Implementação 2
• avaliação do aluno
• avaliação do
programa
e de seus elementos e
dinâmica
• avaliação gerencial
(logística,
compromisso
institucional)
Avaliação do Curso (Dinâmica, Elementos e
Resultados)
avaliação pelos alunos (a), pelos orientadores (o),
coordenação (c) e pela equipe (e)
avaliação do material educativo - em contexto - o
material se concretiza com seu uso (facilidade de uso e
manipulação do material; linguagem adequada;
estratégia educativa, validade do conteúdo etc.) (c) (a)
(o) (e)
avaliação do processo de tutoria (competências para
motivar, interagir no prazo e com qualidade, estimular
a cooperação, orientar, compartilhar e investigar)- (c)
(a) (o)
avaliação da dinâmica (interação no grupo,
cooperação, construção da autonomia, autoavaliação
do aluno, uso e troca de informações e materiais) (c)
(a) (o) (e)
avaliação dos resultados obtidos (interação dos
resultados de todas as avaliações (dos alunos, do
processo do curso e, se possível, do impacto) - (e) e
consultores ad hoc.
Avaliação relativa ao Processo de Implementação 3
• avaliação do aluno
• avaliação do
programa
e de seus elementos e
dinâmica
• avaliação gerencial
(logística e apoio
institucional)
Avaliação gerencial (logística e apoio
institucional)
•
•
•
•
processo de divulgação
processo de seleção
distribuição e acesso ao material e atividades
funcionamento e suporte (fluxo de informação;
comunicação entre sujeitos; manejo com
orientadores)
• suporte e orientação no uso dos meios/materiais e na
comunicação
• produção de titulação`término e evasão
• custo benefício
• estudos prospectivos
• avaliação da institucionalização do programa
• análise das contribuições do programa para a
instituição
Uma experiência piloto com um curso de EAD
Gestão Descentralizada
de Recursos Humanos em Saúde / PADHRUS
Finalidades do Estudo Piloto
Avaliar as potencialidades e limitações do modelo pedagógico
desenvolvido no Curso de Gestão Descentralizada de Recursos Humanos
Analisar a percepção dos alunos, dos orientadores e dos coordenadores
sobre a ação educativa mediada por ferramentas pedagógicas
disponibilizadas no ambiente construtivista a distância.
Avaliar como se processa, em ambiente virtual, o desenvolvimento da
interatividade, da cooperação e da autonomia, como dimensões
prioritárias para a aprendizagem siginficativa.
Investigar como os alunos, alunos e coordenadores percebem a
construção dessas dimensões no processo de aprendizagem a distância.
Analisar o processo do estudo piloto do Curso de Gestão Descentralizada
de Recursos Humanos em Saúde, como uma estratégia de avaliação
formativa, que visa acompanhar o desenvolvimento e o aprimoramento do
programa.
Características do Curso
Etapas do Estudo Piloto
(1) Oficina de apresentação do curso e capacitação dos
orientadores e do coordenador. Duração: 3 dias
Pressupostos teóricos do construtivismo; Fundamentos principais da EAD:
Ambiente pedagógico, aluno, orientador e ferramentas; Estudo de caso como
estratégia de aprendizagem; Ambientação do Programa PADRHUS e avaliação
construtivista; tomada de decisões sobre o desenho do curso piloto.
(2) Desenvolvimento da Etapa Piloto
60 dias (2000); 20 profissionais de RH (serviço e ensino); dois orientadores;
Avaliação final dos alunos: uma situação problema em grupo e duas
individuais, realizaram avaliação formativa que consistiu de um questionário
qualitativo contendo a reflexão sobre o conteúdo teórico do
curso;participação no forum coletivo.
(3)Atividades de Avaliação
entrevistas com o coordenador e orientadores e uma entrevista coletiva com a
equipe a fim de colher um maior número de informações e aspectos para a
análise. Os questionários foram disponibilizados no próprio programa por
meio eletrônico e foram destinados aos alunos participantes do curso.
Análise e Resultados
Fonte de dados: foram considerados os
questionários
distribuídos
aos
alunos,
as
transcrições das entrevistas realizadas com os dois
orientadores e a coordenadora do curso e a
entrevista coletiva, realizada com a equipe docente.
Dos 20 alunos que ingressaram no curso, 16
concluíram todas as atividades, 14 todas as
avaliações e 10 responderam os questionários motivos: (1) falta de tempo para realizar (família e
chefia); (2) problema com computador pessoal;
problemas com Internet.
Avaliação dos aspectos positivos e negativos
Aspectos positivos
Estratégias pedagógicas bem
elaboradas e disponibilizadas
de forma clara na
apresentação
Conteúdo rico e adequado à
realidade dos RHs em saúde
disponibilizado por meio da
Internet.
Aspectos negativos
Problemas na apropriação
das informações contidas na
apresentação
Recomendações
Entrega de um manual
explicativo impresso, antes
do início do curso.
Dificuldades com o acesso as
Os orientadores e
ferramentas e ao uso do
coordenador devem conhecer
sistema tecnológico e ao
detalhadamente as
computador
ferramentas do programa e
seu conteúdo teórico
Metodologia de
Critérios de seleção (ou préUma apresentação do
problematização da realidade requisitos) pouco definidos.
programa deve preceder ao
em saúde.
início do curso, quando
possível.
Possibilita melhor adequação
Acesso ao programa, de
O tempo de dedicação dos
do tempo, segundo os
forma particular (em casa),
integrantes do programa
interesses do aluno.
normalmente a noite e
deve ser redimensionado com
conferindo custo elevado e
as suas instituições de
acessado
trabalho
Análise e Resultados
•O programa e o modelo pedagógico foram bem aceitos pelo conjunto de
participantes, indicando que o modelo construtivista tem potencial para a
educação continuada de profissionais de saúde.
• Fatores que potencializaram ou dificultaram o desenvolvimento da
interatividade, cooperação e autonomia no ambiente foram:
• fatores sócio-culturais (dificuldades com o computador e/ou Internet;
forma de expressão escrita; necessidade de direção docente)
• fatores pedagógicos (abordagem facilitou a atividade, a reflexão crítica,
relação formação-processo de trabalho)
• fatores tecnológicos (instabilidade da infraestrutura tecnológica no país
e na região estudada - quedas da rede)
•fatores relativos às condições de estudo.
Laboratório de Tecnologias Cognitivas
NUTES/UFRJ
[email protected]
http://ltc-ead.nutes.ufrj.br