CRITÉRIOS DE AVALIAÇÃO PARA A EDUCAÇÃO A
DISTÂNCIA
Msc. Ana Maria Silveira Turrioni – UNIFEI – Itajubá
Dra. Rita de Cássia Magalhães Trindade Stano – UNIFEI - Itajubá
Resumo
Objetiva-se neste artigo, discutir e propor um modelo para acompanhamento e revisão de
disciplinas na modalidade Educação a Distância. A avaliação das disciplinas é um aspecto
fundamental para a melhoria da qualidade de um curso a distância. Portanto, a discussão
dos critérios a serem utilizados neste processo é de fundamental importância. Apresenta-se
inicialmente, uma fundamentação teórica sobre a definição dos critérios. A partir daí,
discutem-se os relacionamentos entre os critérios apresentados e propõe-se um modelo
para utilização destes critérios. Como resultado é apresentado o modelo de avaliação e um
instrumento de acompanhamento. Para a sua aplicação pretende-se, após a discussão do
mesmo, analisar a sua adequação à realidade da Educação a Distância em Instituições
ligadas ao Ensino Superior no Brasil.
Palavras chave: Critérios de Avaliação, Revisão, Educação a Distância.
I – Introdução
Está em curso, nas Universidades européias e norte-americanas, o desenvolvimento de uma
cultura de avaliação, em que são estabelecidos critérios e parâmetros para o controle e a
garantia da qualidade dos serviços prestados à sociedade. No Brasil, este movimento
avaliativo nacional é recente e está em fase de implantação. As dificuldades para o
estabelecimento de critérios para se acompanhar e medir o Sistema de Educação Nacional
Brasileiro – SINAES, especificamente a Educação Superior, são inúmeras, devido a fatores
como diversidade regional, amplitude territorial e número de Universidades, bem como
diversificação de modalidades de educação superior: a distância, presencial, seqüencial.
Em decorrência da necessidade de efetuar avaliações de sistemas e de instituições, o
processo ensino-aprendizagem precisa ser também, devidamente acompanhado, como
ponto de partida para o sucesso do empreendimento educacional, em sua micro-instância,
ou seja, nos ambientes de aprendizagem.
A crescente utilização das novas tecnologias no processo de ensino-aprendizagem trouxe
novas questões a serem exploradas e relacionadas à avaliação dos resultados obtidos no
processo ensino-aprendizagem.
Assim, toda atividade educacional, nesta micro-instância do processo de ensinar e aprender,
deve ser devidamente planejada e nesta fase é necessário que o professor tenha clareza
sobre os objetivos da atividade, o que se deseja verificar, quais habilidades e competências
devem ser desenvolvidas mediante a atividade em questão.
Também é necessário que se determine o que será observado, para verificar se os
aprendizes estão caminhando em direção aos objetivos definidos. Ou seja, devem ser
estabelecidos alguns critérios de avaliação para a verificação da ocorrência da
aprendizagem.
O processo ensino-aprendizagem num contexto formal tem um sujeito responsável pelo
planejamento e execução de atividades que resultem positivamente neste processo. O
professor aqui referido é o sujeito capaz de refletir acerca de sua mediação no processo de
aprendizagem e de se adequar e transgredir os ditames tecnobrurocráticos do próprio
sistema educacional. Desta forma, a discussão dos instrumentos a serem utilizados pelo
professor para acompanhar o processo de aprendizagem é uma maneira de garantir
qualidade e renovação ao seu próprio ato de ensinar. Conforme Demo, “o pior vício está
na preservação da postura docente dos que apenas ensinam, porque apenas aprenderam”
(Demo, 1992, p.33)
Nos cursos presenciais, o professor pode ter a sua tarefa facilitada pela possibilidade de
interação direta com os condutores do processo – outros professores e os alunos.
Entretanto, a avaliação continua sendo um meio muito discutido e pouco modificado nos
ambientes de ensino-aprendizagem, reduzindo-se a acompanhamento das presenças,
planejamento e registros das aulas e a uma avaliação enquanto medida de resultados.
Estas alternativas tem-se mostrado, entretanto, insuficientes para garantir a gestão
adequada do processo.
Na modalidade Educação a Distância, os processos de ensinar e aprender apresentam
especificidades que impedem a mera transposição didática e requerem competências e
habilidades docentes diferenciadas e cuidadosamente desenvolvidas.
O professor na modalidade a distância passa a ter uma interação diferente com os alunos,
sendo necessária sua intervenção através de ações de maior controle para garantir o
resultado do processo.
Muitos questionamentos a respeito da validade dos resultados obtidos vêm sendo feitos,
principalmente em relação à qualidade do conhecimento que está sendo construído e
absorvido pelos alunos nesta nova situação, caracterizada pela aprendizagem nãopresencial. Estes questionamentos levaram os coordenadores de cursos a distância a
repensar a forma de fazer a gestão do processo.
O contexto acima descrito vem conduzindo a comunidade acadêmica à discussão sobre a
necessidade de se proporem critérios para acompanhamento das disciplinas, de forma que
através deste acompanhamento e do atendimento destes critérios, o professor possa
garantir a qualidade do conhecimento construído no processo.
Este artigo apresenta a discussão e a proposição de um conjunto de critérios para a
avaliação das disciplinas do Curso de Especialização em Gestão de Pessoas e
Gerenciamento dos Projetos Sociais da Universidade Federal de Itajubá – UNIFEI.
II – A Educação a Distância e o papel do revisor
Caracteriza-se Educação a Distância como modalidade educacional na qual a mediação
didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de
meios e tecnologias de informação e comunicação, com estudantes e professores
desenvolvendo atividades educativas em lugares ou tempos diversos. (BRASIL, 2005)
A EaD é uma modalidade de ensino com características especiais e duas delas se destacam:
- o uso intensivo da tecnologia de informação, com problemas advindos das dificuldades de
adaptação, dificuldades culturais etc.
- a segunda característica é a dificuldade de contato entre aluno e formador gerando
desconfianças de ambos os lados.
Considerando tais características, torna-se imprescindível discutir os parâmetros para a
avaliação de um curso dentro do modelo de Educação a Distância. Neste ambiente de
ensino e aprendizagem são muitos os desafios que vão, desde mudanças de
comportamento, até o desenvolvimento de novas habilidades no uso das novas tecnologias
de informação e comunicação.
Neste sentido, o primeiro obstáculo a ser superado é o cultural, pois a modalidade EaD
supõe o domínio e a compreensão da dinâmica própria do ensinar e do aprender em
ambientes virtuais, em que outras mediações estão presentes face à ausência de situações
tradicionais da educação formal (sala de aula com carteiras, sincronicidade, quadro de giz
etc). Os formadores têm dificuldades na adaptação à tecnologia e na aceitação das novas
demandas deste novo ambiente que exige uma participação muito maior e com um
agravante: esta participação não é contínua e também não é simultânea, dificultando
bastante a comunicação.
Isto exige mudanças nos métodos didáticos e pedagógicos e leva o professor a repensar os
métodos de avaliação, dado que a tradicional avaliação presencial mostra sinais de desgaste
neste novo ambiente.
Outro desafio é o acesso contínuo a várias fontes de informação, exigindo um esforço
muito grande para a atualização do docente a fim de poder exercer a função de
coordenador/orientador do processo ensino/aprendizagem.
Surge, então, a necessidade de uma função de apoio que permita este acompanhamento de
forma adequada. Trata-se do denominado revisor. Integrado à equipe de um curso de EaD,
tem como função apoiar o trabalho da coordenação, coletando informações sobre as
disciplinas e apoiando os professores na melhoria das mesmas, tendo como fundamento a
proposta pedagógica do curso em questão e as diretrizes estabelecidas para o curso no
projeto pedagógico.
Torna-se, portanto, fundamental a discussão de instrumentos que apóiem o revisor de
disciplinas conduzidas na modalidade de Ensino a distância.
Entre todos estes desafios, destacam-se algumas características específicas que nortearam a
definição dos critérios para revisão das disciplinas:
1. A comunicação: no modelo tradicional ela ocorria somente numa direção – a do
professor para o aluno. Na EaD a comunicação ocorre em múltiplas direções,
principalmente entre os alunos, exigindo do professor um trabalho muito sério de
direcionamento e estabelecimento de fronteiras, de tal forma que não seja
permitido o desvio dos objetivos planejados para a disciplina.
2. A descontinuidade do acesso as informações disponíveis no ambiente de
aprendizagem. O professor não consegue prever o momento em que o aluno vai
acessar o ambiente, dificultando a interação e o apoio aos alunos. Da mesma forma,
o aluno também não sabe quando o professor está disponível, dificultando o
esclarecimento das dúvidas.
3. A avaliação, processo que exige mudanças nos instrumentos avaliativos,
conduzindo ao repensar os métodos de avaliação e exigindo muito mais dos
formadores.
Para atender a estes desafios, o professor tem à sua disposição várias ferramentas,
considerando o ambiente Teleduc de aprendizagem virtual. O problema está em decidir o
como e quando utilizá-las. Isto gera uma série de problemas e o professor muitas vezes tem
dificuldades diante de tantas alternativas. Em função deste cenário mudam as características
das disciplinas, exigindo de professores e alunos novas funções com habilidades distintas
das anteriores.
Para otimizar o acompanhamento das disciplinas e apoiar as atividades dos revisores e
coordenadores, foram elaborados alguns critérios que estão sendo consolidados para
compor o instrumento que será utilizado para a revisão das disciplinas. Tais critérios
resultam de discussões e de uma construção necessária que se fez coletiva na dinâmica de
trabalho do curso de especialização a distância. A equipe se compõe de professores,
tutores, coordenadora e revisora.
III – Critérios para revisão de disciplinas dentro de um curso conduzido na
modalidade EaD
Na Literatura concernente ao tema, foram encontrados alguns trabalhos que tratam do
estabelecimento de critérios para revisão de disciplinas. A proposta aqui é construir, a partir
destes, um conjunto de critérios que possa ser utilizado em um curso conduzido na
modalidade ensino a distância.
Chien (2007) propõe um modelo de 11 etapas para ajudar os formadores a melhorar seu
material instrucional e aumentar a satisfação dos alunos durante a aprendizagem,
considerando que a melhoria do processo de aprendizagem tem se tornado importante
tarefa no ensino. Os critérios propostos são os seguintes: 1. experiência do formador; 2.
estabelecimento dos fatores de influência para a satisfação dos alunos; 3. estabelecimento
do ciclo de controle para o formador; 4. construção de questionários de avaliação junto aos
alunos; 5. projeto de melhorias na disciplina; 6. coleta dos comentários com os alunos; 7.
determinação das ações de melhoria; 8. execução do plano de ação; 9. condução de
questionário de satisfação; 10. avaliação da melhoria; 11. estabelecimento de novo padrão.
Inglis (2008) analisa sete exemplos para avaliação de disciplinas a distância. Os autores
apresentam algumas propostas para a análise da estrutura de disciplinas, destacando uma
que contém cinco critérios: programa, conteúdo, instrutor, pedagogia e plataforma de
aprendizagem. Para este autor os principais aspectos que podem fornecer informações para
pesquisas sobre educação a distância são: o estudante, o tutor/orientador, o processo de
aprendizagem, o processo de ensino, o processo de comunicação, o material de
ensino/aprendizagem, o ambiente, o momento, o corpo educacional, avaliação.
Todos estes critérios relacionados à educação a distância são caracterizados por sua
flexibilidade, computabilidade, facilidade de uso e centralização no estudante. Um processo
educacional que ative e ensine os estudantes a aprender e a como agir independentemente
ao longo do caminho exploratório. Para tal, o autor destaca a utilização criativa de todo o
recurso educacional e de toda mídia para transmissão de informações.
Para Stefani et al(2006) a EaD é intensiva no uso de dados, direcionada para o usuário, e
tem necessidades crescentes de multiculturalismo, eficiência, adaptatividade e
competitividade.
Alguns trabalhos relativos ao tema, abordam apenas mudanças em países que já discutem a
questão dos critérios há algum tempo, como Stensaker et al(2008), que analisam os
modelos utilizados para avaliação de cursos na Dinamarca, Reino Unido e Noruega. Os
resultados indicam que as avaliações estão mudando o foco da atenção, saindo do modelo
baseado no desempenho do aluno, passando para o foco na coerência do programa de
formação, tornando-a mais integrada e objetivando questões de ensino e aprendizagem
mais diretamente.
No Brasil, com a adoção do SINAES, ficou acordado, entre outras coisas, que o sistema
nacional de ensino superior deve incluir revisões externas. Esta proposta está dentro da
lógica de que não é possível atingir metas que não sejam mensuráveis e que não se
gerenciam sem a avaliação da realização das metas planejadas.
A figura 1 apresenta o modelo proposto em que as setas indicam as relações entre os vários
critérios apresentados. Estas relações foram estabelecidas para permitir a validação da
proposta de modelo em trabalhos futuros.
1
Inserção no
Projeto
Pedagógico
4
Interatividade
e
Comunicação
Condução das
Aulas
8
Usabilidade
2
Conteúdo
da
Disciplina
5
Atividades
Avaliativas
6
3
Organização
e
Estrutura
7
Planejamento
e Programação
das aulas
Conhecimento
Produzido e
Absorvido
9
Avaliação
Discente
10
Figura 1: Modelo de Revisão de disciplinas dentro da EaD
No presente trabalho foi abordada a necessidade de novos métodos para maximizar a
usabilidade e, portanto, a satisfação do usuário final, onde se destacam 4 características
básicas: a funcionalidade, a usabilidade, a eficiência e a confiabilidade.
Os critérios propostos foram adaptados de Aldrige e Parker (2006) que analisaram duas
instituições norte-americanas: a University of Maryland University College (UMUC) e a
Troy University, ambas com tradição na utilização da EAD. Estas Universidades
desenvolveram instrumentos para avaliação de disciplinas conduzidas dentro do conceito
de Ensino a distância. Apesar dos instrumentos serem diferentes em sua estrutura, as áreas
abordadas são similares, ou seja, possuem os mesmos elementos básicos.
IV - Desenvolvimento do Modelo Quantitativo para Revisão de Disciplinas
Conforme descrito na figura 1, o modelo proposto é composto por 10 critérios. Nesta
seção estes critérios serão detalhados e será definida uma escala que permite a aplicação
deste modelo para avaliação de disciplinas em um Curso na modalidade EaD.
Os critérios propostos são os seguintes:
1. Inserção da Disciplina no Projeto Pedagógico do Curso
Inserção
•
A disciplina não se insere no projeto pedagógico (1)
•
A disciplina está inserida no projeto pedagógico, mas não contribui para o
objetivo do mesmo (2)
•
A disciplina está inserida no projeto pedagógico e contribui para o objetivo
do mesmo (3)
•
Existe coerência completa entre disciplina e projeto pedagógico (4)
Atividades de Aprendizagem Ativa
•
A disciplina não apresenta atividades de aprendizagem ativa (1)
•
A disciplina apresenta atividades de aprendizagem ativa, mas estas não estão
relacionadas com os objetivos (2)
•
A disciplina apresenta atividades de aprendizagem ativa que atingem
parcialmente os objetivos (3)
•
A disciplina apresenta atividades de aprendizagem ativa que atingem
totalmente os objetivos (4)
2. Conteúdo da Disciplina
Clareza e precisão
•
O conteúdo não foi definido (1)
•
O conteúdo foi definido, mas não está claro (2)
•
O conteúdo está claro, mas não atende os objetivos de aprendizagem (3)
•
O conteúdo está claro e atende os objetivos de aprendizagem (4)
Bibliografia
•
A bibliografia não foi definida (1)
•
A bibliografia foi definida, mas não está coerente com o conteúdo (2)
•
A bibliografia está coerente com o conteúdo, mas não disponível (3)
•
A bibliografia está coerente e disponível (4)
3. Organização e Estrutura da Disciplina
Os objetivos de aprendizagem
•
Não foram definidos (1)
•
Foram definidos, mas não estão claros (2)
•
Definidos de forma clara, mas não estão coerentes com os projeto
pedagógico (3)
•
Definidos de forma clara e coerentes com o projeto pedagógico (4)
Estrutura
•
Não foi definida (1)
•
Foi definida, mas está confusa (2)
•
Foi definida de forma clara, mas não está coerente com o projeto
pedagógico (3)
•
Está clara e coerente com o projeto pedagógico (4)
4. Interatividade e Comunicação
Comunicação do formador
•
O formador não se comunica com os alunos ao longo do desenvolvimento
da disciplina (1)
•
O formador faz raras intervenções não relacionadas com o conteúdo da
disciplina (2)
•
O formador faz raras intervenções relacionadas ao conteúdo (3)
•
O formador intervém freqüentemente com observações relacionadas ao
conteúdo (4)
Uso de fórum de discussão pelo formador
•
O formador não participa do fórum (1)
•
O formador participa do fórum, mas não contribui para a discussão (2)
•
O formador participa do fórum raramente e contribui para a discussão (3)
•
O formador participa freqüentemente do fórum e contribui para a discussão
e participação (4)
Uso do fórum de discussão pelos alunos
5.
•
A média de participação dos alunos com comentários dentro do conteúdo
está abaixo de 20% (1)
•
A média de participação dos alunos com comentários dentro do conteúdo
está entre 20% e 50% (2)
•
A média de participação dos alunos com comentários dentro do conteúdo
está entre 50% e 75% (3)
•
A média de participação dos alunos com comentários dentro do conteúdo
está acima de 75% (4)
Usabilidade
Facilidade de navegação
•
O aluno não consegue acessar o conteúdo (1)
•
O aluno consegue acessar o conteúdo, mas o download é demorado (2)
•
O aluno acessa o conteúdo, faz o download rapidamente, mas não consegue
abrir o arquivo (3)
•
O aluno acessa o conteúdo, faz o download e usa as mídias conforme
planejado (4)
Acessibilidade
•
O aluno não consegue encontrar os links do ambiente (1)
•
O aluno encontra os links, mas não consegue acessá-los (2)
•
O aluno encontra os links, acessa, mas não consegue editar (3)
•
O aluno encontra os links, acessa e edita (4)
6. Planejamento e Programação das Aulas
Planejamento
•
As aulas não foram planejadas (1)
•
As aulas foram planejadas, mas o conteúdo não está bem distribuído (2)
•
As aulas foram planejadas, o conteúdo foi bem distribuído, mas é excessivo
(não é adequado) (3)
•
As aulas foram planejadas, o conteúdo está bem distribuído e é adequado à
carga horária (4)
Programação
•
Não foi feita a programação de cada aula (1)
•
Foi feita a programação de cada aula, mas o conteúdo está excessivo para a
carga horária específica (2)
•
Foi feita a programação, o conteúdo está bem distribuído, mas não está
coerente com o objetivo da disciplina (3)
•
Foi feita a programação, o conteúdo está bem distribuído e coerente com os
objetivos da disciplina (4)
7. Conhecimento produzido e absorvido
Conhecimento produzido
• Os alunos não realizaram as atividades previstas (1)
• Abaixo de 30% dos alunos realizaram todas as atividades (2)
• Entre 30% e 70% dos alunos realizaram todas as atividades (3)
• Mais de 70% dos alunos realizaram todas as atividades (4)
Conhecimento absorvido
• Abaixo de 30% dos alunos obtiveram aprovação (1)
• Entre 30% e 50% dos alunos obtiveram aprovação (2)
• Entre 50% e 70% dos alunos obtiveram aprovação (3)
• Mais de 70% dos alunos obtiveram aprovação (4)
8. Condução das aulas
Acompanhamento do professor
• O professor acompanha as atividades de menos de 30% dos alunos (1)
• O professor acompanha as atividades de 30% a 50% dos alunos (2)
• O professor acompanha as atividades de 50% a 75% dos alunos (3)
• O professor acompanha as atividades de mais de 75% dos alunos (4)
Acompanhamento dos tutores
• Os tutores acompanham as atividades de menos de 30% dos alunos (1)
• Os tutores acompanham as atividades de 30% a 50% dos alunos (2)
• Os tutores acompanham as atividades de 50% a 75% dos alunos (3)
• Os tutores acompanham as atividades de mais de 75% dos alunos (4)
9. Atividades avaliativas
Coerência com os objetivos da disciplina
• A avaliação não foi coerente com os objetivos da disciplina (1)
• De 30% a 50% das questões estavam coerentes com os objetivos da
disciplina (2)
• De 50% a 70% das questões estavam coerentes com os objetivos da
disciplina (3)
• Acima de 70% das questões estavam coerentes com os objetivos da
disciplina (4)
Coerência com o conteúdo desenvolvido na disciplina
• A avaliação não foi coerente com o conteúdo da disciplina (1)
• De 30% a 50% das questões estavam coerentes com o conteúdo da
disciplina (2)
• De 50% a 70% das questões estavam coerentes com o conteúdo da
disciplina (3)
• Acima de 70% das questões estavam coerentes com o conteúdo da
disciplina (4)
10. Avaliação discente
Satisfação dos alunos
•
A disciplina atingiu menos de 30% de critérios classificados como bom e
ótimo (1)
• A disciplina atingiu entre 30% a 50% de critérios como bom e ótimo (2)
• A disciplina atingiu entre 50% e 80% entre bom e ótimo (3)
• A disciplina atingiu mais de 80% entre bom e ótimo (4)
Importante destacar que o modelo aqui proposto é de avaliação e não de verificação. Para
Luckesi(1995) a avaliação direciona o objeto para uma trilha dinâmica enquanto a
verificação provoca o seu congelamento. Portanto, avaliar supõe uma maneira de apoiar
novas possibilidades, tornando o processo dinâmico e vivificado por tomadas de decisão.
V. Considerações Finais
O desenvolvimento de critérios para a revisão de disciplinas dentro da EaD é fundamental,
dado que este modelo vem sendo bastante discutido em diversos países.
O modelo de revisão de disciplinas ainda está em construção, podendo sofrer alterações a
partir de sua utilização. Como se trata de um processo espera-se que o mesmo receba
críticas, pois não é usual a realização deste tipo de revisão de disciplinas.
Desta forma torna-se essencial que toda a equipe envolvida no estudo esteja engajada na
discussão e validação do modelo, consolidando o trabalho avaliativo com um caráter
coletivo de superação de obstáculos e de tomada de decisões e mudanças em prol da
qualidade de ensino que se almeja.
Os critérios propostos foram discutidos pela equipe de trabalho e adaptados de publicações
recentes e de alta relevância. Espera-se que esta proposta inicial possa contribuir para a
melhoria da qualidade dos cursos oferecidos na modalidade EaD pela UNIFEI.
Recomendam-se como futuros trabalhos dentro desta linha de pesquisa a análise da
aplicação do modelo proposto para revisão de disciplinas e discussão de sua validação e a
avaliação da utilização do modelo como base para todos os cursos oferecidos pela UNIFEI
na modalidade EaD.
Referências Bibliográficas
ALDRIDGE, S. C. & PARKER, M. L. Evaluating Quality in Fully online U. S. University
Courses: A Comparison of University of Maryland University College na Troy University.
Revista Brasileira de Aprendizagem Aberta e a Distância, São Paulo, Vol, 5, 2006.
BRASIL, Decreto 5.622 de 19 de dezembro de 2005
CHIEN, Te. King. Using learning satisfaction improving model to enhance the teaching
quality. Quality Assurance in Education. Vol 15, n.2, 2007, PP 192-214.
DEMO, Pedro. Formação de formadores básicos. Em aberto, Brasília, ano 12, n.54, abr/jun.1992,
p.23-42.
INGLIS, Alistain. Approaches to the validation of quality frameworks for e-learning. Quality
Assurance in Education. Vol. 16, n.4, 2008, PP. 367-362.
LUCKESI, C. A avaliação da aprendizagem escolar. São Paulo, Cortez, 1995.
STEFANI, A.; VASSILADIS, B.; XENOS, M. On the quality assessment of advanced elearning services. Interactive technology and Smart Education, Vol.3, n.3 August 2006.
STENSAKER, B.; BRANDT, E.; SOLUM, N. H. Changing systems of external examinator.
Quality Assurance in Education, Vol 16, n.3, 2008, PP 211-223.