1
A SISTEMÁTICA DA AVALIAÇÃO DO CURSO NA EDUCAÇÃO A
DISTÂNCIA (EaD).
Wanderley Lemgruber de Sousa*.
Pós-graduado em Educação a Distância pela Universidade Castelo Branco /
Exército Brasileiro e Chefe de Equipe de Educação a Distância da Justiça
Federal do Rio de Janeiro.
Justiça Federal de 1ª Instância – Seção Judiciária do Rio de Janeiro.
*[email protected]
2
Resumo
O processo de avaliação do desempenho institucional e dos cursos promovidos
por organizações que atuam em Educação a Distância possibilita aperfeiçoar o
próprio sistema de gestão e até mesmo os sistemas pedagógicos adotados.
Com o objetivo de saber como a avaliação dos cursos virtuais pode ser
sistematizada para garantir os resultados mais efetivos, partimos de Marshall
Junior (2008) e Ricardo (2009), para identificarmos como um sistema de
avaliação pode ser fundamentado em conceituais da administração, como
“Planejamento Estratégico” e “Ciclo PDCA”; consideramos os estudos de
Carlini e Ramos (2009), Moore e Kearsley (2007) e Ministério da Educação
(2007), para reconhecer as melhores diretrizes capazes de estabelecerem uma
metodologia; e, recorremos a Kirkpatrick (1998), para sugerirmos
procedimentos e instrumentais capazes de operacionalizarem a metodologia
em situações de educação online corporativa. Adotamos como metodologia a
pesquisa bibliográfica, onde os textos disponíveis foram levantados,
selecionados e analisados. As discussões e estudos conduzidos fornecem as
principais diretrizes metodológicas e sistematizações para a avaliação somativa
do curso, capazes de conferirem os resultados mais consistentes aos
programas em Educação a Distância. A partir desse estudo, pretende-se
contribuir para o estabelecimento de procedimentos sistematizados adequados
à realização deste tipo de avaliação para situações específicas de cursos OnLine.
Palavras-chave: Avaliação do curso. Gestão em educação. Educação a
distância.
Abstract
The evaluation process of institutional performance and the courses promoted
by organizations acting in Distance Education makes perfect the own system of
management and even the adopted pedagogic systems. In order to know how
the evaluation of virtual courses can be systematized to ensure the more
effective results, we started from Marshall Junior (2008) and Ricardo (2009), to
identify as a system of evaluation can be based in conceptual of administration,
as the “Strategic Planning” and “PDCA cycle”, we have thought over Carlini and
Ramos studies (2009), Moore and Kearsley (2007) and the Ministry of
Education (2007), for recognizing the best guidelines able to establish a
methodology; and, we have resorted Kirkpatrick (1998), to suggest procedures
and instruments able performing methodology in situations of corporate
education on-line. We have adopted as methodology the bibliographical
research, where the available texts have been raised, selected and analyzed.
The discussions and conducted studies provide the main methodological
guidelines for systematic and conclusive evaluation of the course, able to give
most consistent results to the programs in Distance Education. From this study,
there is the intention to contribute to the establishment of systematized
3
appropriate procedures for performing this kind of evaluation for specific
situations of courses on-line.
Key-words: Evaluation of the course. Management in Education. Distance
Education.
4
1. Introdução
Uma iniciativa fundamental à gestão das organizações que atuam em
Educação a Distância (EaD) refere-se ao procedimento de avaliação adotado
para verificar seu desempenho. É pela avaliação institucional que se faz
possível aperfeiçoar o próprio sistema de gestão e até mesmo os sistemas
pedagógicos adotados. Assim, o problema que adotamos para esse estudo é o
de saber como a avaliação dos cursos virtuais pode ser sistematizada pelas
organizações que atuam em EaD, de forma a garantir os resultados mais
efetivos ao aperfeiçoamento dos cursos promovidos e da própria instituição.
A avaliação de processos representa uma etapa envolvida na
administração de um modo geral e, por isso, nosso tema de estudo insere-se
no contexto amplo da gestão. Por esta razão, convém apresentar alguns
esclarecimentos sobre conceitos básicos relacionados à gestão que serão
importantes à compreensão deste capítulo introdutório.
Inicialmente, é importante esclarecer que a gestão de qualquer
empreendimento, segundo Martins (2007), sempre envolverá a análise do
contexto no qual ele está inserido (Quem somos? Onde estamos?), o
estabelecimento de metas a serem alcançadas (Quem queremos ser? Onde
queremos chegar?), a definição e execução das estratégias para atingi-las (O
que fazer para atingir as metas? Como fazer?), e a avaliação dos resultados
obtidos (Estamos fazendo o que foi definido? Estamos indo em direção às
metas traçadas? Somos quem queríamos ser? Chegamos onde queríamos
chegar?).
Em linhas gerais, planejar, executar e avaliar sempre estarão presentes,
como etapas e atitudes, na gestão de qualquer processo e são inerentes a
qualquer forma de administração. A tabela 1, a seguir, apresenta uma síntese
para as atitudes e etapas gerenciais, e foi fundamenta em estudos conduzidos
por Martins (2007).
TABELA 1 – Atitudes e etapas envolvidas no processo de gestão.
ETAPA
ATITUDE
PLANEJAR
EXECUTAR
AVALIAR
PLANEJAMENTO
Analisa o contexto
Estabelece metas
Define estratégias.
Executa técnicas e
procedimentos de
operacionalização do
planejamento em
diretrizes, referenciais e
planos.
Avalia dados e
informações para
diagnosticar e
fundamentar o
planejamento.
EXECUÇÃO
Planeja como adequar à
realidade as estratégias
estabelecidas.
AVALIAÇÃO
Planeja como realizar a
avaliação, qual a forma
mais eficaz à realidade.
Avalia se a execução está
seguindo o planejado e se
alcançará as metas.
Avalia os resultados dentro
do contexto da gestão e
Executa os procedimentos
fornece informações
avaliativos.
relevantes para medidas
corretivas.
Executa as estratégias
definidas.
5
Neste momento, é importante esclarecer que a Educação a Distância
(EaD) é uma atividade específica que se vale de princípios administrativos para
fundamentarem sua atuação e, por isso, planejar, desenvolver e avaliar
também constituem etapas e atitudes inerentes à gestão educacional. Este fato
permite visualizar a relevância da realização de estudos sobre a dimensão
gerencial envolvida em EaD.
Entretanto, precisamos ainda justificar a razão do nosso interesse recair
especificamente sobre a importância da sistemática da avaliação do curso
virtual para a gestão em EaD. Ao considerarmos que a atividade de
administração (de um modo geral e de treinamentos virtuais em particular),
para ser caracterizada como uma intervenção científica, precisa estar
fundamentada em dados, informações e conhecimentos confiáveis e
significativos, perceberemos que a avaliação torna-se uma estratégia gerencial
fundamental. Além disso, é importante notarmos que a forma como a avaliação
é sistematizada influencia na qualidade das informações obtidas.
A avaliação do curso constitui um momento crucial à administração em
EaD, tratando-se justamente do momento que o gestor pode comprovar se os
objetivos traçados foram atingidos, identificando oportunidades de melhorias
para as futuras edições e ciclos do referido curso. A realização de estudos e
análises, envolvendo teorias e práticas sobre a implantação sistematizada da
avaliação de cursos virtuais, permite discutir e compreender a dinâmica da
avaliação e seu papel na gestão em EaD.
Nosso estudo se insere neste contexto e tem como objetivo geral,
investigar como a etapa de avaliação pode ser sistematizada na gestão em
Educação Online de forma que se torne uma estratégia efetiva para obtenção
de dados, informações e conhecimentos capazes de aumentarem
continuamente a efetividade dos treinamentos virtuais promovidos e conferirem
as performances mais eficientes e os resultados mais consistentes às
organizações que atuam em EaD.
A metodologia adotada em nossas investigações é a da pesquisa
bibliográfica. A bibliografia disponível foi levantada, selecionada e analisada a
partir da nossa principal questão de estudo. Ou seja, nosso estudo busca
compreender, a partir de uma pesquisa bibliográfica, o papel da avaliação do
curso para a gestão em EaD, identificando as melhores estratégias para
sistematizar avaliações eficazes.
No capítulo 2, objetivamos identificar como a avaliação de cursos online
no contexto gerencial da educação a distância pode ser fundamentada a partir
dos conceitos da administração como “Planejamento Estratégico” e “Ciclo
PDCA”. Orientamos as discussões sobre estes conceitos gerenciais
principalmente por Marshall Junior (2008) e recorremos, basicamente, a
Ricardo (2009) e Moore e Kearsley (2007) para relacioná-los aos aspectos
envolvidos na gestão em EaD.
As discussões envolvidas no capítulo 3 buscam identificar as principais
diretrizes metodológicas e sistematizações para a avaliação do curso capazes
de conferirem as performances mais eficientes e os resultados mais
consistentes aos programas em EaD. Fundamentamos nossas discussões
6
principalmente em Carlini e Ramos (2009), para classificarmos os diferentes
tipos de avaliação do curso, em Moore e Kearsley (2007) e em estudos do
Ministério da Educação (2007), para abordarmos a questão da sistematização
da avaliação como ferramenta para a gestão em EaD.
No capítulo 4 recorremos a Kirkpatrick (1998) para apresentar uma
metodologia de mensuração e avaliação de treinamentos capaz de funcionar
também para treinamentos online. Objetivamos, com isso, sugerir
procedimentos operacionais adequados à realização da avaliação de cursos
virtuais em situações específicas de educação online promovida no ambiente
corporativo.
As principais considerações e conclusões obtidas sobre a relevância e
melhores diretrizes, metodologias e instrumentais utilizados para sistematizar a
realização da avaliação do curso no contexto da gestão em Educação Online
estão reunidas e apresentadas no capítulo 5.
2. Gestão em EaD: a importância do monitoramento e da avaliação.
2.1. Planejamento estratégico, projeto educacional e avaliação.
A etapa de planejamento inicia o processo de gestão de qualquer
atividade e representa o momento onde os atributos relacionados ao que vai
ser gerenciado são alinhados e direcionados a uma finalidade. Em EaD o
processo de gestão não foge a essa regra e também é iniciado com o
planejamento.
Na visão de Martins (2007), planejar é uma atividade que,
necessariamente, envolve análise do ambiente onde o processo transcorrerá,
estabelecimento de metas a serem atingidas e definição de ações para
alcançá-las. Planejamento Estratégico é um tipo de planejamento feito no nível
estratégico de uma organização, ou seja, envolve a alta gerência e considera o
longo prazo para fazer análises abrangentes e estabelecer macro objetivos,
como a “missão” e a “visão” da instituição, capazes de promover o alinhamento
da organização como um todo em uma estratégia única.
Cabe esclarecer aqui os conceitos de missão e visão em EaD. Missão
representa o estabelecimento de uma diretriz de longo prazo, demarcando
claramente o lugar que a instituição ocupa na sociedade em relação à
educação a distância. Este local (e respectiva função social desempenhada)
fornecerá um ponto seguro de referência aos responsáveis por tomar decisões.
Já a visão representa a definição do local que a instituição ocupará na
sociedade em um tempo futuro determinado. Este local futuro que a instituição
pretende chegar, fornecerá o segundo ponto de apoio à tomada de decisão
fundamental ao planejamento estratégico em EaD (MOORE E KEARSLEY,
2008).
7
Uma das principais responsabilidades dos dirigentes de uma instituição
é o planejamento estratégico relativo à educação a distância, que significa
definir uma visão, uma missão, metas e objetivos para a instituição em relação
à EaD; escolher as estratégias que viabilizem alcance das metas traçadas, com
qualidade e com os recursos disponíveis; avaliar as tendências que se alteram
na demanda dos alunos, das empresas e da sociedade e das opções
tecnológicas que surgem e trazem maior eficiência; e projetar as necessidades
futuras de recursos para adotar as medidas necessária a concretizá-las
(MOORE E KEARSLEY, 2008).
Conforme Ricardo (2009), a elaboração de um projeto educacional é o
primeiro passo do planejamento em EaD corporativa. Durante a elaboração do
projeto educacional, a organização (e seus gestores) poderá refletir e encontrar
sua identidade, evidenciando que tipo de instituição é, quem são as pessoas
que a constituem, como é sua estrutura, como funciona sua dinâmica e qual é
sua realidade e seu contexto. Este documento será fundamental ao
planejamento e precisará detalhar os pontos fortes e fracos da organização e o
vínculo estabelecido entre a ação educacional a ser promovida e a política,
objetivos e metas organizacionais.
Se compararmos as propriedades que o projeto educacional tem para o
desenvolvimento da função treinamento em uma organização com as
funcionalidades que o planejamento estratégico tem para a gestão de qualquer
processo organizacional, concluiremos que são procedimentos correlatos. Os
dois promovem a análise da organização, em seus contextos interno
(identidade) e externos (ambiente), identificando seus talentos (pontos fortes) e
deficiências (pontos fortes), estabelecendo objetivos, definindo estratégias e
alinhando o todo em uma direção única. O projeto estratégico / educacional
elaborado deverá necessariamente estabelecer as diretrizes da organização,
respectivas filosofias e estratégias (administrativas / educacionais) que serão
adotadas, tecnologias que precisarão ser incorporadas e as práticas cotidianas.
De certa forma, podemos afirmar que o projeto educacional representa
para a educação a distância corporativa o mesmo que o projeto político
pedagógico representa para a educação a distância universitária. Conforme
determinado pelo Ministério da Educação (2007), o projeto político pedagógico
deve expor a opção epistemológica de educação da instituição (identidade) e
definir, a partir disso, os princípios e diretrizes que fundamentarão o processo
de ensino e aprendizagem (políticas, objetivos e metas), estabelecendo como
se desenvolverão os processos de produção do material didático, de tutoria, de
comunicação e de avaliação (estratégias).
É importante ressaltar que o gerenciamento estratégico dos sistemas
educacionais vem sendo estimulado e intensificado bastante nos últimos anos.
Tal gestão é apontada como capaz de fortalecer a escola, do ponto de vista
institucional, e de garantir a qualidade da educação efetivamente oferecida.
(PAES DE CARVALHO, 2010).
Gerenciar estrategicamente a função treinamento em uma organização é
possibilitar que a educação seja definida e compreendida pela organização e
por todas as pessoas que a integram, permitindo que interfiram na
8
operacionalização das ações educacionais e no alcance dos respectivos
objetivos estabelecidos. O projeto educacional, em sua função estratégica,
funcionará como o articulador capaz de dar sentido único ao sistema e conduzir
ao alcance dos macro objetivos organizacionais.
Cabe mencionar que o planejamento e o projeto educacional constituirão
os principais fundamentos para a realização da avaliação. No planejamento
ocorre a definição do estado atual, a projeção do estado desejável futuro e a
definição das estratégias conduzirão de um estado ao outro. Assim, podemos
afirmar que a avaliação só poderá acontecer se houver a definição dos
elementos fundamentais ao planejamento e, mais, que a qualidade da
avaliação depende diretamente da qualidade do planejamento. Dessa forma,
podemos concluir que o projeto educacional é extremamente relevante para a
avaliação e para a gestão como um todo.
2.2. Padronização de processos, indicadores e avaliação.
De uma maneira geral, qualquer gestão é direcionada a partir de dois
princípios fundamentais: padronização e melhoria dos processos. A
padronização concretiza a possibilidade do gestor analisar criticamente os
procedimentos e métodos adotados pela organização, identificando
oportunidades concretas de implementar melhoria nos processos rumo à
excelência (MARSHALL JUNIOR, 2008).
A padronização e uniformização de procedimentos são práticas
adotadas tanto no campo científico quanto no da gestão. A administração, ao
padronizar os processos organizacionais, confere materialidade à gestão;
correlatamente à Ciência que, via método científico, objetiva verificar a
veracidade dos fatos e garantir maior confiabilidade aos resultados (MARCONI
e LAKATOS, 2000).
Uma realidade organizacional padronizada possibilita a adoção de
indicadores para sistematizarem e racionalizarem comportamentos, otimizarem
resultados e garantirem maior consistência ao processo de gestão.
A gestão de qualquer organização, processo, atividade e tarefa, para ser
efetiva, precisa estar fundamentada em dados, informações e conhecimentos
confiáveis e significativos. Sveiby (1998), inclusive, afirma que o sucesso das
organizações torna-se cada vez mais dependente de uma administração por
indicadores e medidas de desempenho. Ideia reforçada por Takashina (1999),
para quem os indicadores da qualidade e desempenho são indispensáveis e
fundamentais a qualquer gestão que se faz por fatos.
Entretanto, cabe mencionar a ressalva de Camargo (2000) ao afirmar
que, embora a gestão deva ser baseada em indicadores, não é todo indicador
que se revela essencial à gerência. Para ele, os indicadores adotados na
gestão somente serão relevantes se confeccionados e escolhidos a partir dos
seguintes critérios e parâmetros.
9
1)
Seletividade ou importância: os indicadores devem informar sobre uma
característica relevante do produto, serviço ou processo. (CAMARGO,
2000).
2)
Simplicidade e clareza: os indicadores devem ter a capacidade de serem
compreendidos e aplicados facilmente em qualquer nível da
organização. (CAMARGO, 2000).
3)
Abrangência: os indicadores devem ter a máxima representatividade
possível, fundamentando a obtenção de informações e conhecimentos
generalizáveis. Devem ser priorizados indicadores que representem
situações ou contextos globais e não aqueles específicos para situações
particulares ou extraordinárias. (CAMARGO, 2000).
4)
Rastreabilidade e acessibilidade: os indicadores devem permitir o
registro, manutenção e disponibilidade de todos os dados associados,
preservando a memória do cálculo e viabilizando consultas posteriores.
(CAMARGO, 2000).
5)
Comparabilidade: os indicadores devem possibilitar a comparação com
referenciais apropriados, que pode ser o desempenho em outra
realidade (o melhor concorrente, a média do ramo e o referencial de
excelência) ou da própria realidade em outros anos/condições.
(CAMARGO, 2000).
6)
Estabilidade e rapidez de disponibilidade: os indicadores devem ser
estáveis no tempo e no espaço, mantendo-se ao longo do tempo e para
diferentes condições, e incorporados às atividades inerentes ao negócio
da organização, viabilizando sua disponibilidade rápida e fácil.
(CAMARGO, 2000).
7)
Baixo custo de obtenção: os indicadores não podem onerar a
organização, devem ser gerados por procedimentos de baixo custo e
utilizar unidades simples de fácil compreensão. (CAMARGO, 2000).
Embora os parâmetros apresentados relacionem-se a indicadores para
avaliação do desempenho institucional, acreditamos que servem
adequadamente como referenciais de construção de instrumentais para
avaliação que sirvam à gestão em EaD. Apesar de ser uma situação
específica, a avaliação de um curso também visa a sistematizar e racionalizar
procedimentos, otimizar resultados e garantir maior consistência ao processo
de gestão.
Assim, podemos concluir que os indicadores adotados para avaliar
cursos em EaD também precisam ser seletivos e relevantes, simples e claros,
abrangentes, facilmente rastreáveis e acessíveis, comparáveis com outros
referenciais, estáveis, rapidamente disponíveis e de baixo custo de obtenção.
As categorias descritas por Camargo (2000) funcionam perfeitamente a
qualquer situação que busque adotar indicadores para avaliação de
desempenho.
Ressalto que a educação, como qualquer área humana, envolve
aspectos subjetivos que dificultam o processo de padronização. Entretanto,
10
este aspecto não deve servir como obstáculo para justificar a não adoção de
indicadores ou a não proposição de mecanismos de uniformização para
procedimentos gerenciais da educação. Ao mesmo tempo, é importante não
restringir o fenômeno “educação” apenas aos seus aspectos padronizáveis,
pois a gestão e seus mecanismos devem ser postos a serviço da educação e
não o contrário.
Os estudos aqui conduzidos, portanto, não pretendem adequar a
educação à filosofia produtiva, mas possibilitar encontrar mecanismos
gerenciais adaptáveis à realidade da educação. Afinal, qualquer instrumento
sempre será um meio para se obter algo e não um fim em si mesmo.
2.3. Melhoria contínua de processos, Ciclo PDCA e avaliação.
A melhoria dos processos organizacionais representa a força motriz e a
própria justificativa para a administração. Se a padronização dos processo
organizacionais representa a materialidade necessária à atuação gerencial, a
busca pela melhoria dos processos organizacionais caracteriza a própria
dinâmica da gestão.
Padronizar os processos, métodos, produtos etc. de uma organização
não é o bastante, é preciso melhorá-los continuamente para que alcancem a
satisfação e a superação das expectativas de todas as partes envolvidas:
clientes, acionistas, fornecedores, sociedade e colaboradores (MARSHALL
JUNIOR, 2008).
Da mesma forma que os indicadores representam uma excelente
possibilidade para operacionalizar a padronização da gestão, a filosofia do
melhoramento contínuo dos processos encontra uma ótima representação
prática no Ciclo PDCA, um método gerencial dividido em quatro fases que,
praticadas de forma cíclica e ininterrupta, promove não só a melhoria contínua
e sistemática na organização, mas também consolida a padronização de
práticas organizacionais (MARSHALL JUNIOR, 2008).
Vamos nos interessar particularmente pelo Ciclo PDCA não só por ser
um método capaz de operacionalizar o princípio da melhoria dos processos,
mas também por estruturar o ciclo em etapas relacionáveis ao processo
tradicional de gestão em educação: planejamento (Plan), execução (Do),
verificação (Check) e ação corretiva (Act).
O Ciclo PDCA é um método que pode ser utilizado para gerenciar
processos, desde seu nível macro (organização) até seu nível micro (tarefa),
independentemente da natureza do negócio ao qual está relacionado.
Conforme Marshall Junior (2008), o Ciclo PDCA estrutura-se em quatro fases:
1)
Plan (Planejamento): São estabelecidos objetivos e metas (normalmente
desdobrados a partir do planejamento estratégico) para que sejam
desenvolvidos métodos, procedimentos e padrões para alcançá-los.
Aqui o detalhamento deve ser tal que produza os procedimentos e
orientações técnicas necessárias à execução rumo às metas. Como
11
resultado desta fase tem-se um plano de ação, que pode ser
correlacionado ao projeto educacional e ao projeto político pedagógico
em educação. (MARSHALL JUNIOR, 2008).
2)
Do (Execução): Ocorre a implementação do que foi planejado, executase o plano de ação, treina-se os colaboradores e coleta-se dados para
avaliação. (MARSHALL JUNIOR, 2008).
3)
Check (Verificação): O planejado é confrontado com o executado, as
metas desejadas são avaliados em relação aos resultados alcançados e
também os previstos para o final do processo. Essa comparação deve
basear-se em fatos e dados objetivos e não na subjetividade, por isso, é
usual utilizar instrumentos (baseados em indicadores) para monitorar e
fundamentar a avaliação. A confecção e escolha de indicadores é muito
relevante nesta fase. (MARSHALL JUNIOR, 2008).
4)
Act (Ação corretiva): A partir da avaliação feita, caso as metas não
tenham sido alcançadas, busca-se identificar as causas fundamentais e
prevenir a repetição dos efeitos indesejados. Caso as metas tenham
sido bem sucedidas, busca-se desenvolver um padrão para o ciclo
seguinte, e em caso de insucesso, identifica-se as causas para serem
evitadas. A avaliação permite reconhecer os fatores de sucesso e as
oportunidades de melhorias e fundamenta a ação. (MARSHALL
JUNIOR, 2008).
O planejamento é o momento da gestão onde são estabelecidos os
objetivos a serem alcançados, os procedimentos que serão adotados para
alcançá-los e os resultados que permitirão concluir se houve êxito ou não à
empreitada.
As práticas relacionadas a etapa de desenvolvimento são aquelas que
garantem a execução do que foi planejado. Juntamente com elas também é
adotado um conjunto de medidas com o objetivo de monitorar se a execução
vai na direção certa, fundamentando a tomada de decisão e a atuação no caso
de qualquer problema.
A etapa de avaliação possibilita a realização de julgamentos e obtenção
de informações fundamentais à correção e ao planejamento do novo ciclo a ser
iniciado. Assim, no novo ciclo poderão ser corrigidos os erros cometidos no
anterior, melhorando a performance do processo e propiciando a sua melhoria
contínua. Por evidenciar um movimento de superação, cíclico e ascendente, o
ciclo PDCA é denominado como processo em espiral (PACHECO et al., 2010).
O modelo proposto no Ciclo PDCA é uma eficiente ferramenta de gestão
e capaz de ser generalizada para processos relacionados à administração em
EaD. Conforme podemos verificar ao compará-lo com o modelo que Filatro
(2007) estabelece para o “Design Instrucional” em EaD, compreendido como:
(...) a ação intencional e sistemática de
ensino, que envolve o planejamento, o
desenvolvimento e a utilização de métodos,
técnicas, atividades, materiais, eventos e
12
produtos educacionais em situações didáticas
específicas, a fim de facilitar a aprendizagem
humana a partir dos princípios de
aprendizagem
e
instrução
conhecidos
(FILATRO, 2007, p. 64 e 65).
Da mesma forma como recomendado para a utilização do Ciclo PDCA,
Filatro (2005), conforme apresentado por Araújo (2008), defende que o
desenho instrucional de um curso online seja aberto, contextualizado, não
linear e com suas fases articuladas e não isoladas.
É importante ter em mente que o objetivo de qualquer gestão é obter
sucesso no alcance dos objetivos traçados na etapa de planejamento e,
embora apresentadas como consecutivas no modelo, as atitudes de planejar,
executar, monitorar e avaliar, na verdade são sobrepostas durante todo o
processo para viabilizar o êxito pretendido. O monitoramento acontece junto
com a execução para que o gestor identifique e corrija imediatamente os
problemas e, assim, um erro de planejamento poderá ser reparado durante o
desenvolvimento de um curso, revendo e adequando melhor um objetivo à
realidade encontrada.
A consideração de cursos e programas de treinamentos EaD segundo
os princípios de padronização e melhoria contínua dos seus processos permite
constatar que a avaliação do curso, tanto como atitude quanto como etapa,
constitui um mecanismo fundamental para que a gestão possa acontecer e ser
bem sucedida. A avaliação caracteriza um momento que fundamentará a
tomada de decisão que, em última análise, será responsável pelo sucesso de
uma tarefa, uma atividade, um processo e até mesmo de uma organização.
3. A avaliação sistematizada do curso em EaD.
3.1. Classificação da avaliação do curso.
Conforme Carlini e Ramos (2009), a avaliação como ferramenta para
gestão em Educação a Distância pode ser classificada em diagnóstica
(realizada antes do curso), formativa (durante o desenvolvimento do curso) e
somativa (ao final do curso), mas, independentemente do nome (e do momento
de realização), a avaliação sempre deverá ter como objetivo fundamentar a
tomada de decisão e a elaboração de estratégias para obtenção da excelência.
A avaliação diagnóstica busca reunir informações relevantes antes do
desenvolvimento e realização de um curso a distância e é realizada por todos
os envolvidos: os gestores, os docentes e os discentes. Os gestores buscam
informações fundamentais ao planejamento e desenvolvimento do curso,
valendo-se inclusive de avaliações existentes para outras edições do curso ou
de cursos correlatos.
13
Tanto a instituição de ensino e a equipe
docente quanto os futuros alunos realizam
uma avaliação diagnóstica. Os primeiros o
fazem quando executam o levantamento de
dados sobre a viabilidade, as condições de
realização, os recursos materiais e humanos
necessários,
o
público-alvo
e
suas
características, entre outros aspectos, no
decorrer do processo de planejamento e de
criação da proposta do curso. Os futuros
alunos, por sua vez, investigam a seriedade e
a competência da instituição de ensino e a
adequação da proposta as suas condições
educacionais e financeiras. (CARLINI e
RAMOS, 2009, p. 161)
Já a avaliação formativa é aquela que mais se assemelha a etapa
“check / monitoramento” do Ciclo PDCA, pois tem como objetivo reunir dados e
informações relevantes durante o desenvolvimento do curso, capazes de
indicarem a ocorrência de problemas em tempo hábil para que sejam adotadas
as respectivas medidas corretivas. Ela se vale dos comentários, sugestões e
críticas que os alunos se disponham a fazer no decorrer do curso. Ela deve ser
feita em momentos intermediários relevantes como finais de módulos ou
unidades didáticas (CARLINI e RAMOS, 2009).
Este tipo de avaliação tem como objetivo verificar a adequação do curso
às expectativas dos alunos e, indiretamente, o êxito do planejamento gerencial
e pedagógico do curso, conferindo o sucesso dos objetivos traçados para a
gestão e para a aprendizagem.
A avaliação somativa é a mais comumente empregada e conhecida,
“podendo ser ou não combinada com a avaliação formativa” (CARLINI e
RAMOS, 2009, p.162). Ela é realizada ao final do curso e tem como objetivo
avaliar o curso desenvolvido e identificar oportunidades de melhorias para as
futuras edições. Frequentemente, as informações obtidas na avaliação
somativa são utilizadas na avaliação diagnóstica das turmas subseqüentes,
auxiliando no processo de planejamento do novo ciclo do curso.
A avaliação somativa é feita quando é possível aos envolvidos emitirem
julgamentos definitivos, ou seja, quando o curso estiver finalizando ou
finalizado. Nesta avaliação é possível identificar o nível de satisfação dos
participantes em relação à experiência pedagógica em fase de conclusão ou já
concluída (CARLINI e RAMOS, 2009).
É um tipo de avaliação baseada em formulários, preenchidos pelos
alunos, não havendo compromisso da equipe docente comentar as respostas
obtidas. Representa um registro pontual que, quando empregado
isoladamente, não revela ser um instrumento de monitoramento eficaz por
14
desconsiderar as sutilezas do processo que aconteceram ao longo do curso
(CARLINI e RAMOS, 2009).
A avaliação somativa é uma boa estratégia para levantar informações
para a realização da avaliação diagnóstica de futuras turmas do mesmo curso
ou de cursos correlatos. Se considerarmos o Ciclo PDCA, percebemos que a
avaliação somativa permite produzir dados que servirão como input para a fase
de planejamento, ou seja, para o início de um novo ciclo.
Por outro lado, a avaliação formativa é aquela capaz de produzir as
informações mais adequadas ao monitoramento da execução, sendo este tipo
de avaliação o que melhor possibilita ao gestor identificar problemas e corrigilos a tempo de garantir o sucesso da ação.
Para Carlini e Ramos (2009), a sistemática da avaliação de um curso a
distância deve ser feita em processo e orientada por instrumentos capazes de
identificarem qualquer alteração e fundamentarem a adoção dos
procedimentos que garantam a reorientação rumo ao que foi planejado.
Cada tipo de avaliação tem seu papel e relevância, e o fundamental é
que os programas de EaD adotem uma sistemática que envolva todas as
formas, configurando uma estratégia avaliativa capaz de cumprir os três
requisitos / tipos / momentos avaliativos apresentados.
3.2. Sistema de monitoramento e avaliação.
A gestão exerce suas funções primordiais de padronizar e melhorar
processos através da avaliação. Afirmação que encontra apoio em Heimann
(2010) quando diz que monitorar constitui uma atividade fundamental à gestão.
Por intermédio da avaliação o gestor acompanha e avalia os resultados
obtidos, diz com relativa segurança se os objetivos finais serão alcançados e
adota as medidas necessárias para confirmar ou corrigir a ação.
Embora a avaliação permita que o gestor exerça conscientemente o
poder de dirigir, é importante salientar que não é qualquer avaliação que serve
a este propósito. Conforme o próprio Heimann (2010) ressalta, um
monitoramento eficaz requer produção sistemática de informações relevantes e
em um ritmo adequado à tomada de decisões.
Moore e Kearsley (2007) aprofundam esta ideia ao afirmarem que não
basta adotar uma sistemática de avaliação em EaD. Para eles, um sistema de
monitoramento e avaliação em EaD eficaz só é alcançado a partir de uma rede
de indicadores que gere, freqüente e rotineiramente, os dados necessários
sobre o desempenho dos diversos atores e fatores envolvidos; e, além disso,
estes dados precisarão ser analisados de forma a fundamentar a revisão e a
tomada de decisão.
Somente uma adequada sistemática de avaliação será capaz de
fornecer dados que possibilitem diagnosticar tempestivamente problemas
pedagógicos e administrativos e elaborar estratégias efetivas para solucioná-
15
los. Esse aspecto que assume especial importância no caso da gestão em
Educação a Distância; pois, o fato do aluno estar distante do instrutor e da
entidade administrativa condiciona o sucesso de qualquer ação em EaD à
existência de um sistema eficaz de monitoramento e avaliação.
Para os instrutores, somente pelo uso de
materiais de avaliação e pela adoção de
procedimentos criados pela instituição de
ensino é que podem saber se os alunos estão
tendo dificuldades. Com o tipo adequado de
dados de avaliação, deve ser possível
determinar precisamente que tipo de ajuda é
necessária para uma determinada pessoa.
Um bom sistema de monitoramento também
informa os administradores a respeito dos
problemas que afetam os instrutores e os
alunos, e indica se ocorrem atrasos ou
interrupções nos sistemas de comunicação,
enquanto ainda há tempo suficiente para uma
ação corretiva. (MOORE e KEARSLEY, 2007,
p. 130).
Encontramos em Filatro (2007) reforço para aprofundar este raciocínio
referente a relevância de ser desenvolvida e adotada uma sistemática capaz de
operacionalizar um processo de avaliação de cursos a distância. Para a autora,
a avaliação em EaD assume especial relevância por possibilitar aferir a eficácia
do curso, rever a caracterização do público-alvo e analisar as estratégias
pedagógicas e tecnológicas implementadas, propiciando o acompanhamento, a
revisão e a manutenção do curso.
Carlini e Ramos (2009) reforçam que um curso a distância envolve
inúmeros componentes (instituição, gestores, docentes, discentes, ambiente
virtual, conteúdos, metodologias etc) em uma complexa rede de relações. As
variações são muitas, frequentes e imprevisíveis, e o sistema deve prover uma
avaliação contínua e instrumentalizada, permitindo identificar e caracterizar
imediatamente qualquer alteração para adoção das medidas de reorientação
necessárias.
Prosseguindo neste raciocínio, segundo Moore e Kearsley (2007), os
bons sistemas de monitoramento e avaliação apresentam três características:
1. Os cursos contam com objetivos de aprendizagem bem especificados.
(MOORE e KEARSLEY, 2007).
2. Os cursos são desenhados para que os alunos produzam muitas e
freqüentes tarefas de aprendizagem. Esta característica do sistema é
tão importante pelo fato de que são as tarefas realizadas pelos alunos
durante o curso online que fornecerão os indicadores necessários ao
monitoramento da ocorrência de problemas. (MOORE e KEARSLEY,
2007).
16
3. A coleta de dados, produção de relatórios e análise de resultados dos
cursos acontecem cotidianamente de forma que possibilitem o monitorar
tempestivamente a ocorrência de eventuais problemas. (MOORE e
KEARSLEY, 2007).
Para Moore e Kearsley (2007) a importância do sistema de avaliação e
monitoramento é tão grande que creditam a ele boa parte do sucesso de um
programa de EaD. Onde a adoção de um sistema ruim de monitoramento leva
ao fracasso certo do programa.
Portanto, a avaliação em EaD precisa ser sistematizada, contando com
princípios, técnicas, métodos e ferramentas capazes de produzirem dados e
informações relevantes de forma ordenada e coerente. Somente uma
sistemática de avaliação inserida no contexto de gestão será capaz de apoiar e
orientar a tomada de decisão.
3.3. Referenciais para avaliação da qualidade do curso EaD.
As discussões conduzidas até aqui demonstram que a avaliação do
curso EaD deve ser feita via sistema de monitoramento e avaliação eficaz, ou
seja, construído a partir de uma rede de indicadores e instrumentais capazes
de produzirem as informações necessárias a tomada de decisão.
A padronização e sistematização da avaliação irá conferir maior
consistência à gestão do processo e, neste sentido, o uso de instrumentos
como questionários e formulários são recursos bastante objetivos, desde que
contem com os melhores e os mais significativos indicadores.
Camargo (2000) propõe uma lista de critérios gerais a serem adotados
para criação e seleção de indicadores. Entretanto, estes parâmetros só
poderão ser aplicados após a determinação dos aspectos fundamentais e
válidos de serem avaliados nas diversas situações de educação a distância. A
partir do momento que houver a definição desses fatores, os indicadores
poderão ser criados e selecionados, possibilitando o desenvolvimento de
instrumentos que sirvam efetivamente a avaliação da qualidade de em
educação a distância
A consideração das informações presentes nos documentos “Marcos de
Referência para o Sucesso da Educação a Distância Baseada na Internet” e
“Referenciais de Qualidade para Educação Superior a Distância” – produzidos
a partir de estudos conduzidos, respectivamente, pelo Institute for Higher
Education and Policy (MOORE e KEARSLEY, 2008) e pelo MEC, Ministério da
Educação (2007) – permite formularmos uma lista de fatores e respectivos
indicadores para referenciar uma avaliação em EaD, expostos na tabela 2, a
seguir.
TABELA 2 – Fatores e indicadores para avaliação do curso em EaD
INDICADORES
17
FATORES
Institute for Higher Education and Policy
(MOORE e KEARSLEY, 2008)
Ministério da Educação (BRASIL, 2007)
Organização
DidáticoPedagógica
a) Aprendizagem dos estudantes;
b) Práticas educacionais dos professores e
tutores;
c) Material didático (seus aspectos científico,
cultural, ético, estético, didático-pedagógico e
motivacional, sua adequação aos estudantes e
às tecnologias de informação e comunicação,
sua capacidade de comunicação etc.) e às
ações dos centros de documentação e
informação (midiatecas);
d) Currículo (sua estrutura, organização,
encadeamento lógico, relevância,
contextualização, período de integralização,
dentre outros);
e) Sistema de orientação docente e à tutoria
(capacidade de comunicação através de meios
eficientes; de atendimento aos estudantes em
momentos a distância e presenciais;
orientação aos estudantes; avaliação do
desempenho dos estudantes; avaliação de
desempenho dos professores e tutores;
avaliação dos pólos de apoio presencial).
f) Modelo de educação superior à distância
adotado (uma soma dos itens anteriores
combinada com análise do fluxo dos
estudantes, tempo de integralização do curso,
interação, evasão, atitudes e outros);
g) Realização de convênios e parcerias com
outras instituições. (MOORE e KEARSLEY,
2008).
a) Adoção de padrões para criação,
desenvolvimento, criação e veiculação do
curso: os resultados do aprendizado
determinam a tecnologia e não o contrário.
b) Materiais instrucionais atualizados: revistos
periodicamente para assegurar os padrões do
programa.
c) Cursos desenhados para exigirem dos
alunos realização de análises, sínteses e
avaliações para serem aprovados.
d) A interação dos alunos com o corpo docente
e com outros alunos é uma característica
essencial e amplamente estimulada e
facilitada.
e) Feedback das tarefas é construtivo e rápido.
f) Os alunos recebem todas as instruções e
orientações necessárias para garantir
aprendizagem efetiva. (BRASIL, 2007)
a) Corpo docente, vinculado à própria
instituição, com formação e experiência na
área de ensino e em educação a distância;
Corpo
b) Corpo de tutores com qualificação adequada
Docente,
Corpo
de ao projeto do curso;
Tutores,
c) Corpo de técnico-administrativos integrado
Corpo
ao curso e que presta suporte adequado, tanto
Técnicona sede como nos pólos;
Administrativ
d) Apoio à participação dos estudantes nas
o e Discentes
atividades pertinentes ao curso, bem como em
eventos externos e internos. (MOORE e
KEARSLEY, 2008)
Apoio
institucional
a) Infra-estrutura material que dá suporte
tecnológico, científico e instrumental ao curso;
b) Infra-estrutura material dos pólos de apoio
presencial;
c) Existência de biblioteca nos pólos, com um
acervo mínimo para possibilitar acesso aos
estudantes a bibliografia, além do material
didático utilizado no curso;
d) Sistema de empréstimo de livros e
periódicos ligado à sede da IES para
possibilitar acesso à bibliografia mais
completa, além do disponibilizado no pólo.
(MOORE e KEARSLEY, 2008)
-
a) Plano de tecnologia estruturado e seguro:
garante qualidade, integridade e validade da
informação.
b) Tecnologia confiável: a prova de falhas.
c) Sistema centralizado de suporte à infraestrutura de EaD.
d) Avaliação diagnóstica: antes do início do
curso os alunos são avaliados quanto a sua
automotivação e compromisso e quanto a seu
acesso à tecnologia mínima exigida.
e) Divulgação de informações sobre o curso:
os objetivos, conceitos e ideias do curso, e os
resultados do aprendizado devem ser
disponibilizados aos alunos.
18
INDICADORES
FATORES
Institute for Higher Education and Policy
(MOORE e KEARSLEY, 2008)
Ministério da Educação (BRASIL, 2007)
f) Disponibiliza recursos suficientes para
pesquisa e consulta: biblioteca acessível pela
Web.
g) Auxílio técnico aos docentes: dispõem de
suporte para tecnologia.
h) Suporte pedagógico aos docentes: dispõem
de orientações para atuação docente em EaD,
antes e durante o curso.
i) Divulgação de informações administrativas:
requisitos para admissão, taxas, aprovação,
prazos etc.
j) Disponibilização de orientações sobre
conteúdos: treinamentos e tutoriais para
acessar todos os conteúdos e recursos.
l) Apoio técnico: alunos contam com suporte
permanente para lidarem com a tecnologia.
Todas as questões são respondidas
rapidamente. (BRASIL, 2007)
Avaliação
a) Meta-avaliação: um exame crítico do
processo de avaliação utilizado: seja do
desempenho dos estudantes, seja do
desenvolvimento do curso como um todo.
b) A Instituição deve considerar as vantagens
de uma avaliação que englobe etapas de autoavaliação e avaliação externa. (MOORE e
KEARSLEY, 2008)
a) Processo de avaliação analisa a eficácia
educacional aplicando padrões específicos e
utilizando métodos diversificados.
b) Dados sobre matrículas, cursos e usos da
tecnologia são adotados como critérios para
avaliação da eficácia.
c) Avaliação deve ser formativa, confrontando
regularmente os resultados planejados com os
obtidos. (BRASIL, 2007)
.
É importante mencionar que os indicadores apresentados representam
categorias gerais e, portanto, devem ser contextualizadas às diferentes
realidades. Entretanto, já representam referências fundamentais para o
desenvolvimento de instrumentos adequados à condução da avaliação de
programas de treinamento EaD via procedimentos padronizados.
Até agora, nossas discussões levaram a verificar que o desenvolvimento
de uma sistematização para a avaliação do curso em EaD depende da
definição de referenciais que, por sua vez, orientam o estabelecimento dos
fatores, indicadores e critérios que integrarão os instrumentais utilizados para
avaliar. Entretanto, é importante completar que um sistema de avaliação para
ser operacionalizado exige o estabelecimento de uma metodologia capaz de
modelar todo o processo de avaliação e articular os diferentes níveis do
sistema à realidade.
A metodologia adotada em uma sistematização da avaliação do curso
será capaz de integrar os aspectos mais abstratos, representados pelas
diretrizes fornecidas pelos referenciais, com os aspectos mais concretos do
sistema, expostos nos instrumentos utilizados para avaliar.
4. Metodologia para avaliação do curso no ambiente corporativo.
19
A partir do momento que já contamos com referenciais para criação e
seleção dos indicadores que integrarão os instrumentos padronizados para a
avaliação do curso EaD, o próximo passo é identificar uma metodologia
adequada para uniformizar e garantir coerência ao processo avaliativo a ser
adotado para treinamentos virtuais.
A avaliação somativa do curso é aquela realizada ao final do curso - por
intermédio de instrumentos padronizados e construídos com o objetivo de
colher as opiniões e os julgamentos definitivos dos envolvidos -, tendo como
objetivo aferir a eficácia do curso no contexto da gestão em EaD. No modelo da
educação corporativa, proposto por Kirkpatrick (1998), este tipo de avaliação
guarda relação com a denominada “avaliação de reação”, um tipo de avaliação
também realizada ao final do curso, mediada por instrumentais padronizados e
que objetiva fundamentar a gestão do curso.
A metodologia envolvida na avaliação de reação pretende mensurar a
reação dos participantes ao programa de treinamento, medindo a satisfação do
aluno e obtendo informações cruciais para a avaliação e o planejamento do
curso. Segundo Marras (2000), uma organização só promove ações de
capacitação que representem aumento direto da produtividade e/ou da
qualidade do que é produzido. Mesmo treinamentos que visam ao incentivo
motivacional, à otimização pessoal e organizacional e ao atendimento de
exigências das mudanças, representam estratégias indiretas para a formação
profissional, a especialização e/ou a reciclagem de conhecimentos, conceitos e
práticas de trabalho.
Para as organizações, a promoção do treinamento representa, na
verdade, um investimento, pois o capital empregado retornará acrescido de
lucros. Neste ambiente, os programas de treinamento que não apresentam
êxito (entendido como o sucesso em atingir os objetivos planejados) são
revistos ou até mesmo cancelados. Por esta razão, a adoção de mecanismos
para avaliação da efetividade dos treinamentos promovidos é uma prática
muito difundida no ambiente corporativo.
Nas organizações qualquer investimento feito precisa ser justificado e,
no caso de treinamentos, o usual é se fundamentar em Kirkpatrick (1998),
considerado o precursor da análise do retorno investimento feito em
treinamento. Para ele, o êxito do treinamento só pode ser verificado a partir da
sua relação com o desempenho profissional e organizacional.
A partir deste pressuposto básico, Kirkpatrick (1998) constrói uma
metodologia de mensuração e avaliação de sistemas de treinamentos que
acontece em quatro níveis:
1)
Avaliação de reação;
2)
Avaliação de aprendizado;
3)
Avaliação de comportamento;
4)
Avaliação de resultados.
20
No nível de reação, os alunos são orientados a fazerem uma avaliação
crítica sobre o sistema de treinamento com o objetivo de fornecerem
informações importantes para a realização de modificações capazes de melhor
adequar o curso ao público-alvo, aumentando sua eficiência pedagógica.
No nível de aprendizagem, objetiva-se verificar o grau de aquisição que
os alunos tiveram dos conhecimentos pré-definidos para o treinamento.
Embora possa ser adotada uma avaliação de aprendizagem somativa, ao final
do curso, é importante que neste nível a avaliação de aprendizagem priorize
mecanismos formativos capazes de acompanharem a evolução dos aprendizes
para identificar e corrigir fragilidades durante o desenvolvimento da ação.
No nível de comportamento, pretende-se verificar as mudanças de
comportamento decorrentes do aprendizado proporcionado pelo treinamento.
Avaliam-se os efeitos do curso no desempenho do aluno e em sua
produtividade no trabalho. Este momento da avaliação acontece algum tempo
após a participação no treinamento, o aluno precisa de tempo e oportunidade
para praticar o que foi aprendido.
O objetivo de qualquer treinamento é promover mudança de
comportamento, entretanto, conforme Kirkpatrick (1998) para que isso
aconteça é necessário que se cumpra cinco requisitos: desejo de mudança, o
conhecimento de o quê fazer e de como fazê-lo, um clima de trabalho
adequado, auxílio na aplicação do aprendizado e recompensa pela mudança
no comportamento. Portanto, a avaliação neste nível deverá investigar
necessariamente a satisfação destas condições.
No nível de resultados, objetiva-se comprovar, a partir de indicadores
concretos, o efetivo retorno do investimento feito no treinamento, ou seja, quais
foram os resultados advindos do treinamento do funcionário. Segundo
Kirkpatrick (1998) é o mais importante e mais difícil dos quatro níveis porque na
maioria das situações o que existem são evidências dos resultados. Faltam
indicadores confiáveis e incontestáveis capazes de fornecerem a mensuração
requerida neste nível de avaliação.
Para Kirkpatrick (1998), conforme apresentado por Hack (1999), o
processo de avaliação de um programa de treinamento sempre deve iniciar no
nível 1 e incluir os demais níveis conforme o curso for consolidado. Kirkpatrick
(1998) ressalta, ainda, que é um julgamento incorreto considerar que os
primeiros níveis (avaliação de reação, nível 1, e avaliação de aprendizagem,
nível 2) não são tão importantes quanto os demais (avaliação de
comportamento, nível 3, e avaliação de resultado, nível 4), como costuma
acontecer. A realização de um nível de avaliação é pré-requisito para a
realização do nível posterior. Cada um dos níveis fornece dados e informações
que interferem de forma específica no processo de planejamento e
desenvolvimento dos cursos.
Esta concepção metodológica é reforçada por Schröeder (2000) que
propõe adequar a estrutura de avaliação de Kirkpatrick (1998) conforme a
realidade de cada organização e de curso. Assim, as avaliações de reação
(nível 1) e de aprendizagem (nível 2) serão feitas para todos os cursos; a
avaliação de comportamento (nível 3) será feita apenas quando o principal
21
objetivo do treinamento for o do aluno mudar seu comportamento no trabalho; e
a avaliação de resultado (nível 4) acontecerá quando os resultados
representarem alta prioridade para a organização.
Esta orientação relativa à aplicação diferenciada da metodologia
proposta por Kirkpatrick (1998), adequando o nível da avaliação a necessidade
prática do treinamento corporativo, independe da modalidade em que o curso é
oferecido, se presencial ou a distância. Entretanto, conforme Hack (1999), o
mesmo não se aplica aos instrumentos utilizados para garantir os diferentes
níveis de avaliação. A avaliação que se faz em um ambiente presencial se vale
de ferramentas que precisarão ser adaptadas à realidade dos programas de
treinamentos conduzidos via internet.
Assim é que Hack (1999) adapta o modelo de Kirkpatrick (1998) para
realização da avaliação de programas de treinamento realizados pela Internet,
utilizando a cibercultura e as tecnologias de informação e comunicação (TICs)
disponíveis para obter as informações necessárias a cada nível do modelo. A
orientação relativa a adoção dos níveis é mantida e os níveis 3 e 4 só serão
alcançados quando a mudança de comportamento for importante (nível 3) e
quando os resultados forem prioridade (nível 4).
Na proposta de Hack (1999), a avaliação de reação em EaD objetiva
investigar a satisfação do aluno com o material apresentado via Web,
verificando se o aluno se sente estimulado a acessar o curso. Este indicador
pode ser monitorado via questões diretas sobre o nível de interesse despertado
pelos conteúdos, formuladas em questionários em páginas HTML, correio
eletrônico, fórum e chat. O ritmo de evolução no curso também é capaz de
revelar se o estímulo para acessar o curso foi alto ou baixo e pode ser avaliado
via rastreamento das páginas acessadas e das ferramentas utilizadas.
No nível 2 (avaliação de aprendizagem), para Hack (1999), pretende-se
verificar se o aluno aprendeu, conforme estabelecido nos objetivos de
aprendizagem. A utilização de testes formais em páginas HTML e, neste caso,
a utilização do pré-teste pode ser uma boa estratégia para objetivar a
avaliação. A realização de questionamentos durante o desenvolvimento das
aulas, pode auxiliar na fixação do conteúdo e auxiliar na avaliação formativa da
aprendizagem. O rastreamento de listas de discussões e outros dispositivos
colaborativos são boas estratégias para a avaliação neste nível.
A realização da avaliação nos níveis 3 (comportamento) e 4 (resultados)
utilizando apenas a internet, conforme apresentado por Hack (1999), pode se
dar pela formulação de questionários via Web sobre o comportamento e os
resultados do aluno após o curso. Questionários para serem respondidos pelo
chefe imediato e pelo aluno (auto-avaliação) e confrontados. Também podem
ser conduzidas listas de discussões ao longo do tempo, tendo como objetivos
investigar os resultados obtidos após o curso, a mudança no comportamento
do aluno e os obstáculos enfrentados para colocar em prática o que foi
aprendido.
A apresentação da metodologia estabelecida por Kirkpatrick (1998)
refere-se a demonstração de uma possibilidade já devidamente estabelecida e
sedimentada, uma vez que é utilizada, há bastante tempo e de forma bem
22
sucedida, pelas organizações para avaliação de treinamentos corporativos.
Procuramos nos deter na avaliação de reação do seu modelo pelo fato de
poder ser correlacionada diretamente com a avaliação somativa do curso, na
classificação de Carlini e Ramos (2009).
Assim, a partir das discussões que conduzimos sobre os referenciais,
fatores e indicadores propostos pelo MEC (2007) e pelo Institute for Higher
Education and Policy (MOORE e KEARSLEY, 2008), e sobre a metodologia
proposta por Kirkpatrick (1998) acreditamos ter fornecido as principais
diretrizes metodológicas e sistematizações, para a avaliação somativa do curso
ou avaliação de reação, capazes de conferirem os resultados mais
consistentes aos programas em EaD.
Queremos crer também que, a partir desse estudo, será possível aos
interessados estabelecerem procedimentos sistematizados adequados a
realização da avaliação somativa em situações específicas de cursos online e
de forma que forneçam dados e informações relevantes à gestão em EaD.
5. Conclusão.
A efetividade da gestão educacional depende da avaliação do curso, é
através dela que é gerada uma grande quantidade de dados e informações
fundamentais à análise e à tomada de decisão. Além disso, é por intermédio da
avaliação do curso que o planejamento e a execução são comprovados e os
acertos e os erros identificados. A avaliação serve à gestão ao apoiar a decisão
de repetir o que deu certo e de corrigir aquilo que não deu.
A discussão empreendida sobre nossa questão de estudo (“saber como
a avaliação dos cursos virtuais pode ser sistematizada pelas organizações que
atuam em EaD, de forma a garantir os resultados mais efetivos ao
aperfeiçoamento dos cursos promovidos e da própria instituição”) permitiu
compreender melhor a dinâmica da avaliação envolvida no processo de gestão
em EaD. As melhores performances e os resultados mais consistentes para
avaliação do curso em EaD são aqueles obtidos a partir da adoção de um
sistema de monitoramento inserido em um modelo de gestão adequado às
especificidades da educação e que incorpora em sua configuração princípios
do planejamento estratégico e da uniformização e melhoria contínua dos
processos.
Pudemos verificar que a forma como a avaliação é estruturada e
conduzida interfere diretamente na qualidade dos resultados gerenciais e
pedagógicos obtidos em EaD. Cabe chamar a atenção para este fato, que
evidencia uma dimensão política para avaliação em educação a distância e
recomenda que as decisões tomadas sobre ela considerem não somente
aspectos técnicos e gerenciais. As opções feitas para a avaliação devem
refletir a escolha feita sobre a educação que será oferecida pela instituição.
A adoção de uma gestão estratégica pressupõe que qualquer processo
organizacional será conduzido de forma alinhada com as diretrizes
estabelecidas para todos os níveis de planejamento e documentada no projeto
23
estratégico da instituição. Se considerarmos esta orientação para a gestão em
educação a distância constataremos que o projeto educacional é o documento
correlato ao projeto estratégico, representando a materialização dos
referenciais do planejamento estratégico, e a avaliação, como qualquer
processo organizacional inserido neste contexto, precisará ser estruturada e
conduzida a partir dele.
A gestão estratégica em EaD é caracterizada pela presença de um
projeto pedagógico que, ao mesmo tempo, é capaz de refletir os princípios
filosóficos, ideológicos, sociais e políticos adotados pela instituição e de
orientar todos os processos organizacionais. O projeto educacional, ao alinhar
a função educação ao propósito da organização e ao estabelecer a opção
epistemológica da educação, define princípios e diretrizes fundamentais ao
desenvolvimento do ensino e aprendizagem, incluindo o processo de avaliação
do curso que representa um momento subseqüente, dependente e
determinado a partir dele.
Se o projeto educacional estabelece um embasamento para edificar a
avaliação, a filosofia do contínuo melhoramento dos processos garante a
dinâmica para o seu funcionamento. A busca pelo aperfeiçoamento constante
determina que a avaliação seja, ao mesmo tempo, causa e consequência do
planejamento. A avaliação, via seus resultados, influenciará o projeto
educacional que, por sua vez, definirá a própria estruturação da avaliação do
curso na próxima rodada.
Assim é que o “Ciclo PDCA” representa uma importante ferramenta para
materializar a filosofia da melhoria contínua e garantir maior efetividade à
gestão da avaliação do curso em EaD. A adoção do “Ciclo PDCA” viabiliza um
método gerencial onde os dados e informações obtidos na avaliação são
conclusivos e, ao mesmo tempo, deflagradores, pois fundamentarão o
diagnóstico necessário ao planejamento e aprimoramento constante do curso.
A avaliação do curso, compreendida como instrumento para a melhoria
contínua, é determinada e determinante do planejamento estratégico,
configurando um processo contínuo que busca se superar a cada rodada.
Assim, está montado o fundamento necessário para conduzir ciclicamente um
sistema de gestão em EaD que busca a excelência e não perde de vista seu
objetivo primordial: servir à educação.
O projeto educacional estratégico e a filosofia do melhoramento contínuo
são princípios importantes para orientarem a gestão e, consequentemente, a
sistemática da avaliação em EaD. Entretanto, a estruturação de uma avaliação
eficaz deve ir além, buscando consolidar uma metodologia capaz de
operacionalizar os princípios mais gerais da gestão estratégica. Uma adequada
metodologia para avaliação do curso precisa se orientar por referenciais que
funcionem como modelos para a realidade e disponibilizem indicadores
relevantes e capazes de serem sistematizados em procedimento e
instrumentais.
Dessa forma, os referencias propostos pelo Institute for Higher
Education and Policy (MOORE E KEARSLEY, 2008) e pelo Ministério da
Educação (BRASIL, 2007) são recursos importantes, representando
24
modelagens gerais para a educação a distância. Estes referenciais contam
ainda com uma rede de indicadores, estabelecidos para monitorar o
desempenho dos diversos atores e fatores envolvidos em EaD, que
possibilitam o primeiro passo para o desenvolvimento de metodologias
adequadas a situações específicas.
Consideramos que a adoção destes documentos possibilitam às
instituições que desenvolvem cursos em EaD partirem de bons referenciais
para o estabelecimento de metodologias adequadas a suas realidades. Os
fatores e indicadores estabelecidos são boas opções de partida para as
análises necessárias à criação e seleção de indicadores de desempenho a
serem adotados para a avaliação somativa do curso EaD. A finalização do
processo, ou seja, o estabelecimento de procedimentos operacionais e
instrumentais a partir dos fatores e indicadores escolhidos, pode ser conduzido
a partir das orientações estabelecidas por Kirkpatrick (1998) e Hack (1999).
Embora específicas para realização da avaliação de cursos virtuais em
educação online corporativa, as sugestões feitas por Kirkpatrick (1998) e Hack
(1999) parecem complementar perfeitamente as discussões conduzidas,
representando um caso prático onde uma metodologia está completamente
instrumentalizada. A sua amplificação para o contexto mais amplo da avaliação
do curso em educação a distância é capaz de fornecer importantes diretrizes e
procedimentos operacionais capazes de conferirem os resultados mais
consistentes aos programas em EaD.
É importante concluir este estudo ressaltando que a sucessiva
sistematização da avaliação do curso, partindo do planejamento estratégico,
passando pelos referenciais / modelos da realidade, até chegar aos indicadores
e instrumentais, revela uma conduta gerencial que busca materializar princípios
organizacionais e a opção epistemológica da EaD estabelecidos pela e para a
instituição. Essa derradeira consideração tem como objetivo deixar evidente
que o processo de avaliação do curso em EaD, como todo mecanismo
gerencial, é um meio que serve a um propósito final e, por isso, deverá ser
instrumentalizado até o limite do possível, estabelecido pela própria
subjetividade relacionada a área gerenciada.
5. Agradecimentos.
Agradeço a Profª. Isabel Andréa Barreiro-Pinto, pela orientação fundamental,
precisa e afetiva, sem a qual não teria produzido o presente texto, e a meus
companheiros de trabalho, artífices e parceiros no desafio cotidiano de
aperfeiçoar a educação corporativa na Justiça Federal para, assim, garantir
efetividade à cidadania brasileira.
6. Referências bibliográficas.
25
ARAÚJO, Maristela Midlej Silva de, (2008). Desenho didático para cursos
dinamizados em ambientes online: o caso do curso de formação para
professores em serviço do ensino médio. Disponível em:
http://www.abed.org.br/congresso2008/tc/562008113802AM.pdf
BRASIL. Ministério da Educação. Secretaria de Educação a Distância – SEED
(2007). Referenciais de qualidade para a educação superior a distância.
Disponível em:
http://portal.mec.gov.br/seed/arquivos/pdf/referenciaisead.pdf
CAMARGO, Leônidas Lemos, (2000). Uso de indicadores da qualidade para o
gerenciamento estratégico de empresas do ramo comercial. 2000, 142 f.
Dissertação de Mestrado. Universidade Federal de Santa Catarina. Disponível
em:
http://teses.eps.ufsc.br/defesa/pdf/4429.pdf
CARLINI, Alda Luiza, RAMOS, Monica Parente (2009). A Avaliação do curso.
In: LITTO, F. M., FORMIGA, M. (orgs.) Educação a distância – o estado da
arte. 1ª ed. São Paulo: Person Education, p. 161-165.
FILATRO, Andrea, (2007). Design Instrucional Contextualizado. 2 ed. São
Paulo, SP: SENAC.
FILATRO, Andréa, (2005). Integração de Objetos em Atividades de
Aprendizagem: Padrões para Desenho de Cursos. Disponível em:
http://www.fgvsp.br/pgl2005/sec_arquivo/2005/artigos/A2005T00021.pdf
HACK, Luciano Emilio, (1999). Mecanismos complementares para a avaliação
do aluno na educação a distância. Dissertação de Mestrado. Universidade
Federal do Rio Grande do Sul. Disponível em:
http://www.pgie.ufrgs.br/webfolioead/biblioteca/artigo7/artigo7.html
HEIMANN, Luiza et al. (2008) Informação para a gestão: o Sistema de
Monitoramento e Avaliação do Sistema Único de Saúde (SUS) a partir da
Atenção Básica no Estado de São Paulo (SisMasus). In: BOTAZZO, C.,
OLIVEIRA, M. A. (orgs.) Atenção básica no Sistema Único de Saúde:
abordagem interdisciplinar para os serviços de saúde bucal. 1ª ed. São Paulo,
SP: Páginas & Letras Editora e Gráfica. Disponível em:
http://www.isaude.sp.gov.br/smartsitephp/media/saudebucal/file/anexos/Atenca
o%20basica/IS-cap7.pdf
KIRKPATRICK, Donald L., (1998). Evaluating training programs: the four levels.
2ª ed. San Francisco, CA: Berret-Koehler Publisher.
26
MARCONI, Marina de Andrade, LAKATOS, Eva Maria, (2000). Metodologia
científica. 3 ed. São Paulo, SP: Editora Atlas.
MARRAS, Jean Pierre, (2000). Administração de recursos humanos: do
operacional ao estratégico. 1ª ed. São Paulo, SP: Editora Futura.
MARSHALL JUNIOR, Isnard et al, (2008). Gestão da qualidade. 9 ed. Rio de
Janeiro, RJ: Editora FGV.
MARTINS, Marcos Amancio P., (2007). Gestão educacional: planejamento
estratégico e marketing. 1ª ed. Rio de Janeiro, RJ: Brasport.
MOORE, Michael, KEARSLEY, Greg, (2008). Educação a distância: uma visão
integrada. 1ª ed. São Paulo, SP: Cengage Learning.
PACHECO, A. P. R. et al. O ciclo PDCA na gestão do conhecimento: uma
abordagem sistêmica. http://www.isssbrasil.usp.br/pdfs2/ana.pdf. Acesso em:
26 jan. 2010.
PAES DE CARVALHO, C. Contribuições para a análise da gestão das
Secretarias
de
Educação.
http://www.anped.org.br/reunioes/29ra/trabalhos/trabalho/GT05-2483--Int.pdf.
Acesso em: 26 jan. 2010.
RICARDO, Eleonora Jorge (2009). Educação corporativa e EAD: elaborando o
projeto político-pedagógico. In: LITTO, F. M., FORMIGA, M. (orgs.) Educação
a distância – o estado da arte. 1ª ed. São Paulo, SP: Person Education, p.
237-241.
SCHRÖEDER, Christine da Silva, (2005). Critérios e indicadores de
desempenho para sistemas de treinamento corporativo virtual: um modelo para
medir resultados. Dissertação de Mestrado. Universidade Federal do Rio
Grande do Sul. Disponível em:
http://navi.ea.ufrgs.br/artigos/disserta_cris.pdf
SVEIBY, Karl Erik, (1998). A nova riqueza das organizações. 7ª ed. Rio de
Janeiro, RJ: Editora Campus.
TAKASHINA, Newton Tadachi, FLORES, Mario Xavier, (1996). Indicadores da
Qualidade e do Desempenho. 1ª ed. Rio de Janeiro, RJ: Editora Qualitymark.