Universidade de Brasília (UnB)
Faculdade de Economia, Administração, Contabilidade e Ciência da Informação e Documentação (FACE)
Profa: Gardênia da Silva Abbad
AVALIAÇÃO DE PROGRAMAS
Objetivo, Usos e Distinções
Conceituais
Fontes: Capítulo 1 – Wonders,
Sanders e Fitzpatrick e Abbad (2006)
Definição, distinções
Mensurar
Julgar
Avaliar
Definição, distinções
• Pense em uma situação que envolve mensuração e
emissão de julgamento de valor. A verificação da
temperatura corporal de uma criança é um exemplo
que ilustra a distinção entre mensuração e avaliação.
No caso da avaliação de temperatura, precisamos de:
– um instrumento de medida (o termômetro),
– uma unidade de medida (graus centígrados),
– procedimentos de aplicação (colocar o termômetro
embaixo de um dos braços da criança e mantê-la quieta
por três minutos enquanto é feita a mensuração),
– leitura e interpretação das informações coletadas
através do termômetro.
– critério de avaliação.
Definição, distinções
- Julgar o valor ou o mérito de alguma coisa
(Scriven, 1967)
- Estimar o quanto objetivos específicos foram
alcançados.
- Pesquisar e mensurar.
- Emitir juízo profissional
- Realizar auditoria.
- Controlar a qualidade.
Definição, distinções
- Identificação , esclarecimento e aplicação de
critérios defensáveis para determinar o valor ou
mérito, a qualidade, a utilidade, a eficácia ou a
importância do objeto avaliado.
- Avaliação usa métodos de pesquisa e
julgamento
- Padrões relativos ou absolutos para julgar a
qualidade;
- Coleta de informações relevantes;
- Aplicação dos padrões para determinar qualidade,
utilidade, eficácia ou importância.
Definição, distinções
• Verificação da temperatura corresponde à mensuração, pois estamos
medindo o quanto a criança possui desse atributo.
• Se o resultado da leitura indicar uma temperatura de 39,2 graus Celsius,
pode-se dizer que a criança está com febre alta.
• Isto é um julgamento de valor, feito a partir de uma medida e de um
critério de avaliação (temperaturas iguais ou superiores a 37,5 indicam
febre), que serve de referência para que o julgamento de valor possa ser
emitido.
Definição, distinções
•
•
•
•
A emissão de julgamento de valor, depende, além de mensuração, de critérios
ou normas.
Os critérios são fixos (absolutos) como a indicação do ponto em que uma
temperatura corporal deixa de ser normal e passa a ser considerada febre. Esse é
um exemplo de avaliação referenciada em critérios, que possibilita a avaliação
direta do atributo comparando-se a medida tomada com o ponto de referência.
A avaliação de altura, inteligência, rendimento do aluno no vestibular e peso de
uma pessoa, por outro lado, exige o estabelecimento de normas que ajudam o
avaliador a classificar o indivíduo com alto, médio ou baixo, em relação a outras
pessoas, residentes no mesmo país e que possuem a mesma faixa etária e
pertencem ao mesmo sexo etc. As normas de peso e altura para mulheres são
diferentes das normas para homens.
Quando a medida é a posição relativa a um grupo ou similar, diz-se que a
medida está referenciada em normas. Alguns autores preferem denominar esse
tipo como avaliação relativa.
Objetivos da avaliação
• Obter dados sobre o funcionamento de um
programa.
• Aprimorar e ajustar processos e atividades em
andamento.
• Avaliar eficiência.
• Avaliar resultados em diferentes níveis de análise.
• Aferir o valor final.
• Julgar as validades interna e externa do
programa.
• Tomar decisões sobre o futuro do programa.
Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais
a distância
QUESTÕES
RESPOSTAS
PARA
Avaliação formativa
o Para validar o desenho de um programa junto a uma amostra de especialistas
em conteúdos e educação a distância, de pessoas de perfil similar ao do
público-alvo.
o Para aperfeiçoar o desenho instrucional e atividades, adequando-os à natureza
das necessidades educacionais, perfil e contexto do público-alvo.
QUE
AVALIAR?
Avaliação somativa
o Para avaliar a efetividade de um curso nos níveis almejados.
o Para comparar resultados obtidos através do curso com os objetivos
educacionais.
o Para aprimorar o desenho de eventos subseqüentes.
o Para julgar a validade interna do curso (verificar o quanto e se o curso foi
capaz de gerar os resultados que almejava).
o Para julgar a validade externa do curso, isto é se e quanto os resultados do
curso são generalizáveis para outros contextos e público-alvo.
o Para ajustar processos de análise das necessidades educacionais e de desenho
instrucional, anteriores à implementação do curso e que exerceram influência
sobre os resultados obtidos pelo evento.
Fonte: Abbad (2006)
Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais
a distância
O QUE MEDIR?
COM O QUE MEDIR?
Reações dos alunos ao desenho ou ao curso
implementado
Aprendizagem (alcance dos objetivos educacionais)
Aplicação do aprendido em outros contextos
(transferência de aprendizagem)
Mudança ou impacto no contexto
Valor final (retorno social, retorno do investimento
financeiro)
Questionários
Provas, testes, ensaios, monografias, simulações
Roteiros de Observação
Roteiros de análise documental
Roteiros de entrevista
Indicadores de desempenho do aluno (antes,
durante e após o curso)
Indicadores de desempenho do grupo, comunidade,
rede, (antes, durante e após o curso) em que se
insere o egresso do curso.
Fonte: Abbad (2006)
Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais
a distância
COMO
MEDIR?
Aplicação de questionários
Análise documental
Aplicação individual ou em grupo (in loco ou a
distância).
Auto-aplicação ou aplicação coletiva
Questionários impressos, digitalizados ou eletrônicos
Grupos focais
Critérios descritos nos objetivos educacionais
Normas associadas ao alcance dos objetivos
educacionais
COM QUE
PARÂMETROS
(CRITÉRIOS
NORMAS)?
OU
QUAIS FONTES
INFORMAÇÃO
UTILIZAR?
DE
Arquivos eletrônicos de dados
Documentos
Aluno (percepções, reações, rendimento)
Professor, tutor
Especialista nos conteúdos do curso
Profissionais de informática
Profissionais de desenho instrucional
Fonte: Abbad (2006)
Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais
a distância
COMO
CONFERIR VALIDADE
ÀS CONCLUSÕES SOBRE A
EFETIVIDADE DO CURSO?
QUAL O
DELINEAMENTO DE
PESQUISA MAIS ADEQUADO
À SITUAÇÃO?
Fonte: Abbad (2006)
Investigando explicações alternativas para os resultados. Isto é
feito identificando os fatores que contaminaram as medidas de
resultados, ou seja, fatores externos ao curso que tenham causado
os resultados: aprendizagem, reações dos alunos ao curso etc.
Além disto, a análise da validade interna do curso depende da
investigação do quanto o curso e esses fatores externos
influenciaram os resultados.
Se o objetivo da avaliação for produzir conhecimentos científicos
sobre efetividade de cursos, os delineamentos mais indicados são
diversas variações de desenhos experimentais ou quaseexperimentais de campo (com grupo(s) controle(s), com (ou sem)
escolha aleatória de alunos para composição dos grupos de
comparação, pré-teste(s) e pós-teste(s)).
Se objetivo da avaliação for apenas produzir informações que
possibilitem a realização de mudanças capazes de aumentar a
efetividade de cursos e sistemas instrucionais, o delineamento
precisa ser cuidadoso, porém não tão rigoroso como no caso citado
anteriormente. Pode ser feita junto a uma amostra de pessoas
qualitativamente representativas do público-alvo através de estudo
qualitativo e em profundidade.
Avaliação formativa e somativa
Avaliação formativa: aplicada para testar os materiais, atividades , processos de
trabalho e resultados parciais de um programa. Geralmente é realizada no início do
programa e visa modificá-lo, ajustando-o às necessidades do público-alvo e ao contexto.
Exemplo:
Na avaliação educacional, uma avaliação formativa completa compreende pré-teste,
testes durante a instrução e pós-teste.
- O pré-teste informa o nível de ingresso ou repertório de entrada do
participante no que diz respeito ao conteúdo do treinamento. É um
ponto de referência para julgar o nível de desempenho do
participante ao final do curso.
Objetivos: validar e aperfeiçoar o desenho e materiais do curso, antes de sua aplicação
definitiva em todo o público-alvo, bem como identificar eventuais dificuldades do aluno
e buscar estratégias remediativas de ensino, como prática adicional para garantir uma
melhoria no rendimento dos aprendizes.
Avaliação interna e externa
Interna
Vantagem: o avaliador
conhece mais o
programa do que um
avaliador externo
Risco: falta de
distanciamento para
analisar pontos fracos.
dificuldade de emitir
julgamentos com
precisão e
objetividade.,
pertencer a uma das
coalizões de poder.
Externa
Vantagem: avaliador externo teria mais
objetividade e menos interesses em jogo.
Riscos:
O avaliador pode desconhecer
informações relevantes sobre o contexto
(coalizões internas e internas, relações de
poder, etc) , deixar-se influenciar por uma
das coalizões.
Combinações de papéis
1. Formativa interna
2. Formativa Externa
3. Somativa Interna
4. Somativa Externa
Limitações da avaliação
(ou mau uso da avaliação?)
1. Expectativa de que a avaliação sozinha solucione os problemas. Avaliações indicam
caminhos, mas não resolvem os problemas.
2. Utilização inadequada ou parcial dos resultados .
3. Avaliação encarada como uma pesquisa de corte transversal e não longitudinal,
processual e dinâmica
4. Planejamento inadequado da avaliação
- delineamento incompatível com a natureza do programa
-falta de controle ou conhecimento explicações alternativas para os
resultados do programa.
5. Apresentação confusa e pouco objetiva dos resultados.
6. Disseminação inadequada dos resultados (para uma única fonte ou stakeholder).
7. Interpretação tendenciosa dos resultados (falta de relação entre dados concretos e
interpretações).
8.Falta de crítica aos procedimentos e relativização dos resultados.