Propostas e Programas de
Avaliação da Educação
Básica
Luiza Massae Uema
Inep/MEC
Fórum Permanente de Desafios
do Magistério
Campinas, setembro de 2006
Objetivo
 O que tem sido feito no campo da avaliação da
educação básica
 Avaliação em larga escala – uma perspectiva
 Reflexão sobre o uso de resultados – alcance e
limitações
Perspectiva da Avaliação nas Escola
Em sala de aula
 Os estudantes são avaliados com base em exames
preparados por seus professores
 Os professores utilizam tais exames para determinar
aqueles que possuem condições de avançar no
sistema
 O baixo desempenho do estudante é,
freqüentemente, considerado de responsabilidade do
estudante e de suas famílias
Outra perspectiva - avaliações em larga escala
 Externas, com foco nos alunos, nas escolas, nas
redes ou nos sistemas
 Metodologia e testes padronizados
 População de grande porte (em larga escala),
representada por amostra, sub-populações
 Proporciona estudos que produzem macro
informações
Coleman (1966)
As Avaliações em Larga Escala
 Brasil: especialmente nas décadas de 90 e atual –
proliferação de avaliações em larga escala.
 Vários tipos de avaliação e objetivos:
 Auto avaliação
 Credenciamento
 Certificação
 Diagnóstico
• Accountability
As Avaliações em Larga Escala
Auto Avaliação
Conhecer a situação da própria aprendizagem,
possibilitando também, o posicionamento com
relação a outros participantes do exame
Avaliações em larga escala
Exemplo: Exame Nacional do Ensino Médio - ENEM
Em 2005

Dos 2.199.637 participantes, 1,1 milhão são concluintes (52% dos
concluintes do ensino médio)

Das 22.918 escolas de ensino médio que constam do Censo Escolar,
22.014 tiveram ao menos um aluno concluinte que participou do
exame (96,05%)
Participantes do Enem 2005
Concluintes
Escolas
5%
17%
27%
52%
43%
73%
Privada
83%
Públicas
Privada
concluintes
egressos
outra condição
Públicas
Avaliações em larga escala
Credenciamento
Avaliação de resultados com vistas à classificação
para seleção visando ao ingresso no mercado de
trabalho ou em instituições ensino superior
Exemplo: ENEM
- 490 instituições de ensino superior usam o resultado
do Enem no critério de seleção de candidatos a seus
cursos de graduação
- ProUni
Avaliações em larga escala
Certificação
Instrumento que visa a formalizar, conforme a legislação
educacional vigente, as competências e habilidades
individuais desenvolvidas
Exemplo: Exame Nacional de Certificação de Competências da
Educação de Jovens e Adultos – ENCCEJA
Objetivo: aferir conhecimentos e habilidades referentes à
conclusão do ensino fundamental e médio
Avaliações em larga escala
Diagnóstico
Levantamento da situação em determinado momento com
vistas à formulação, implementação e avaliação de
processos ou políticas educacionais
Exemplo:
 Sistema Nacional de Avaliação da Educação Básica –
SAEB
Avaliação Nacional do Rendimento Escolar - Prova Brasil
Avaliações em larga escala
Diagnóstico
 Brasil: Surgimento entre meados das décadas de 80.
 O MEC inicia as discussões sobre uma política de
suporte à melhoria da qualidade do ensino.
 Promove algumas experiências piloto de avaliação
dando ensejo para a implantação, pela então Secretaria
de Educação Básica, do Sistema de Avaliação do
Ensino Público de 1º Grau - SAEP, que passou a
denominar-se Sistema Nacional de Avaliação da
Educação Básica, em 1992.
SAEB
 Dois pressupostos básicos:
• O rendimento dos alunos reflete a qualidade do
ensino ministrado;
• Diferentes fatores “explicam” a qualidade do
ensino.
 Avaliação do SAEB mais do que um teste sobre os
alunos é a conjugação de testes de rendimento com
questionários sobre fatores associados
SAEB
 Instrumentos padronizados e de caráter amostral.
 Serve para acompanhar a evolução do desempenho dos
estudantes ao longo tempo.
 Possibilita a comparação do desempenho médio dos
estudantes entre diferentes estratos
 Proporciona estudos que buscam identificar os
determinantes do desempenho dos estudantes.
Relatório Coleman (1966)
A Institucionalização do SAEB
 Com redemocratização – reflexos na educação
(i) Forte ampliação do acesso à escola,
porém ao longo do processo:
(i) a impressão de que os resultados que estavam sendo
gerados não pareciam ser exatamente o que se desejava.
 O País faz um grande esforço mas ainda é
necessário investir em qualidade. Mas o que isto
significa exatamente ?
 sistema nacional de avaliação poderia trazer informações
úteis sobre o que estaria sendo gerado no sistema
educacional e o que seria responsável pelos resultados
obtidos
A Institucionalização do SAEB
 No governo federal, ao final da década de 80, o MEC
 inicia as discussões sobre uma política de avaliação do ensino
fundamental,
 promove algumas experiências pilotos,
 motivando a implantação, pela então Secretaria de Educação
Básica, do Sistema de Avaliação do Ensino Público de 1º Grau SAEP, que passou a denominar-se Sistema Nacional de Avaliação
da Educação Básica, em 1992.
 Apesar de algumas dificuldades:
• Os preconceitos em relação a métodos e técnicas de avaliação de
aprendizagem, especialmente os em larga escala.
 O escasso domínio de competência e raras oportunidades de
formação acadêmica neste campo.
Evolução
Após mais de uma década
 Foram realizados sete ciclos de avaliação
 Avanços metodológicos importantes, como a
introdução da TRI
• Teoria que permite comparabilidade
 Desenvolveram-se planos amostrais que conferem
maior validade aos resultados
 O SAEB consolida-se como um instrumento que
garante qualidade e a confiabilidade das
avaliações realizadas.
Forma dos Resultados
Público alvo: governantes e pesquisadores
 Publicações com caráter muito técnico, o que
inviabilizava a apropriação dos resultados no contexto do
quotidiano das escolas
 Na ausência de uma proposta curricular completa e
objetiva: utilização das matrizes de referência do SAEB
como grade curricular
 Demanda por resultados das escolas e dos alunos
individualmente
Avaliações em larga escala - SAEB
Proficiência Média por Série e Disciplina – SAEB/INEP
Língua Portuguesa
290
270
250
1995
1997
230
1999
210
2001
190
2003
170
150
4a série EF
8a série EF
3a série EM
Avaliações em larga escala - SAEB
Proficiência Média por Série e Disciplina – SAEB/INEP
Matemática
290
270
1995
250
1997
230
1999
210
2001
190
2003
170
150
4a série EF
8a série EF
3a série EM
Alcance
 Para além dos números
 Desempenho – variável dependente
 Fatores associados
 Efeito escola
 Instrumento de gestão
Contribuição
 Avaliação evoluiu favoravelmente nos últimos anos
 Percebe-se a consolidação de uma importante cultura
depois das resistências ocorridas nos momentos iniciais
 Dissemina-se a compreensão dos alcances, limites e
complementaridade entre os diferentes tipos de
avaliação em larga escala
 debate iniciado nos últimos anos é dar um salto,
agregando à perspectiva da avaliação em larga escala o
estabelecimento de padrões mínimos de desempenho a
fim de que a informação se torne mais útil e atinja mais
a fundo os aspectos pedagógicos do desempenho.
Limites
 Não perfeito, vários aperfeiçoamentos possíveis e muitas
limitações analíticas (o que é avaliado)
 Não poderia responder a todas as necessidades de
informação, porque não foi construído para
 apreender toda a diversidade e singularidade das escolas e
sistemas de ensino
 todos os requisitos informacionais necessários para apurar a
qualidade, ou a evolução da qualidade do(s) sistema(s)
educacional(is)
Perspectivas
 Com esse pano de fundo, dentro do INEP:
i) Aprimoramento metodológico
ii) Comparações Internacionais :
PISA, SERCE
iii) estimulo a difusão do SAEB e avaliação: Oficinas
iv) criação e fortalecimento de sistemas próprios de avaliação –
parcerias (metodologia, itens, aplicações etc.) e rede nacional de
avaliação
v) aprimoramento de pesquisas sobre fatores associados:
Condições de oferta
Gestão e processos pedagógicos,
Condições de alfabetização etc.
Avaliações em larga escala
Accountability
 Avaliação universal com divulgação dos
resultados por escolas (accountability)
 O objetivo é tornar escolas, professores,
dirigentes do sistema e estudantes
responsáveis pelo desempenho dos alunos.
 E, assim, mobilizar dirigentes educacionais,
professores, estudantes, pais e a sociedade em
geral na busca da melhoria da qualidade de
ensino.
Avaliação universal com divulgação dos
resultados por escolas (accountability)
 Marco nos sistemas de accountability: Inglaterra
(1988)
 Centralização de currículo,
 maior liberdade para escolha da escola,
 maior liberdade para a escola gerir os recursos,
 definição de critérios de desempenho nacional,
 divulgação dos resultados.
Accountability nas Escolas
 Um sistema de accountability envolve:
 Exames padronizados em caráter universal
 Ampla divulgação dos resultados
 Pode ter, ou não, recompensas e sanções atreladas
aos resultados.
 Diferentes sistemas diferem
 no tipo de exame utilizado,
 na forma de divulgação dos resultados e
 nos esquemas de prêmios/sanções subjacentes.
Accountability nas Escolas
 Polêmica
 Defensores: avaliação da eficiência melhora
efetiva e rapidamente a qualidade do ensino.
 Críticos: pode ter “efeitos” indesejáveis pela
pressão demasiada sobre todos os
segmentos envolvidos no processo de
ensino.
Argumentos favoráveis
1. Ao tornar os resultados das escolas mais
transparentes, accountability gera um
sistema de incentivos para a melhoria da
qualidade de ensino.
 Melhorar a qualidade de ensino pode exigir
mudanças de práticas e hábitos enraizados no
processo escolar e, portanto, de difícil mudança.
 Maior transparência aumenta a pressão social
pelas mudanças.
Argumentos favoráveis
2. A divulgação dos resultados pode desfazer
certas percepções equivocadas sobre o
desempenho da escola e mobilizar o corpo
de professores e dirigentes na busca de
melhorias.
3. Um sistema de prêmios/sanções pode
aumentar os incentivos para a melhoria.
Argumentos contrários
1. Os indicadores de desempenho são medidas
imperfeitas da qualidade da escola: efeito aluno X
efeito escola.
 Responsabilizar a escola por algo que ela não tem
“culpa” pode gerar desânimo e piorar o desempenho.
 No caso de simples divulgação de resultados, tal
argumento supõe uma incapacidade, por parte do
público interessado, em resolver de forma adequada o
problema de “extração de sinal”.
 No caso de sistemas com prêmios/sansões, o resultado
depende muito do desenho.
Argumentos contrários
1. Os indicadores de desempenho são medidas
imperfeitas da qualidade da escola: efeito aluno X
efeito escola.
 Responsabilizar a escola por algo que ela não tem
“culpa” pode gerar desânimo e piorar o desempenho.
 No caso de simples divulgação de resultados, tal
argumento supõe uma incapacidade, por parte do
público interessado, em resolver de forma adequada o
problema de “extração de sinal”.
 No caso de sistemas com prêmios/sansões, o resultado
depende muito do desenho.
Argumentos contrários
2. Uma vez que as escolas são cobradas pelo
desempenho dos alunos, elas podem buscar
meios não desejados de aumentar a
proficiência nos exames:
 Estreitamento do currículo
 Exclusão dos alunos de baixo rendimento
Avaliação e Rendição de Contas
 Estudos mostram que:
 Sistemas de rendição de contas em si levam a aumentos na
proficiência de alunos
 Sistemas de incentivo – dependem dos desenhos
 Não evidencias conclusivas sobre exclusão
 Por outro lado
 Responsabilização
 Envolvimento da sociedade no debate/definição políticas públicas
 Transparência – A Informação é um direito do cidadão
 diminuição de posicionamento paternalista
A Prova Brasil
 Experiência Nova em termos de amplitude nacional: Prova
Brasil (ANRESC) (existem experiências similares nos sistemas)
 amplia o escopo da avaliação, deixa de ser o sistema e passa a ser
unidade de ensino,
 Possibilidade de mudar o foco: apesar de diagnóstico ainda ser
ponto chave, a ele pode ser agregada uma nova e importante
dimensão – rendição de contas (accountability)
 Prova Brasil aplicada em 2005
 Universal (não amostral) – todas as escolas publicas, urbanas com
mais de 30 alunos na serie
 Metodologia igual a SAEB – comparabilidade.
 Cada unidade recebe seu resultado de modo a ser possível se
comparar com outras escolas
 Questionário simplificado (só alunos)
Divulgação dos resultados
As escolas participantes recebem:
 seus próprios resultados, com a média geral de
proficiência de seus alunos e a distribuição dos
alunos ao longo da escala
 médias do próprio município, estado e do país,
referente às escolas que participaram da Prova
Brasil
livreto com informações técnicas sobre a Prova
Brasil
Material de Divulgação
cartaz com informações gerais sobre o exame
e a escala para avaliação dos resultados em
conjunto com a comunidade escolar
informativo, com indicadores específicos da
escola extraídos do Censo Escolar, e médias das
demais escolas que participaram do Prova Brasil
Cada gestor municipal e estadual também recebe
os mesmos dados