Avaliação
Experiências com avaliação de
sistema: o que elas podem nos
ensinar.
A divulgação desta apresentação por Cd-Rom e no Web site do programa
Educação do Instituto do Banco Mundial e feita com a autorização do autor.
Um cuidado:
As análises sobre qualquer avaliação (ou sistema de
avaliação) devem considerar:
• seus objetivos
• seus usuários
• quem / o que esse sistema está
avaliando.
Nível macro: Avaliações Internacionais
Criadas para permitir comparação de
desempenho de estudantes de países
diversos, para capitalizar a variabilidade dos
sistemas educacionais, descrevendo os
sistemas existentes e sugerindo o que
poderia ser educacionalmente possível.
Estudos promovidos em uma perspectiva de
pesquisa.
TIMSS – Third International Mathematics and Science Study,
conduzido pela International Association for the Evaluation of
Educational Achievement (IEA)
Realizado em 1999 com alunos de 8a série de 38 países.
Foram levantados, além do desempenho dos alunos, os
currículos usados, o número de horas dedicadas às
disciplinas, condições em sala de aula.
Foi feito um acompanhamento dos estudantes que, em
1995, haviam respondido as provas de 4a série (em 17
países) para levantar se o desempenho relativo desses
alunos havia sido alterado.
PISA – Programa Internacional de Avaliação de Alunos
Organização Cooperação e Desenvolvimento Econômico - OCDE
Realizado em países membros da OCDE, com poucas
exceções, como Brasil e China.
O PISA visa avaliar as habilidades e conhecimentos de
jovens de 15 anos em relação a sua participação
efetiva na sociedade (Learning for living).
PISA – Programa Internacional de Avaliação de Alunos
Organização Cooperação e Desenvolvimento Econômico - OCDE
O programa prevê comparabilidade de resultados ao
longo dos anos. As provas são aplicadas a cada três
anos.
O foco do PISA recai sobre três áreas de conhecimento:
alfabetismo em leitura, alfabetismo em matemática e
alfabetismo em ciências.
PISA –
Resultados 2000 Leitura
A Avaliação em larga escala no Brasil
Boom na década de 90
O Governo FHC:
• Ensino Superior: o Provão, o Censo e o ACE
• Ensino Médio : ENEM
• Ensino Fundamental : SAEB
Nível macro: Sistema Nacional da Avaliação da
Educação Básica (SAEB)
Implementado a partir de 1990, com uma reforma
metodológica em 1995 (TRI).
Provas aplicadas, a cada dois anos, a uma amostra de
alunos das 4a e 8a séries do ensino fundamental e 3o
ano do ensino médio.
Resultados divulgados no ano seguinte ao da aplicação,
agregados por estado e dependência administrativa.
Sistema Nacional da Avaliação da Educação Básica
(SAEB)
É uma avaliação e não um sistema.
Foi pensado inicialmente para atender aos gestores
dos sistemas.
Tem sido criticado por não fornecer informações
desagregadas.
Há alguma polêmica quanto à amostragem.
A partir de 2001, concentrou-se em Língua
Portuguesa e em Matemática.
Sistema Nacional da Avaliação da Educação Básica
(SAEB)
Panorama atual:
Movimento para avaliação universal do sistema
escolar, baseado na adesão de todos os sistemas
públicos (das 3 esferas) envolvidos com a educação
e com a avaliação.
Pressão dos estados para ter resultados por escolas
+ falta de recursos/interesse para desenvolver
competência local em avaliação.
Sistema Nacional da Avaliação da Educação Básica
(SAEB)
Portaria 931 de 21 de março de 2005 institui que o
Sistema de Avaliação da Educação Básica será
composto por dois processos:
A. Avaliação Nacional da Educação Básica – ANEB
B. Avaliação Nacional do Rendimento Escolar - ANRESC
AVALIAÇÃO NACIONAL DA EDUCAÇÃO BÁSICA
(ANEB)
Mantém o formato do SAEB.
Tem o objetivo principal avaliar a qualidade,
eqüidade e eficiência da educação brasileira.
As informações produzidas por ela devem subsidiar a
formulação de políticas públicas educacionais e
buscarão comparabilidade entre anos e entre séries
escolares, permitindo a construção de séries
históricas.
AVALIAÇÃO NACIONAL DA EDUCAÇÃO BÁSICA
(ANEB)
O Banco Nacional de Itens funciona como eixo
estruturante da elaboração dos testes.
Oficinas são realizadas em todo o Brasil. A
aprendizagem sobre o processo de elaboração de
itens e testes é efeito colateral desejável.
Responde pela qualidade dos itens e por sua
disponibilização para as avaliações dos estados.
Fonte: Santos, Clarice. Banco Nacional de Itens. O
eixo estruturador da avaliação.
AVALIAÇÃO NACIONAL DO RENDIMENTO ESCOLAR
(ANRESC)
Avalia a escola do Ensino Básico, de modo a que
possa ter seu resultado individualizado.
Oportuniza informações sistemáticas sobre as
unidades escolares, úteis para a escolha dos
gestores de rede a qual pertençam.
AVALIAÇÃO NACIONAL DO RENDIMENTO ESCOLAR
(ANRESC)
Em 2005, prova de Língua Portuguesa
• Aplicação em novembro (16 a 30)
• 43 mil escolas urbanas de 4ª e 8ª séries em 5.418
municípios no Brasil.
• 5 milhões de alunos (todas as escolas urbanas com
mais de 30 alunos/série avaliada).
• Escolas vão receber os resultados como média
geral e percentual de estudantes por nível da escala
SAEB.
• Custo total: R$ 56.189.665,63
Fonte: INEP. www.inep.gov.br
Sucesso do SAEB + esforços de
entidades como a UNESCO e
UNICEF = criação de sistemas
estaduais de avaliação.
Experiências Estaduais em 2002
►
Parcerias e financiamento
 Bahia: Projeto de Avaliação Externa
►SEC/UFBA-ISP/FAPEX
►Recursos do Tesouro e Banco Mundial
►Consultoria internacional (AIR)
 Ceará: SPAECE (institucionalizado via portaria)
►SEC/UFCE / INEP / FCC
►Tesouro / Banco Mundial a partir de 98
/ BIRD em 2000
Experiências Estaduais em 2002
►
Parcerias e financiamento
 Minas Gerais: SIMAVE / PROEB (projeto de lei
em 2001 para criação de uma agência pública
de avaliação da educação)
►Sistema independente, associado às
universidades, com participação de
sindicatos.
►Consultoria internacional (Ministério da
Educação Nacional da França)
►Banco Mundial até 2002; em 2002,
SEDUC.
Experiências Estaduais em 2002
►
Parcerias e financiamento
 Paraná: Programa de Avaliação do Rendimento
Escolar, dentro do PQE
►Consultoria internacional (AIR)
►Banco Mundial e BID
 Pernambuco: SAEPE
►INEP / UNESCO
Experiências Estaduais
Todos têm objetivo comum de implementar uma
cultura de avaliação. Os processos são,
entretanto, distintos.
Experiências Estaduais – os sistemas
►
Bahia: Avaliação de Aprendizagem (provas
bimensais) articulada com a Avaliação de
Desempenho (bianual).
► Ceará:
Av. Institucional (interna, voluntária)
articulada com a Av. de Rendimento Escolar
(externa, bianual, com base no SAEB).
► Minas:
PROEB (bianual) para alunos da rede
pública / articulada com o Programa de Avaliação
Continuada.
Experiências Estaduais – fatos relevantes
► Paraná:
Português, Matemática, Ciências,
História/Geografia, Física, Química e Biologia.
► Ceará: Português e Matemática.
► Minas: Português, Matemática, Ciências
Humanas e Ciências da Natureza.
► Bahia: Português, Matemática e Produção
Textual.
► Pernambuco: Português, Matemática e Ciências
no EF; Port e Mat no EM + questionários.
Experiências Estaduais – séries avaliadas
Bahia: AA - 1ª a 4ª séries do EF e AD - 4ª e 8ª
séries do EF.
► Ceará: SPAECE-NET – 8ª série; AR – 4ª e 8ª
séries.
► Minas: PROEB - 4ª e 8ª séries do EF e 3º ano do
EM.
► Pernambuco: 2ª , 4ª e 8ª séries do EF e 3ª série
do EM.
► Paraná: 4ª e 8ª séries do EF / no início 2ª série e
3ª série do EM, com aplicações variadas.
►
Experiências Estaduais - abrangência
► Paraná:
alternância de série e disciplinas /
adesão da rede municipal / censo nas escolas
com mais de 50 alunos/série + amostra de
pequenas escolas.
► Ceará:
expansão gradual / alunos de 4ª e 8ª
séries, censitária para escolas estaduais /
escolas municipais em amostra.
► Minas:
aplicação censitária a escolas estaduais
(e municipais associadas).
Experiências Estaduais - abrangência
► Bahia:
parceria Estado x municípios; aplicação
censitária para alunos de escolas urbanas /
expansão gradual.
► Pernambuco:
estaduais.
aplicação censitária para escolas
Experiências Estaduais – relação com o SAEB
► Minas:
provas próprias, mas com resultados
alocados na escala SAEB, e correção central.
► Bahia:
uso da matriz SAEB como insumo para
composição da matriz do Estado, mas provas
próprias, sem comparabilidade.
 Correção central para Desempenho; correção por
professores e alunos para Aprendizagem.
Experiências Estaduais – relação com o SAEB
► Paraná:
provas abertas com correção local /
resultados comparados com o SAEB através de
uso de itens comuns e TRI.
► Pernambuco:
uso da matriz SAEB como insumo
para as Matrizes Curriculares de Referência.
► Ceará:
provas feitas com itens do SAEB e
correção central.
Experiências Estaduais – características
interessantes
►
Bahia: formação de competência em avaliação e
medidas para o Estado + avaliação diagnóstica
para séries iniciais com freqüência bimensal.
► Ceará:
► Minas:
SPAECE-NET (testes por computador).
utilização da rede de universidades para
a logística e para a discussão dos resultados /
criação de vínculos universidade x escola.
Experiências Estaduais – características
interessantes
► Paraná:
o sistema de correção facilita a
disponibilização imediata do resultado para a
escola / procura buscar efeito escola 4ª a 8ª.
► Pernambuco:
há questionários para pais /
relatórios trazem um conjunto de indicadores.
Experiências Estaduais - atuação
►
Bahia: quadro diagnóstico e vídeos didáticos
► Ceará:
SAP (Sistema de Acompanhamento
Pedagógico)
►
Minas: Projeto Veredas
► Paraná:
Programa de Capacitação Continuada
Experiências Estaduais - reflexão
► “Avaliar
não é para amadores” (CASTRO,
2005).
► Um dos grandes problemas das
experiências de avaliação é a falta de uso
para seus resultados.
► A maior parte dessas experiências foi
descontinuada ou alterada nos últimos dois
anos.