Avaliação e Indicadores
Educacionais: A Experiência
Brasileira
Reynaldo Fernandes
Universidade de São Paulo – USP
Sumário
1. Avaliação Educacional: aspectos gerais
2. Indicadores Educacionais
3. A experiência Brasileira na Educação Básica
4. A experiência Brasileira na Educação Superior
Avaliação Educacional: aspectos gerais
Avaliação Educacional
 Avaliação segundo os dicionários:
 Avaliar é o ato de atribuir valor ou mérito a
alguma coisa.
 A avaliação está imbuída de juízo de valor.
Envolve um julgamento conclusivo em termos
de bom ou ruim, melhor ou pior.
Avaliação Educacional
 Avaliação educacional: expressa uma conclusão
normativa acerca da qualidade (ou sucesso) de
estudantes, professores, escolas, programas,
políticas ou sistemas educacionais.
 A avaliação educacional está associada a idéia
medir e julgar resultados educacionais.
Avaliação X Indicadores Educacionais
 Indicadores não são, necessariamente, avaliações.
Enquanto avaliação educacional exprime julgamento,
indicadores podem ter um caráter mais descritivo.Mas, eles
auxiliam na formação de um juízo avaliativo.
 Embora usualmente chamados de avaliação, o
desempenho de estudantes em exames padronizados é,
mais precisamente, um indicador de resultado educacional.
Avaliação Educacional e Exames Externos
 Concluir sobre a qualidade de uma escola pode
requerer mais do que os resultados de exames
externos: indicadores de insumos e processos
educacionais, percepções subjetivas obtidas por
visitas in loco, entrevistas etc.
 No entanto, resultados de exames externos são
um dos mais importantes instrumentos para que o
público interessado forme um juízo avaliativo
sobre a qualidade de estudantes, professores,
escolas, programas, políticas ou sistemas
educacionais.
Funções da Avaliação
1. Diagnóstico, Credenciamento, Seleção e
Accountability (avaliação somativa)
2. Aprimoramento das escolas, cursos ou
instituições (avaliação formativa)
3. Para fins administrativos (promoções,
regulação etc)
Avaliação Educacional
 Avaliação Formativa X Avaliação Somativa
 O cozinheiro prova a sopa: avaliação
formativa
 O Cliente prova a sopa: avaliação somativa
Avaliação Educacional
 Avaliação Formativa X Avaliação Somativa
 A diferença tem a ver com a função para
qual a avaliação se presta e não sobre o
instrumento de avaliação.
 Embora, evidentemente, diferentes funções
possam exigir diferentes instrumentos
Avaliação Educacional
 Avaliação Diagnóstica
 Avaliação Somativa que se dá no início do
período, cujo objetivo é planejar as ações
futuras.
 Ex: Provinha Brasil → Diagnosticar o nível de
conhecimento dos alunos para planejar as
estratégias de ensino.
Indicadores Educacionais
Indicadores Educacionais
 Indicador Educacional: uma medida ou estatística
sobre alguma dimensão do processo educacional.
 Principais Tipos de Indicadores:
 Indicadores de Resultados
 Indicadores de Insumos e Processos
 Indicadores Compostos
Indicadores de Resultados Educacionais
 Indicadores de resultados educacionais dizem
respeito às realizações educacionais alcançadas
por estudantes, escolas, sistemas educacionais
etc. No caso de estudantes:

O Montante acumulado (conhecimentos, habilidades, séries
completadas etc.)

A eficiência (tempo necessário)
Indicadores de Resultados Educacionais
 Indicadores de resultados: desempenho dos exalunos no mercado de trabalho, resultados de
exames externo, grau de satisfação dos alunos
etc.
Indicadores de Resultados Educacionais
 Duas medidas de interesse
Aferir o aprendizado do estudante (medida direta)
Aferir a contribuição da escola / curso para o
aprendizado (medida indireta)
Base para os Modelos de
Valor Adicionado
Indicador de Resultados X Avaliação Educacional
 Ainda que indicadores de resultados educacionais não
podem,
necessariamente,
ser
entendidos
como
avaliações educacionais, uma de suas principais funções
é justamente a de propiciar ao público interessado que
realizem avaliações educacionais mais embasadas.

importância de determinado indicador de
resultados educacionais está em sua capacidade
de fornecer informações relevantes para quem
necessita realizar tais avaliações.
A
Indicador de Resultados X Avaliação Educacional
 Por vezes, indicadores de resultados educacionais são
tomados como avaliação.
 Por exemplo, alunos que se saem melhor em um teste
padronizado podem ser considerados como obtendo mais
sucesso educacional do que alunos que se saem pior
 Nesse caso, o indicador (pontuação no teste) é
transformado em avaliação devido ao critério (normativo)
de que estudantes com maiores pontuações são
estudantes de mais sucesso.
Indicador de Resultados X Avaliação Educacional
 Qualquer organização ou empreendimento (escola,
empresa, associação, programa, política etc) deve ter
objetivos, visar resultados.
 Então, a existência de indicadores de resultados da
organização ou do empreendimento deveria ser vista
como algo positivo.
 No entanto, a existência e, principalmente, a divulgação
de indicadores de resultados educacionais costuma gerar
polêmica.
Indicador de Resultados X Avaliação Educacional
 As críticas sobre a divulgação de indicadores de
resultados educacionais decorrem, ao menos em parte,
do fato de tomar esses indicadores como avaliação da
qualidade das escolas ou sistemas educacionais.
 Para muito desses críticos, uma melhor informação da
qualidade da escola poderia ser obtida através de um
indicador que considerasse alguns insumos e processoschave.
Indicadores de Insumos e Processos
Educacionais
 Indicadores de Insumos e processos: titulação dos
docentes, indicadores de infra-estrutura, razão docentealuno, método de alfabetização etc.
 Se conhecêssemos precisamente como os resultados
educacionais são produzidos com base nos insumos e
processos utilizados, indicadores de insumos e
processos seriam preferidos. Geram mais informações
sobre o que precisa ser feito.
 Infelizmente, diversos estudos têm apontado para a
fraca correlação entre as variáveis de insumos e
processos usualmente disponíveis e o desempenho dos
estudantes em exames padronizados.
Indicadores Compostos
 Combinar diferentes dimensões de qualidade ou
desempenho educacional em um único indicador. Nesse
caso é preciso arbitrar pesos para as diferentes
dimensões. (envolve juízo avaliativo sobre o que vale
mais) E.g. IDEB que combina proficiência com fluxo
escolar
 Se eu tenho diversos indicadores imperfeitos da
qualidade da escola eu posso, ao invés de escolher
entre eles, encontrar uma forma de combiná-los, de
modo a obter um indicador “menos imperfeito”. (não
envolve juízo avaliativo). Eg. CPC no ensino superior
Debate sobre Indicadores
 Independente de se usar indicadores de
aprendizagem ou indicadores de insumos e
processos, a discussão sobre avaliação
educação se dá em dois níveis de análise:
 Conceitual: o que medir, ou seja, quais são os
principais resultados que devemos esperar da
escola.
 Técnico-operacional: como medir, ou seja,
como obter os indicadores para medir tais
resultados.
Exemplo: “Avaliação” da Aprendizagem
 Aferição do aprendizado dos estudantes em
algumas disciplinas básicas: matemática,
ciências e leitura.
 A idéia é que a principal missão da escola é
propiciar o aprendizado em tais disciplinas
 Entretanto, qualidade do aprendizado não é o
mesmo que qualidade da escola e a medida de
aprendizado não é perfeita.
“Avaliação” do Aprendizado
Características
Individuais e
Familiares
Aprendizado
Nota nos
Exames
Contexto
Social
Escola
Medida Imperfeita
de Aprendizado
“Avaliação” do Aprendizado e Erros de Medida
 A pontuação dos alunos em exames
padronizados não é uma medida sem erro da
proficiência: motivação, sorte, erro de aplicação,
“gaming”, fraude etc.
 Kane e Staiger (2001 e 2002) notaram que os
resultados de exames padronizados são
medidas sujeitas a muito ruído em virtude da
grande variância do termo erro,
particularmente entre as pequenas escolas.
Indicadores Mais Usados para Avaliar a
Qualidade da Escola
1. Média da pontuação dos estudantes em exames
padronizados → Muito influenciada pelo status
socioeconômoico dos estudantes da escola, além do
erro de medida da proficiência.
2. Score ajustado pelo status socioeconômico como uma
medida de valor adicionado → Agrava o problema do
ruído e produz rankings instáveis
3. Variação da pontuação média entre dois períodos como
uma medida de progresso → O mesmo problema do
item 2.
Panel SAEB 1999-2001-2003: Frequencies in top or
bottom 20 percent produced by different rankings
Certainty
Levels
Lottery
Actual
Ajusted by
SES
(1)
(2)
(3)
(4)
Painel A: Number of times
Never
1 year
2 year
All 3 year
school appears in the top 20 percent:
80.0
51.2
68.1
0.0
38.4
12.0
0.0
9.6
10.8
20.0
0.8
9.1
Painel B: Number of times
Never
1 year
2 year
All 3 year
school appears in the bottom 20 percent:
80.0
51.2
64.1
52.9
0.0
38.4
16.8
33.8
0.0
9.6
12.5
12.0
20.0
0.8
6.6
1.2
Source: SAEB - Inep/MEC
55.0
32.4
9.3
3.3
Maiores variações absolutas de posições entre os
anos de 2008 e 2010 (SARESP) – 1.567 escolas
Nota matemática
VA Efeito fixo
matemática
VA Efeito between
matemática
1a
1463
1465
1547
2a
1441
1448
1503
3a
1386
1447
1479
4a
1384
1441
1479
5a
1383
1423
1470
10a
1292
1319
1404
100a
837
917
1050
média (100
maiores)
média (total)
1032
1103
1207
315
360
441
Combinado Indicadores para Reduzir
Erros de Medida
 Exemplo: Sejam Y1 e Y2 medidas imperfeitas da
qualidade (não observada) da escola (Q), de modo
que:
Y1  Q  e1
Y2  Q  e2
Então, existe uma combinação linear de Y1 e Y2 que
minimiza a variância do erro de medida (e)
Y  aY1  (1  a)Y2  Q  ae1  (1  a)e2
Var(Y / Q)  a 2Var(e1 )  2a(1  a)Cov(e1 , e2 )  (1  a) 2Var(e2 )
Combinado Indicadores para Reduzir
Erros de Medida (continuação 1)
 A minimização da equação anterior, resulta em:
Var (e2 )  Cov(e1 , e2 )
a
Var (e1 )  Var (e2 )  2Cov(e1 , e2 )
 Conhecendo a matriz de Variância e Covariância dos
erros de medida (e), é possível encontrar uma medida com
menor erro ao combinar Y1 com Y2.
Combinado Indicadores para Reduzir
Erros de Medida (continuação 2)
 Generalizando: Sejam Y1, Y2 ... e Yn, medidas
imperfeitas da qualidade da escola, de modo que:
y1  b1q  e1
y2  b2 q  e2
.............
yn  bn q  en
(letra minúscula = desvio da média)
 Conhecendo os b’s e a Matriz de Variância e
Covariância dos erros (e), é possível encontrar um Y
médio, pela combinação dos Yi, que minimize o erro
de medida.
Combinado Indicadores para Reduzir
Erros de Medida (continuação 3)
 Procedimento proposto: Estimar, para cada escola
i, uma regressão em GLS de y em b, sendo q o
parâmetro a ser obtido.

1

1
q̂i  b' Σ b b' Σ 1 y i
Σ  matriz de Variância e Covariância de e
 Problema a ser resolvido: Estimar b e Σ
Indicadores e Avaliação Educacional na
Educação Básica
Indicadores e Avaliação na Educação Básica:
Funções do Governo Federal
 Avaliação Diagnóstica: Apenas oferecendo
instrumentos (ex: provinha Brasil).
 Avaliação Somativa:
 Grandes Exames (SAEB, Prova Brasil, Enem e Encceja)
 Indicadores de Fluxo (aprovação, reprovação e abandono)
 IDEB – Principal Indicador
 Não há indicadores de valor adicionado para a educação
básica
 Avaliação Formativa: Não há
Desenho e Implementação de um Sistema de
Metas Educacionais para o Brasil: O caso do
IDEB
O Índice de Desenvolvimento da Educação
Básica - IDEB
 Indicador que combina o desempenho na Prova Brasil com
as taxas de aprovação.
 Introduzido em no início de 2007.
 O objetivo foi o de reduzir o risco que um programa de
accountability, baseado apenas em exames padronizados,
venha a contribuir para agravar o já dramático quadro de
repetência e evasão escolar no país.
O Índice de Desenvolvimento da Educação
Básica - IDEB
IDEBj  N j Pj
Indicador sintético que combina informações de
desempenho e de fluxo escolar
N = proficiência média (leitura e matemática) dos alunos na
Prova Brasil
P = taxa média de aprovação na etapa de ensino
0 < N > 10; 0 < P > 1 e 0 < IDEB > 10
O Índice de Desenvolvimento da Educação
Básica - Ideb
 Sob certas hipóteses, a taxa de aprovação em
determinada série é igual ao inverso do tempo médio para
se concluir a série:
1
Pji 
T ji
Tji = tempo médio para que os alunos da unidade j concluam
a série
O IDEB
Idebji 
N ji
T ji
O IDEB e a Nota de Corte para a Aprovação
 Um aumento da nota de corte eleva a média condicional a
aprovação E(N|Nota>a), mas aumenta a repetência. Se a
distribuição de notas for normal, o IDEB cai.
 Se a reprovação for produtiva, a taxa de reprovação ótima é
diferente de zero.
Nota de corte (a)
a
Proficiência
41
Fixação das Metas do IDEB do Brasil para
2021
Meta do IDEB para o Brasil
 Objetivo Geral:
 Atingir até 2021 os resultados educacionais da
OCDE relativos a:
 Desempenho em Leitura e Matemática
 Taxa de repetência
 IDEB e suas projeções procura materializar
esse objetivo
Meta do IDEB para o Brasil
 Meta do IDEB para 2021:
 Taxa de promoção = 96% → Moda dos países das
OCDE
 E a Proficiência?
Proficiência média na avaliação do PISA 2003
600
500
400
300
200
100
Finlândia
Koréa
Hong Kong
Japão
Canadá
Holanda
Nova
Zelândia
Irlanda
Hungria
Estados
Unidos
Espanha
Uruguai
México
Brasil
Indonésia
0
Source: World Bank Eduaction Quality Regional Sudy, 2005
Matemática
.5
.5
Leitura
Média OCDE
Distribuição dos resultados
das avaliações
0
0
367
500
.5
625
366
500
.5
Brasil
0
0
212
334
464
.5
288
396
507
.5
México
0
0
281
387
496
311
422
535
623
Distribuição de proficiências do Brasil no
Pisa
Proficiência
média OCDE
 Se o Desempenho médio da OCDE encontra-se no percentil
P de desempenho do Brasil, então a meta do Brasil é ter, em
2021, um desempenho equivalente ao percentil P de 2005.
46
Fixação de uma META para o BRASIL: IDEB=6
IDEB - 2a fase do Ensino Fundamental
IDEB atual
Meta para IDEB (2025)
3.5
6
6.5
7
Proficiência em Matemática
Média no SAEB
239.5
308.6
325.7
342.8
Média correspondente no PISA*
OCDE
Reino Unido Holanda
Posição correspondente no PISA*
42º
25º
19º
4º
Tempo para Convergência (IDEB=9.9)
102
85
71
* PISA 2003
Obs – Na realidade esse procedimento gerou um
IDEB ≈ 6,25. Entre 6 e 6,5 optou-se por 6.
Metas do IDEB para Estados, Municípios e
Escolas e Metas Intermediárias
Metas Projetadas para o IDEB
o O esforço de cada rede deve contribuir para o Brasil atingir a Meta de
2021 (metas individuais diferentes)
o As trajetórias do IDEB, por rede, devem contribuir para reduzir as
desigualdade (esforços diferentes)
o Supõem-se comportamento de uma função Logística
o Informações necessárias para projetar a trajetória do IDEB
o IDEB inicial (IDEB2005)
o Meta (IDEB2021)
o Tempo para a Meta, em anos (16 anos)
o Esforço necessário
Gráfico ilustrativo da projeção do IDEB
10
9
8
IDEB
2021
7
6
5
4
IDEB
2005
Esforço
necessário
3
2
Tempo
1
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49
Projeção para o Brasil
4a Série do Ensino Fundamental
Esforço = ?
=>Tempo de convergência = ?
Esforço:0,056
10.00
9.00
8.00
7.00
6.00
5.00
4.00
3.00
2.00
1.00
0.00
IDEB 2095: 9.90
IDEB 2021: 6.0
ano
2107
2101
2095
2089
2083
2077
2071
2065
2059
2053
2047
2041
2035
2029
2023
2017
2011
anos para convergência
2005
IDEB
-IDEB2005 Brasil = 3,8
-Meta Brasil 2021 = 6
-Tempo para a Meta = 16
Projeção para as redes baseada no tempo de
convergência do país
4a Série do Ensino Fundamental da Bahia
Esforço = ?
=>Meta BA 2021 = ?
Esforço:0,06161
10.00
9.00
8.00
7.00
6.00
5.00
4.00
3.00
2.00
1.00
0.00
IDEB 2095: 9.90
IDEB
IDEB2021:
2021:6.0
5.0
ano
2107
2101
2095
2089
2083
2077
2071
2065
2059
2053
2047
2041
2035
2029
2023
2017
2011
anos para convergência
2005
IDEB
-IDEB2005 BA = 2,7
-META BA = 9,9
-Tempo para a Meta = Convergência = 91
Redução da Desigualdade
10
9
IDEB_2: 6.8
6
5
4
IDEB BR: 6.0
IDEB_1: 5.0
3
2
Brasil
ano
Estado 1
Estado 2
2095
2090
2085
2080
2075
2070
2065
2060
2055
2050
2045
2040
2035
2030
2025
2020
2015
2010
1
0
2005
IDEB
8
7
Indicadores e Avaliação Educacional na
Educação Superior
Avaliação das IES no Brasil
 SINAES
 Sistema que envolve três tipos de avaliações:
 Avaliação dos estudantes – ENADE
 Avaliação de cursos
 Avaliação de instituições
 Auto-avaliação interna
 Avaliação externa
Avaliação e sua relação com a Regulação:
avaliação de cursos superiores no Brasil
Principais Indicadores
 Enade
 IDD
 CPC
 Conceito do Curso
ENADE – Nota Concluinte
 Indicador de qualidade acadêmica do egresso
 Importante, principalmente, para o público externo
 Indicador de resultados
 Norma
Obs – Como a qualidade do profissional egresso dá
prestígio ao curso e orienta a demanda, a
disponibilidade dessa informação incentiva às
instituições a melhorarem seu desempenho.
IDD – Indicador de Diferença de Desempenho
 Indicador de qualidade do curso (valor
adicionado)
 Importante, principalmente, para o público interno
 Indicador de resultados
 Norma
Obs – Contribuição do curso para o desempenho de
seus alunos no ENADE
CPC - Conceito Preliminar do Curso
 Outro indicador de valor adicionado
 É uma medida de valor adicionado que usa mais
elementos que o IDD: inclui o IDD, o Conceito
ENADE e indicadores de insumos e processos
educacionais
 Norma
Obs – Contribuição do curso para o desempenho de
seus alunos no ENADE
Conceito do Curso
 Indicador de qualidade do curso
 Importante, principalmente, para o público os gestores das
instituições e para o regulador
 Indicador de insumos e processos baseado em visitas in
loco
 Critério: o conceito 3 significa que o curso atende as
condições mínimas de funcionamento (a infraestrutura, o
corpo docente e o projeto pedagógico são adequados).
O uso da Avaliação no Processo
Regulatório
 O CPC serve como instrumento de orientação e
racionalização das visitas in loco
 O critério mínimo de qualidade, fixado pela regulação, é 3
no Conceito de Curso (avaliação in loco), e fixado em três
 É permitido, às instituições, transformar o CPC em CC
Processo para obtenção do Conceito de Curso
Visitas in loco
Conceito
Preliminar
do Curso
(avaliação de insumos
e processos)
Dispensa
da visita
Conceito
do Curso
Críticas:
1. Sistema demasiadamente centrado no ENADE. O
ENADE seria muito impreciso (a não obrigatoriedade
reforçaria esse caráter).
2. Os avaliadores do INEP são muito “generosos” com as
Instituições. As avaliações in loco seriam
demasiadamente elevadas.
3. Toda a lógica do sistema esta baseada na noção de
qualidade, entendida como contribuição do curso para o
desempenho acadêmico de seus alunos(valor
adicionado). Isso não funcionaria para alguns cursos (e.g.
medicina e direito)
4. Para esses cursos, o regulador deveria garantir um
conhecimento mínimo do egresso.
Sistema de Avaliação de Cursos
 Ainda que possa ser aperfeiçoado, a
desenho parece bastante razoável.
 Desafios:
 O que fazer com os cursos que não tem
ENADE?
 Ainda é necessário reduzir o número de visitas
Avaliação e sua relação com a Regulação:
avaliação das Instituições de Educação
Superior no Brasil
Principais Elementos
 Índice Geral de Cursos – IGC (indicador
de caráter somativo)
 Auto-Avaliação (caráter formativo)
 Avaliação Externa (regulação e
accountability ou formativa?)
Índice Geral de Cursos da IES
 IGC da IES: Média Ponderada das “notas” dos
cursos de graduação (que são avaliados no
Enade) e pós-graduação (que são reconhecidos
pela CAPES) da instituição.
 O IGC pode ser importante para se ter uma
ideia da qualidade do curso, quando a área não
dispõe de ENADE.
 Poder-se-ia criar um “IGC” com os conceitos do
ENADE.
Auto-Avaliação
 A instituição realiza o processo com base
nas orientações do INEP
 Deveria ter um caráter formativo. Mas
como ela pode ser usada para a
avaliação externa e essa é usada na
regulação, o resultado é duvidoso.
Avaliação Externa
 Principal instrumento: avaliação in loco
 Avalia dez dimensões, mas não possui um
resultado claro.
 Subsídios para orientar a avaliação in loco:
Resultado da auto-avaliação
Índice Geral de Cursos da IES (IGC)
Críticas:
1. A Avaliação Formativa, preconizada pelo SINAES, não
prosperou.
2. Enquanto o instrumento de avaliação in loco para cursos
possui objetivos claros (observar as condições de oferta,
o que nos daria um indicador do valor adicionado do
curso), o instrumento de avaliação institucional é obscuro.
Afinal, que qualidade ele quer aferir?
Sistema de Avaliação de IES
 Não possui a clareza do sistema de avaliação de cursos.
 Por ser muito ambicioso e querer avaliar diversas
dimensões, o instrumento de avaliação institucional perde
o poder de comunicação. Afinal, qual a mensagem que os
Conceitos de Avaliação Institucional passam para o
público?