Ensaio: Avaliação e Políticas Públicas em
Educação
ISSN: 0104-4036
[email protected]
Fundação Cesgranrio
Brasil
Verhine, Robert Evan; Vinhaes Dantas, Lys Maria; Soares, José Francisco
Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior
Brasileiro
Ensaio: Avaliação e Políticas Públicas em Educação, vol. 14, núm. 52, julio-septiembre, 2006, pp. 291
-309
Fundação Cesgranrio
Rio de Janeiro, Brasil
Disponível em: http://www.redalyc.org/articulo.oa?id=399537944002
Como citar este artigo
Número completo
Mais artigos
Home da revista no Redalyc
Sistema de Informação Científica
Rede de Revistas Científicas da América Latina, Caribe , Espanha e Portugal
Projeto acadêmico sem fins lucrativos desenvolvido no âmbito da iniciativa Acesso Aberto
Do Provão ao ENADE: uma análise
comparativa dos exames nacionais
utilizados no Ensino Superior Brasileiro
*
Robert Evan Verhine
Lys Maria Vinhaes Dantas
José Francisco Soares
me que o antecedeu. Os autores concluem
Resumo
Nesse artigo, os autores analisam, de
maneira comparativa, o Exame Nacional de
Avaliação do Desempenho de Estudante –
ENADE, e o Exame Nacional de Cursos –
ENC, mais conhecido como Provão, a partir de críticas feitas ao segundo e da capaci-
que o novo exame não conseguiu, até o
momento, resolver vários dos problemas identificados na abordagem anterior, mas que
algumas das propostas, se implementadas,
constituirão um avanço real para a utilização dos seus resultados.
Palavras-chave: Avaliação do ensino su-
dade do ENADE de en-
perior. Provão. ENADE.
dereçá-las. Ao fazê-lo,
identificam diferenças e
Robert Evan Verhine
similaridades entre os
PhD em Educação, Universitat
dois exames, argumen-
Hamburg, UH, Alemanha.
tam que ambos têm integridade técnica e apresentam
contribuições
SINAES.
Abstract
Professor Adjunto, UFBA
[email protected]
Lys Maria Vinhaes Dantas
para o aprimoramento
Doutoranda, UFBA
do exame vigente, tais
[email protected]
como a elaboração de
José Francisco Soares
uma matriz permanente
PhD em Educação, University of Michigan
e a pré-testagem dos ins-
Professor do Programa de
trumentos. Em síntese, as
Pós-Graduação em Educação, UFMG
análises apontam para
[email protected]
From the
National
Course Exam
(Provão) to
ENADE: a
comparative
analysis of
uma grande similarida-
national
de dos processos técnicos das duas abordagens, enquanto que as diferenças se apre-
exams used in Brazilian
sentam mais no plano conceitual, vez que o
ENADE se propõe a apresentar um indica-
High School
dor de diferença de desempenho e, especi-
In this article, the authors comparatively
almente, perde o caráter high stakes do exa-
analyze the National Exam for Evaluating
*
O presente artigo é baseado em um relatório intitulado “A Avaliação da Educação Superior no Brasil: do Provão ao ENADE”,
financiado pelo Banco Mundial sob encomenda do seu representante Alberto Rodriguez. Os autores agradecem a colaboração
de Dilvo Ristoff, Diretor de Estatísticas e Avaliação da Educação Superior no INEP, de Hélgio Trindade, Presidente da CONAES, e
dos membros das suas respectivas equipes que prestaram informações para esta pesquisa.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
292
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
Student Achievement – ENADE, and the
Estudiantes (ENADE) y el Examen Nacional
National Course Exam – ENC, better
de Carreras (ENC, más conocido como
known as the Provão, focusing on
Provão), a partir de críticas hechas al
criticisms directed at the latter and the
segundo y de la capacidad del ENADE de
ENADE’s ability to address them.
encaminarlas. Al hacerlo, identifican
In so
doing, they identify similarities and
diferencias y similitudes entre los dos
differences between the two exams, argue
exámenes, argumentan que ambos tienen
that both sustain an adequate level of
integridad técnica y presentan
technical integrity, and present
contribuciones para el perfeccionamiento
suggestions for improving the present
del examen vigente, tales como la
exam regarding aspects such as test
elaboración de una matriz permanente y el
specification and instrument
testeo previo de los instrumentos. En
pretesting. The analyses reveal that the
síntesis, los análisis señalan una gran
technical processes adopted by the two
similitud entre los procesos técnicos de los
approaches are very similar. Their
dos abordajes, siendo que las diferencias
differences are primarily conceptual in
aparecen más en el ámbito conceptual,
nature, since
dado que el ENADE se propone presentar
the ENADE, in contrast to the Provão,
un indicador de diferencia de desempeño y,
proposes to indicate achievement gain
especialmente, pierde el carácter high
over time and is not high stakes in
stakes del examen que lo antecedió. Los
orientation. The authors conclude that the
autores concluyen que el nuevo examen no
new exam has not, as yet, resolved a
consiguió, hasta el momento, resolver
number of problems associated with the
varios de los problemas identificados en el
previous approach, but some of the
abordaje anterior, pero que algunas de las
current proposals, if implemented,
propuestas, si fueran implementadas,
constitute a genuine advance with respect
constituirían un avance real para la
to the utilization of the exam results.
utilización de sus resultados.
Keywords: High Education Evaluation.
Palabras clave: Evaluación de la enseñanza
Provão. ENADE. SINAES.
superior – Provão – ENADES - SINAES
Resumen
Introdução
Del “Provão” al ENADE:
Na metade da década de 90, o governo
brasileiro iniciou um processo gradual de im-
un análisis comparativo
de los exámenes
plementação de um sistema de avaliação do
ensino superior. O processo teve início em
1995 com a Lei 9.131 (BRASIL, 1995), que
nacionales utilizados en
la Enseñanza Superior
estabeleceu o Exame Nacional de Cursos –
ENC, a ser aplicado a todos os estudantes
concluintes de campos de conhecimento pré-
Brasileña
definidos. Leis subseqüentes incluíram no sis-
En este artículo, los autores analizan, de un
tema o Censo de Educação Superior e a Ava-
modo comparativo, el Examen Nacional de
liação das Condições de Ensino – ACE, atra-
Evaluación del Desempeño de los
vés de visitas de comissões externas às institui-
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
293
ções de ensino, mas o ENC, popularmente
relatórios e artigos), foram conduzidas en-
conhecido como Provão, permaneceu no cen-
trevistas com membros da equipe do INEP
tro desse sistema. Ainda que inicialmente boi-
e da CONAES. É importante enfatizar que
cotado em muitos campi, esse exame tornou-
todos os dados levantados a respeito da
se parte da cultura da educação superior no
implementação do ENADE referem-se à
Brasil. Apesar do seu crescimento (de 3 áreas
aplicação realizada em 2004. Assim, even-
de conhecimento testadas em 1995 para 26
tuais mudanças efetuadas para a aplica-
em 2003) e da sua larga aceitação pela soci-
ção em 2005 não são aqui consideradas.
1
edade em geral, o Provão
foi veementemente
criticado por muitos membros da comunidade
O presente artigo está organizado em
acadêmica e especialistas em avaliação. Mu-
três seções além dessa Introdução. A pri-
danças para esse exame foram amplamente
meira seção descreve e contextualiza os dois
debatidas durante a campanha presidencial
exames – o Provão e o ENADE. A segunda
de 2002 e, logo após o novo presidente (Luiz
traz a comparação entre eles, a partir de
Inácio Lula da Silva) ter assumido o cargo,
seis das principais críticas feitas ao Provão
sua administração anunciou a formação de
e da tentativa do ENADE de endereçá-las.
uma comissão cujo trabalho teve como obje-
A terceira seção apresenta as considera-
tivo sugerir alterações significativas ao sistema
ções finais, avaliando a integridade técni-
de avaliação vigente. Em agosto de 2003, a
ca dos exames e oferecendo contribuições
comissão propôs um novo sistema, chamado
para a melhoria do modelo vigente.
SINAES – Sistema Nacional de Avaliação da
Educação Superior, que foi formalmente institu-
Os diferentes contextos
ído através da Lei 10.861 (BRASIL, 2004), aprovada em abril de 2004. Esse novo sistema in-
do Provão e do ENADE
cluía uma diferente abordagem para o exame
Conforme amplamente documentado na
de cursos, denominado ENADE – Exame
literatura, o Provão nasce no âmbito de glo-
Nacional de Desempenho dos Estudantes.
balização e neoliberalismo, em que o ensino superior é caracterizado por massifica-
O presente artigo busca descrever, com-
ção e diversificação, por um lado, e maior
parar e analisar o modelo do ENADE em
autonomia institucional, por outro. Neste
relação ao exame que se propôs a substi-
contexto, o estado, tanto no Brasil como no
tuir, através do levantamento das principais
exterior, buscando conter despesas públicas
críticas feitas ao Provão e da sua resolu-
e valorizando o mercado como mecanismo
ção, ou não, pelo ENADE. Ao fazê-lo, pro-
de alocação de recursos escassos, inicia uma
cura identificar as diferenças e similarida-
política de “gerenciamento à distância”,
des entre o ENADE e o Provão e discute a
garantindo qualidade e responsabilidade
integridade técnica dos exames.
social através de processos de avaliação em
lugar dos de intervenção e de controle dire-
Para cumprir tais propósitos, além da
revisão da documentação existente (leis,
1
2
to.
A partir da década de 80, no cenário
internacional, um modelo geral de avalia-
Nesse artigo optou-se por utilizar a terminologia popular, Provão, em lugar de sua abreviação oficial, ENC, ao se mencionar
o Exame Nacional de Cursos.
2
As relações entre globalização, neo-liberalismo e a avaliação do ensino superior são discutidos no contexto internacional por Brennan;
Shah (2002), Heywood (2000) e Huisman; Curry (2004) e, no contexto brasileiro, por Dias Sobrinho (2003) e Gouveia e outros (2005).
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
294
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
ção de ensino superior começa a emergir,
dos os cursos deveriam ser avaliados atra-
caracterizado pela combinação de auto-ava-
vés dos resultados do Provão e dos relatóri-
liação e avaliação externa realizada por pares
os de especialistas, que verificariam in situ
(BILLING, 2004). Embora este modelo não
as condições de ensino em termos do currí-
tenha se manifestado uniformemente, vari-
culo, da qualificação docente, das instala-
ando de acordo com as características es-
ções físicas e da biblioteca. Desde o início,
pecíficas dos diversos contextos nacionais, é
a responsabilidade pela avaliação de insti-
interessante observar que, dentre aproxima-
tuições de ensino superior (IES) e de cursos
damente 40 países para os quais existem
de graduação foi concedida ao INEP. O
estudos na literatura disponível, apenas o
único componente do sistema que perma-
Brasil adotou o uso de um exame nacional
neceu fora do domínio do INEP foi relativo
de cunho obrigatório.
à avaliação da pós-graduação, desde 1976
sob responsabilidade da CAPES.
A legislação que criou o Provão determinou que exames escritos fossem aplica-
O aspecto high stakes
4
das avaliações
dos anualmente, em todo o território nacio-
conduzidas pelo INEP, que deveriam servir
nal, a estudantes concluintes de cursos de
para orientar decisões relativas ao recre-
graduação. Embora precedido por outras
denciamento institucional e ao reconheci-
iniciativas buscando fomentar a avaliação
mento e renovação do reconhecimento dos
3
do ensino superior no Brasil,
foi a primeira
cursos, foi estabelecido oficialmente atra-
política desta natureza a ser aplicada de for-
vés do Decreto nº 3.860/01 (BRASIL, 2001).
ma universal e obrigatória (condicionada à
Apesar dessas determinações, tais aspec-
liberação do diploma). Desde o início, foi
tos nunca foram implementados. Somente
planejada uma expansão gradual do nú-
em casos extremos as instituições perderam
mero de cursos sob avaliação de modo a
credenciamento e o processo de recreden-
garantir cobertura de todas as áreas.
ciamento periódico não chegou a ser posto em prática (SCHWARTZMAN, 2004).
A política do Provão foi detalhada através do Decreto nº 2.026/96 (BRASIL, 1996),
Fruto da gestão de Fernando Henrique
que estabeleceu medidas adicionais para a
Cardoso, o Provão foi mantido pelo Parti-
avaliação da educação superior, determi-
do dos Trabalhadores no seu primeiro ano
nando uma análise de indicadores-chave da
de governo. Sensível ao modelo dito neoli-
performance geral do Sistema Nacional de
beral atrelado à avaliação, o desagrado
Educação Superior, por estado e por região,
no novo governo tornou-se explícito quan-
de acordo com a área de conhecimento e o
do da elaboração do Relatório Técnico do
tipo de instituição de ensino (baseada no
Provão 2003 (BRASIL, 2003b), do qual
Censo da Educação Superior). O Decreto
constam severas críticas a esse exame en-
acrescentava a avaliação institucional, co-
quanto instrumento para medida de quali-
brindo as dimensões Ensino, Pesquisa, e
dade. Todavia, vale ressaltar que, ainda
Extensão. Além disso, determinava que to-
quanto à aplicação em 2003, o INEP in-
3
Para informação sobre os programas de avaliação do ensino superior que antecederam o Provão, ver Brasil (2004) e Gouveia
e outros (2005).
4
Termo técnico da área de avaliação, sem tradução consensuada para o português, que significa “com conseqüências
significativas para aquele que está sendo avaliado”. O termo low stakes significa o contrário.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
295
troduziu duas novidades na tentativa de
vou que as avaliações institucionais deveri-
endereçar essas críticas. Primeiro, publicou
am fornecer análises abrangentes das di-
os resultados dos cursos em ordem alfabé-
mensões, estruturas, objetivos, relações, ati-
tica, em lugar de ordem crescente de clas-
vidades, compromissos e responsabilidade
sificação nas escalas (dificultando, portan-
sociais, das IES e de seus cursos, nas diver-
to, o ranking das IES). Em segundo lugar,
sas áreas de conhecimento. A proposta con-
inseriu como um dos resultados a média
siderou também que os procedimentos, da-
absoluta das áreas de conhecimento, an-
dos e resultados deveriam ser públicos; que
tes relativa, baseada na curva normal.
a autonomia e identidade das instituições e
cursos deveriam ser respeitadas, preservan-
Em paralelo à operacionalização do
do-se assim a diversidade que caracteriza o
Provão 2003, o Ministério de Educação
setor no país; e que todos os membros da
designou a CEA para estudar o tema da
comunidade do ensino superior deveriam
avaliação do ensino superior.
5
Em 27 de
agosto de 2003, a Comissão divulgou a
participar, bem como outros representantes
da sociedade civil.
proposta preliminar para uma nova rede
de avaliação, com componentes articula-
À Medida Provisória 147 se seguiu a Lei
dos e integrados, chamada Sistema Naci-
10.861 (BRASIL, 2004), de 14 de abril de
onal de Avaliação da Educação Superior,
2004, aprovada por grande maioria na câ-
6
ou mais sucintamente, SINAES.
mara federal e no senado. Uma análise dessa lei deixa claro que nem todos os aspectos
No final de 2003, o governo Lula apro-
da proposta inicial para o SINAES foram acei-
vou a Medida Provisória 147, mudando a
tos e, especialmente, que várias das caracte-
legislação que regia a avaliação da edu-
rísticas da abordagem de avaliação do go-
cação superior e, em paralelo, o MEC pu-
verno anterior foram mantidas, o que parece
blicou e divulgou um documento detalhan-
indicar que houve uma grande negociação
do todos os aspectos da nova abordagem
entre dezembro de 2003 até a passagem da
de avaliação (BRASIL, 2003a). Ao fazê-lo,
lei em abril do ano seguinte. Com ela, pode-
se ocupou em identificar várias das defici-
se perceber a separação nítida entre avalia-
ências do exame utilizado anteriormente e
ção institucional e avaliação de curso e, nes-
em fundamentar os conceitos, princípios e
se momento, a avaliação de desempenho de
características da nova proposta.
estudante (ENADE) foi instituída como a terceira parte do sistema, com igual peso. Foi
Em contraste com o sistema anterior de
também instituída a Comissão Nacional de
avaliação, a abordagem do SINAES foi pen-
Avaliação da Educação Superior – CONA-
sada como verdadeiramente sistêmica e com
ES, já prevista no delineamento do sistema
foco na instituição. O documento acima re-
proposto pela CEA, mas não contemplada
ferido, de apresentação do SINAES, obser-
na Medida Provisória.
5
A Comissão Especial de Avaliação (CEA) foi formalmente instituída pelo Ministro da Educação, em 29 de abril de 2003 e
apresentou sua proposta inicial para o sistema de avaliação em 27 de agosto do mesmo ano. Ela foi composta por 22 membros,
incluindo 14 professores universitários, 3 estudantes, e 5 representantes do MEC (do INEP, CAPES e SESu). A CEA foi presidida pelo
Prof. José Dias Sobrinho, da Universidade de Campinas, um arquiteto-chave do PAIUB, programa de avaliação anterior ao
Provão, considerado por muitos como o modelo a adotar, por ter sido participativo, voluntário e centrado na auto-avaliação.
6
Embora alguns autores tenham se referido ao esforço de avaliação pré-SINAES como um sistema, ele nunca foi legalmente
rotulado como tal e nunca recebeu um acrônimo referendando esse status.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
296
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
Apesar das mudanças, ficaram assegu-
em julho de 2004, da Portaria nº 2.051
rados os principais conceitos norteadores:
(BRASIL, 2004). Essa portaria se incumbiu
respeito à diferença, à autonomia, à iden-
de detalhar as atribuições da CONAES e
tidade, além da ênfase na missão pública
do INEP (com uma grande mudança nas
e nos compromissos e responsabilidades
responsabilidades do INEP, que passa a
sociais das IES. Também ficou mantido o
ser
protocolo de compromisso para aqueles
como os procedimentos a serem usados
que não obtivessem um conceito satisfató-
em cada instância a ser avaliada (insti-
rio e garantido o caráter regulatório do SI-
tuição, curso, e aluno).
apenas
executor
da
política),
bem
NAES, sem excluir os aspectos avaliativoeducativos do sistema.
Os componentes do SINAES que tratam da avaliação institucional e da ava-
Além disso, enquanto o Provão se pres-
liação de cursos não são objetos deste
tava a ser um mecanismo de regulação, o
estudo e, assim, suas características não
7
ENADE passaria a fornecer não só um in-
serão
dicador com esse fim, mas principalmente
ENADE,
seria uma ferramenta de avaliação, atra-
vão,
vés do diagnóstico de competências e ha-
cular
bilidades adquiridas ao longo de um ciclo
tórico
de 3 anos de escolarização superior, cru-
tras
zado com a visão do aluno sobre sua ins-
das entre o Provão e o ENADE: os re-
tituição e com seu conhecimento sobre as-
sultados individuais dos estudantes são
pectos mais gerais, não relacionados a
disponíveis
conteúdos específicos.
há premiação para os alunos com me-
aqui
mesma
tornou-se
um
obrigatório,
escolar
de
similaridades
lh ore s
O estabelecimento desses princípios trou-
detalhadas.
da
forma
para
ser
curri-
próprios;
áre a
perfil
hisOu-
encontra-
eles
por
de
ao
Pro-
no
estudante.
podem
dados
o
registro
cada
de se m pe nhos,
nhecimento;
que
componente
com
apenas
Quanto
de
do
c o-
aluna-
xe um grande impacto no processo de ava-
do, do curso e da instituição, e percep-
liação: não só os resultados deixaram de se
ção
prestar a ranking e a competições, como os
paralelo
novos objetivos do sistema o tornaram mais
dos pelos estudantes e pelo coordena-
subjetivo, conseqüentemente, dificultando os
dor do curso avaliado; além da já men-
processos de avaliação, em especial quanto
cionada
sobre
à
a
prova,
são
aplicação
expansão
do
levantados
teste,
gradual
do
em
forneci-
sistema.
ao estabelecimento de critérios e de padrões
a partir dos quais decisões quanto à regulação viriam a ser tomadas.
Dentre as diferenças entre o Provão e o
ENADE, pode-se relacionar:
1 O ENADE é aplicado para estudantes
Muitos dos aspectos de articulação en-
ingressantes e concluintes do curso
tre as três peças do SINAES (avaliação ins-
sob avaliação, desta forma incluindo
titucional, de curso e do estudante) só fo-
nos resultados uma aproximação da
ram melhor regulados com a publicação,
noção de “valor agregado”;
7
8
8
Para uma descrição de tais características, ver Brasil (2004).
De acordo com o Diretor de Estatísticas e Avaliação da Educação Superior no INEP, o ENADE foi desenhado para medir a
trajetória de aprendizagem e não para conferir desempenho (entrevista em 01/05/2005).
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
2 O ENADE avalia cada curso trienal-
297
Análise comparativa
mente, em lugar da freqüência anual
entre o Provão e o
do Provão;
3 O ENADE promete ser referenciado a
ENADE a partir das
critério, baseando seus testes em pa-
críticas feitas ao primeiro
drões mínimos pré-determinados;
4 O ENADE se propõe a englobar várias
Ao comparar o Provão com o ENADE,
dimensões em seu teste, de modo a
os autores pretendem responder às per-
cobrir a aprendizagem durante o curso (em lugar de apenas medir o desempenho dos alunos ao final do curso) e dar um peso maior às competências profissionais e à formação geral,
com ênfase nos temas transversais;
9
5 O ENADE visa reduzir custos através
da administração dos testes a uma
guntas: que deficiências do Provão o ENADE pretendeu suprir? Essa nova abordagem de fato trabalhou as deficiências? Para
sintetizar sua resposta, optaram por relacionar a seguir seis das principais críticas
feitas ao Provão e, para cada uma, comentar
tecnicamente
o
movimento
do
ENADE no sentido de saná-la.
amostra representativa;
6 O ENADE divulga seus resultados de for-
1ª Crítica
ma discreta, com pouco alarde da mídia;
Faltou articulação do Provão com os
7 O ENADE se atribui um uso diagnósti-
demais componentes da Avaliação da Edu-
co na medida em que se diz capaz de
cação Superior que, por sua característica
identificar as competências não desen-
de criação, não chegou a ser implementa-
volvidas pelos alunos ao longo de 3
da através de um sistema, no qual as par-
anos de escolarização superior;
10
e,
8 O ENADE parte da premissa de que as
tes contribuíssem para uma visão geral da
qualidade de cada instituição.
instituições e cursos utilizarão seus resultados como ingrediente em um processo
avaliativo institucional mais abrangente.
Comentário
O SINAES, ainda que com algumas alterações advindas da promulgação da Lei
O estabelecimento de semelhanças e
nº 10.861/04 (BRASIL, 2004), em relação
diferenças entre ENADE e Provão é interes-
à proposta original, contempla esse pro-
sante no sentido de se poder observar até
blema. Cada componente do sistema con-
que ponto o novo exame endereça as críti-
tribui na composição do conceito da ins-
cas feitas ao antigo, sem uma quebra de
tância maior, ou seja, o ENADE é utilizado
integridade técnica. Por essa razão, uma
para a composição da nota do curso e essa
vez situados os contextos de ambas as abor-
é empregada para a composição do con-
dagens avaliativas, a seção a seguir rela-
ceito da instituição.
ciona as principais críticas feitas ao Provão
e comenta a capacidade do ENADE de
solucioná-las.
9
Três ressalvas são necessárias: em primeiro lugar, os critérios de participação
Essa diferença foi enfatizada pelos consultores do ENADE em suas apresentações na 1ª. Conferência da Associação de Avaliação
Educacional da Américas (Brasília, 11-13 jul. 2005).
10
Para um aprofundamento sobre o aspecto diagnóstico do ENADE, consultar Limana e Brito (2005).
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
298
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
das notas do ENADE nos conceitos dos
Quanto à composição das comissões
cursos e instituições ainda não foram di-
assessoras de avaliação, uma atenção deve
vulgados e, a depender das decisões fei-
ser dada ao número pequeno de represen-
tas nesse sentido, podem dissipar a im-
tantes
portância do exame; em segundo lugar,
quanto
não foram encontradas informações so-
membros das comissões por diversas ins-
bre como as informações provenientes do
tâncias e regiões do país garante algum
roteiro de auto-avaliação (ferramenta da
tipo de representatividade, mas sete parti-
Avaliação
processa-
cipantes por área de conhecimento é um
das e analisadas; e por fim, em terceiro
número muito reduzido (embora os autores
lugar, também não fica claro como ou-
reconheçam que comissões com uma gran-
Institucional)
serão
tros componentes não centrais do sistema, como os conceitos da CAPES e as
informações
do
Censo,
vão
contribuir
para o conceito final da instituição.
envolvidos,
para
o
tanto
ENADE.
para
A
o
Provão
indicação
de
de quantidade de membros tendam a ser
improdutivas). Essa deficiência é potencializada pela inexistência de um processo
de validação externa, que envolva um número representativo de atores relevantes
2ª Crítica
debruçando-se sobre as especificações pro-
O Provão foi imposto de fora para den-
duzidas por cada comissão.
tro, sem a participação das instituições a
serem avaliadas. Além disso, a sociedade,
Merece reflexão um segundo problema
de maneira geral, e a comunidade acadê-
relacionado às comissões: na busca por re-
mica não eram vistas como parceiros, ape-
presentatividade, nem sempre o perfil técnico
nas como consumidores de informação.
dos participantes é garantido e não há, nos
relatórios técnicos do INEP
, menção à pre-
Comentário
sença de especialistas em avaliação em lar-
Embora o componente de auto-ava-
ga escala fazendo parte desses grupos, ain-
liação institucional seja a peça chave do
da que “experiência em avaliação” seja um
SINAES,
item para análise do currículo dos membros
das
a
através
da
autonomia,
são
respeitadi-
das comissões. Isso pode ter um especial im-
educação
pacto nas especificações do ENADE por que
superior, o ENADE, visto de maneira iso-
as comissões são também responsáveis pela
lada,
determinação do formato da prova.
versidade
das
adota
a
qual
identidade
instituições
os
mesmos
da
e
a
procedimentos
de representação utilizados pelo Provão.
As
acadê-
A sociedade, de maneira geral, conti-
mica são convidadas a participar ao se-
instituições
nua apenas sendo informada dos resulta-
rem representadas nas comissões de ava-
dos do exame, agora com menos alarde.
liação, ao terem membros fazendo parte
No entanto, é importante mencionar os pla-
das bancas de elaboração de testes, ao
nos do INEP de envolver, ainda mais, a
responderem
coor-
comunidade científica no processo de dis-
denador de curso, e ao participarem de
cussão sobre a qualidade do Ensino Supe-
seminários
de
rior, através de convites formais para sub-
discutir os resultados obtidos e possíveis
missão de projetos de pesquisa baseados
melhoras para o exame.
na utilização dos dados do ENADE. Os
e
e
a
comunidade
ao questionário
eventos
com
do
objetivo
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
299
projetos aprovados em termos de mérito
percepção da prova, o que, contrastado com
deverão ser financiados pelo INEP. Essa
o Provão, implica o acréscimo de uma im-
estratégia tem a vantagem de gerar uma
portante dimensão analítica a compor os
variedade bem maior de pesquisas acadê-
relatórios de avaliação.
micas e de talvez angariar um apoio junto
à academia nunca desfrutado pelo Provão.
Quando
comparado
ao
Provão,
o
Essa proposta de envolvimento, até o mo-
ENADE se propõe a ampliar a gama de
mento de elaboração desse artigo, ainda
aspectos avaliados através do teste. O Pro-
não tinha sido concretizada; se implemen-
vão manteve o foco no conhecimento pro-
tada, constitui um avanço real do ENADE
fissional específico, esperado em alunos
em relação ao Provão.
concluintes. No caso do ENADE, formação geral e componente específico repre-
3ª Crítica
O Provão enfatizou competências finais
específicas de cada área de conhecimento,
deixando de lado aspectos fundamentais
relacionados ao processo de ensino-aprendizagem e à formação do alunado, como
compromisso profissional, ético e socialmen-
sentam duas dimensões distintas da prova
e são analisados separadamente. Além disso, vez que o ENADE aplicou o mesmo
teste a alunos ingressantes e a concluintes, as questões utilizadas deveriam cobrir
os diferentes estágios (ou níveis) de aprendizagem esperados na trajetória do curso.
te engajado. Além disso, o Provão se concentrou no desempenho dos alunos, em
lugar de atentar para o valor agregado,
gerado pelo curso no decorrer do tempo.
Considerando o novo perfil do exame,
o número de questões de teste, especialmente no componente de formação geral,
parece ser muito pequeno para medir o
Comentário
Assim como o Provão, o ENADE se utiliza de quatro diferentes instrumentos para a
coleta de dados: 1) os testes; 2) um questionário para levantar a percepção dos alunos
sobre o teste (que faz parte do caderno de
prova); 3) um questionário sobre o perfil
socioeconômico-educacional do aluno (em
caderno próprio, de preenchimento voluntário, e que deve ser entregue no dia da prova); e 4) um questionário a ser respondido
pelo coordenador de curso sob avaliação,
conhecimento e as competências que estão
postas nas especificações. De acordo com
o Resumo Técnico do ENADE (BRASIL, 2005,
p. 10), os dez itens que compõem a formação geral devem medir: 1) ética profissional, 2) competência profissional, e 3) compromisso profissional com a sociedade em
que vive. Ao mesmo tempo, devem avaliar a habilidade do estudante para analisar, sintetizar, criticar, deduzir, construir hipóteses, estabelecer relações, fazer comparações, detectar contradições, decidir,
no qual se pedem suas impressões sobre o
organizar, trabalhar em equipe, e admi-
projeto pedagógico e as condições gerais de
nistrar conflitos. Além dessas 12 compe-
ensino de seu curso. No caso do ENADE, é
tências, as 10 questões do teste devem
possível comparar as respostas dos alunos
considerar 11 diferentes temas, aí inclu-
ingressantes com aquelas apresentadas pe-
sos bio e sociodiversidade, políticas pú-
los alunos concluintes, não só em relação
blicas,
aos testes, mas também quanto ao perfil e à
blemáticas contemporâneas.
redes
sociais,
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
cidadania,
e
pro-
300
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
Contudo, a análise dos itens do compo-
aplica o mesmo teste a ingressantes e con-
nente de Formação Geral oferecida nos Re-
cluintes e, por essa razão, as questões de-
latórios de Área do ENADE 2004 traz como
veriam também cobrir os vários estágios de
habilidades avaliadas: analisar relações,
aprendizagem
interpretar para inferir, interpretar texto poé-
momentos do curso. O Provão, em contra-
tico para associar, estabelecer pontos co-
partida, foi menos ambicioso, vez que tra-
muns, identificar para associar, refletir, de-
zia seu foco para o conhecimento profissi-
duzir, e efetuar leitura de gráfico. Em que
onal específico de final de curso.
esperados
em
diferentes
medida essas oito habilidades estão relacionadas à ética, à competência e ao compro-
É fundamental registrar uma limitação
misso profissionais não fica claro, assim como
importante identificada no processo de cons-
as análises não aprofundam a relação do
trução dos instrumentos, tanto para o Pro-
desempenho dos alunos com os temas trans-
vão quanto para o ENADE: a ausência de
versais propostos. A partir da leitura dos re-
pré-testagem dos itens, o que significa que
latórios e do Resumo Técnico (BRASIL, 2005),
um procedimento técnico fundamental para
não é possível identificar uma lógica coe-
assegurar a validade e confiabilidade do
rente embasando o componente de forma-
instrumento não foi realizado. De acordo com
ção geral. Registra-se ainda que não houve
fontes do INEP, essa ausência tem sido re-
relato de estudos que considerassem se o
sultante de cronogramas apertados para a
número de questões foi realmente adequa-
elaboração dos testes, muitas vezes associ-
do. Como será visto adiante, a inadequa-
ados à quantidade de tempo gasta no pro-
ção do componente de formação geral do
cesso licitatório para contratação de empre-
teste é evidenciada pelo fato de que os alu-
sas especializadas em avaliação, que é rea-
nos ingressantes e concluintes atingiram, em
lizado a cada ano. Ainda que os itens e as
média, escores muito próximos.
provas, após aplicação, sejam tornados
públicos e discutidos pelas comissões, agên-
As questões do componente específico
cias elaboradoras, e INEP, além de serem
foram mais difíceis de avaliar por que dife-
submetidos a um crivo estatístico (parte do
rem entre as várias áreas. Também elas fo-
processo de análise dos dados), essas ações
ram, a priori, insuficientes para cobrir todo
pos-facto não podem ser consideradas ade-
o escopo proposto. O problema foi exacer-
quadas para a composição das provas de-
bado pelo fato de o número total de ques-
vido às características de ambos os exames,
11
tões ser supostamente igual a 30.
Como
conseqüência, o grau de cobertura do es-
especialmente em uma situação onde os itens
não são reutilizados.
copo proposto de cada teste deve ter variado enormemente pelas áreas.
Como pode ser visto acima, muito da
promessa do ENADE de aumento do esco-
Esses problemas também foram identi-
po avaliado não pode ser atendida nas suas
ficados em relação ao Provão. Entretanto,
provas. Quanto ao valor agregado, o INEP
eles são mais graves no caso do ENADE
o
porque, como já observado, esse exame
como indicador de diferença de desempe-
11
rotulou,
posterior
e
adequadamente,
A análise de exemplos dos testes usados no ENADE 2004 mostrou que, ao contrário das recomendações oficiais de 30 itens, esse
número variou no componente específico. Por exemplo, a prova de agronomia teve 40 itens.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
301
nho. A abordagem utilizada permite dois
aprovação das disciplinas nos cursos ava-
tipos de comparação. O primeiro é a com-
liados, segurando no percurso aqueles alu-
paração, em uma mesma aplicação, entre
nos com desempenho que venha a “com-
as médias obtidas pelo grupo de alunos
prometer ” o resultado da instituição no
ingressantes com as médias do grupo de
ENADE. Se os mesmos estudantes fossem
concluintes. O segundo tipo pode ser obti-
avaliados no primeiro e no último ano do
do através dos resultados dos alunos in-
curso, esses problemas estariam sanados,
gressantes no primeiro ano do ciclo trienal
mas as dificuldades logísticas associadas a
de avaliação com aqueles dos alunos con-
um estudo em painel em larga escala são
cluintes no terceiro ano do mesmo ciclo.
tão grandes que, embora inicialmente pensados, essa opção foi julgada não factível
No caso do Provão, isso não era exe-
pela equipe do INEP. Além disso, outros
qüível, já que não havia a medição de en-
problemas poderiam advir do uso do pai-
trada. No entanto, usando-se como medi-
nel, como, por exemplo, o fato que os alu-
da de entrada o resultado de vestibulares
nos, uma vez identificados, poderiam, des-
seria possível produzir, em regiões restritas,
de o primeiro ano, sofrer pressões e políti-
uma medida do valor agregado como feito
cas especiais da instituição, no sentido de
por Soares, Ribeiro e Castro (2001).
garantir um bom indicador de diferença de
desempenho após três anos.
Há problemas óbvios com essas duas
comparações. Quando se comparam alu-
Deve-se registrar ainda um outro pro-
nos ingressantes e concluintes em um de-
blema com a tentativa de o ENADE calcu-
terminado ano, parte-se da premissa de que
lar o valor agregado: os alunos ingressan-
esses dois grupos são comparáveis, mas é
tes são avaliados ao final do seu primeiro
preciso lembrar que o perfil de estudantes
ano letivo (com de 7% a 22% da carga
de um determinado curso ou instituição
horária curricular cumprida). Com isso,
pode ter sido alterado ao longo do tempo.
algum efeito institucional poderá ter sido
Além disso, pode haver efeito de seleção
introduzido, de modo que a diferença entre
ao longo do curso (através da aprovação/
os escores dos alunos ingressantes e con-
reprovação dos alunos), que tende a artifi-
cluintes não capture todo o processo de
cialmente inflacionar o indicador de dife-
aprendizagem no contexto do curso.
rença de desempenho. No caso da análise
dos resultados de diferentes anos, a com-
Problemas com comparabilidade são
paração de alunos ingressantes com con-
agravados por causa de decisão, para o
cluintes pode gerar incentivos indesejáveis
ENADE 2004, de se calcular um escore fi-
e processos de avaliação, internos em cada
nal único por curso, baseado na combina-
curso, mais voltados para um bom indica-
ção dos resultados dos alunos ingressantes
dor de diferença de desempenho. Nesse
e concluintes. Mais especificamente, neste
sentido, como exemplos de possíveis políti-
cálculo, o escore padronizado dos alunos
cas institucionais se podem citar o encora-
ingressantes nos itens do componente espe-
jamento de alunos ingressantes a demons-
cífico recebeu peso 15, o escore padroniza-
trar um desempenho ruim no teste e/ou o
do dos alunos concluintes nos itens do com-
aumento da seletividade no processo de
ponente específico recebeu peso 60, e o es-
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
302
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
core padronizado de todos os alunos – in-
trastado com o Provão, por que essa compa-
gressantes e concluintes – nos itens do com-
ração fornece algumas informações a mais
ponente de formação geral recebeu peso 25.
sobre a aprendizagem e o perfil do aluno. O
Dessa maneira, os alunos concluintes con-
Provão, com foco exclusivo no desempenho
tribuíram mais no cálculo dos resultados
do aluno concluinte, favorecia programas que
(aproximadamente 75% de concluintes contra
tivessem sido mais seletivos nos seus vestibu-
25% dos ingressantes, considerando-se que
lares, ainda que esses programas não neces-
a proporção de ingressantes e concluintes
sariamente tivessem proporcionado um am-
na amostra total era aproximadamente de 2
biente mais favorável à aprendizagem. Infe-
para 1). Do mesmo modo, os componentes
lizmente, esse avanço potencial do ENADE
específicos dos testes tiveram muito mais peso
foi prejudicado pela maneira escolhida pelo
que a formação geral (novamente, 75% e
INEP para o cálculo da nota final do curso.
25%, refletindo o número relativo de ques-
Através do uso de uma nota unificada, cal-
tões – 30 x 10 – que supostamente compu-
culada a partir de pesos dos resultados de
seram os dois blocos de itens das provas).
ingressantes e concluintes, essa comparação
desaparece. Novamente, o efeito de um pro-
A razão para a composição de um resulta-
cesso de seleção de entrada (vestibular) mais
do único, a partir dos resultados dos ingressan-
exigente, que enviesava o Provão, se apre-
tes e concluintes, está ligada ao fato de que a
senta no ENADE. É possível, no entanto, que
diferença entre os resultados dos dois grupos foi
esse “escore unificado” seja uma proposta
muito pequena, especialmente no componente
temporária. Fontes do INEP mencionaram
de formação geral. Essa pouca diferença é sur-
que, em três anos, uma nova abordagem
preendente e levanta questionamentos sobre a
será adotada, vez que, nesse momento, será
qualidade dos itens. Simon Schwartzman (2005)
possível comparar, para certos cursos, os es-
chamou esse fenômeno de “O enigma do ENA-
cores dos estudantes ingressantes em 2004
DE”. Uma das razões para o problema pode
com os concluintes em 2007.
estar no fato, já mencionado, da utilização de
um número pequeno de itens. Uma outra consideração é que os itens do componente de formação geral podem ter sido mais bem respondidos pelos alunos ingressantes por que tenderam à similaridade com as questões comuns
4ª Crítica
O Provão não se mantém como indicador de qualidade, pois a não equalização
dos seus instrumentos contribui para resultados instáveis e sem comparabilidade,
aos vestibulares, dessa maneira favorecendoos. Vale repetir que, sem pré-testagem, não foi
Comentário
possível que os desenvolvedores de teste pre-
Essa crítica, presente no Resumo Técnico
dissessem o comportamento dos itens, fazendo
do ENC 2003 (BRASIL, 2003b), poderia ser
adequações que se mostrassem necessárias de
aplicada inteiramente ao ENADE 2004. Não
forma a evitar esses problemas.
só os instrumentos não foram pensados para
garantir comparabilidade, como a fórmula
Apesar dos possíveis problemas listados
utilizada para a composição dos conceitos
acima, não há dúvidas de que o foco na
implicou resultados instáveis e, pelo menos nas
diferença entre os ingressantes e concluintes
áreas de Medicina e Odontologia, inflaciona-
é o grande avanço do ENADE, quando con-
dos, como será melhor explicado a seguir.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
303
Em relação à atribuição dos conceitos,
dias obtidas pelos cursos em uma área, mas
há duas maneiras de se transformar os esco-
a distribuição dos escores brutos de todos
res para obtê-las. Testes referenciados a nor-
os estudantes do campo de conhecimento
ma classificam os avaliados com base na
sob avaliação. Como os escores dos alu-
comparação entre eles. Testes referenciados
nos variam mais que os escores médios dos
a critérios utilizam padrões pré-estabelecidos
cursos, a abordagem usada pelo ENADE
para o desempenho esperado ou desejado.
reduziu substancialmente o tamanho dos
Tanto o Provão quanto o ENADE argumen-
escores padronizados (z), potencialmente
tam que seu objetivo é determinar se os alu-
criando distorções para a comparabilida-
nos demonstram ter o conhecimento e as
de dos resultados.
13
competências que seus cursos requerem e,
por essa razão, idealmente deveriam ser refe-
Um segundo problema apontado é que,
renciados a critério. Em realidade, é muito
no caso do ENADE 2004, a nota do curso
difícil o estabelecimento de especificações de
dependeu dos melhores e piores escores dos
teste para o ensino superior, dada a comple-
cursos em um dado campo de conhecimen-
xidade das competências requeridas pelas
to. A nota de cada curso foi determinada
carreiras que demandam grau superior. Um
através da seguinte fórmula:
teste referenciado a critério adequado deveria conter um amplo número de questões, o
que inviabilizaria sua aplicação em um perí-
Xi — X(1)
,
X(n) — X(1)
notai =
odo razoável. Assim, nem o Provão nem o
ENADE são referenciados a critério. Esses dois
é a
Onde nota é a nota do curso, x
i
exames apenas classificam os cursos avalia-
nota do curso i, x
dos a partir da comparação de seus resulta-
todos os cursos e x
dos entre si, no mesmo campo de conheci-
todos os cursos.
é a nota mínima entre
(1)
é a maior nota entre
(n)
mento, sem o estabelecimento de um padrão
mínimo satisfatório a ser alcançado.
A nota resultante foi então multiplicada por
cinco e arredondada, de modo a que pudesse
Tanto o ENADE quanto o Provão base-
ser situada em uma escala de cinco níveis, va-
aram-se nos escores de testes padroniza-
riando de 01 a 05. Basear as notas nos escores
dos para dar nota e classificar os cursos
mais altos e mais baixos cria distorções e insta-
12
. Mas, ao fazê-lo, eles optaram
bilidades para as comparações ao longo do
por abordagens técnicas diferentes. Por
tempo. Uma mudança na posição relativa en-
exemplo, no Provão o ponto de referência
tre a menor nota e as outras notas das diferen-
para o estabelecimento da nota final de
tes instituições fará com que o processo produ-
cada curso considerou os escores médios
za valores substancialmente diferentes. Esse fe-
obtidos por todos os cursos de uma deter-
nômeno pode já ser observado em Medicina.
minada área. No caso do ENADE 2004, o
Em 2004, o mais baixo escore de curso foi subs-
ponto de referência não considerou as mé-
tancialmente inferior aos outros. Se esse curso
avaliados
12
Os autores prepararam uma nota técnica explicando os detalhes estatísticos da atribuição de notas no Provão e no ENADE, que
está à disposição dos leitores interessados.
13
Para calcular o escore padronizado (z), subtrai-se o escore bruto da média de distribuição dos escores brutos e divide-se o
resultado pelo desvio padrão dessa distribuição. Dessa maneira, uma maior variação aumenta o valor do denominador da
equação, reduzindo, portanto, o valor do escore z.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
304
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
tivesse sido excluído da análise, as notas dos
A instabilidade do indicador da qualida-
demais teriam sido drasticamente alteradas para
de dos cursos, proveniente tanto do Provão
valores inferiores aos divulgados. Assim, o fato
quanto do ENADE, é aumentada pela fre-
de que, em Medicina, o curso de mais baixo
qüência de revisões feitas à matriz de referên-
resultado tenha sido muito inferior aos demais
cia de cada área de conhecimento. Não só
resultou, no geral, que as notas da área tives-
os instrumentos em si não são equalizados
sem ficado artificialmente altas. Dos 84 cursos
de Medicina avaliados pelo Provão em 2003,
64 (76%) melhoraram suas notas no ENADE
2004. O percentual dos cursos de medicina
classificados nas duas faixas mais altas da escala subiu de 29% (24 cursos) em 2003 para
87% (73 cursos) em 2004. O percentual de
ao longo dos anos, como também aquilo que
é avaliado pode mudar a cada revisão. Nesse caso, é o próprio conceito de qualidade
que é instável, o que dificulta a tomada de
decisões das instituições e formuladores de
políticas públicas no sentido de atingir um
patamar, no mínimo, satisfatório.
cursos nas duas categorias mais inferiores na
escala caiu de 21% (18 cursos) em 2003 para
5ª Crítica
zero, em 2004.
O Provão seria economicamente inviáO caso de Odontologia é igualmente
vel com o passar dos anos.
emblemático em relação à instabilidade dos
resultados. O número de cursos alocados
Comentário
nas duas categorias superiores da escala
Não há um valor preciso ou estimado
subiu de 41 (32% do total) para 115 (90%),
do custo total do Provão ou do ENADE. Em
enquanto que o número de cursos das duas
2002, o custo relativo à contratação de
categorias mais baixas caiu de 36 (28%)
agências de avaliação representou um va-
para apenas um.
lor de aproximadamente R$ 100,00 por aluno (por volta de US$ 33,00 dólares). Quan-
De maneira inversa ao fenômeno que
to ao mesmo custo no ENADE 2005, o INEP
aconteceu em Medicina e Odontologia, mas
estima que tenha gasto R$ 62,00 por aluno,
de acordo com o mesmo raciocínio, as notas
equivalentes a US$ 27,00. Não há informa-
de um determinado campo de conhecimento
ções disponíveis sobre os custos internos do
tornar-se-iam artificialmente baixas quando
Ministério da Educação com despesas com
o maior escore de um dos cursos fosse subs-
viagens para seus membros e para aqueles
tancialmente superior aos demais. Esse caso
que fazem parte das comissões assessoras
não foi identificado em nenhum dos sete cam-
de avaliação; com seminários e eventos, com
pos de conhecimento avaliados em 2003 e
impressão de material de divulgação; com
em 2004, mas poderá acontecer no futuro,
valor/hora do staff envolvido, com os paga-
contribuindo assim para a instabilidade dos
mentos dos consultores responsáveis pelas
14
resultados ao longo do tempo.
14
análises de dados e com outros serviços.
Os autores compararam os resultados de 2003 e 2004 em quatro campos: Medicina, Odontologia, Agronomia e Farmácia.
Nesse grupo, os resultados melhoraram marcadamente nos casos de Medicina e Odontologia e moderadamente em Farmácia,
permanecendo os mesmos em Agronomia. É difícil ignorar o fato de que a tendência geral de melhoria traz benefícios políticos
potenciais e pergunta-se se essa conseqüência influenciou a decisão sobre a abordagem estatística utilizada no ENADE. Pode-se,
entretanto, argumentar que não há qualquer evidência de que essas melhorias nos resultados tenham sido exploradas publicamente pelo INEP, pela imprensa ou por grupos político-partidários. Na verdade, o INEP tem sido muito “discreto” na divulgação dos
resultados do ENADE.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
305
A magnitude do esforço do ENADE 2004
as referências para controles das IES por par-
foi consideravelmente menor que aquela do
te do governo e sociedade voltam a ser difu-
Provão 2003. No seu último ano de existên-
sas. É importante reconhecer que cabe ao
cia, o Provão foi aplicado a um total de
governo federal a supervisão e regulação da
423.946 alunos matriculados em 5.897 dife-
educação superior e essa função não pode
rentes cursos, distribuídos entre 26 campos
ser desprezada. Talvez, com a implementa-
de conhecimento diversos. Entre 2003 e 2004,
ção plena do SINAES, essa dimensão venha
o número de áreas avaliadas foi reduzido pela
a ser contemplada com mais clareza e con-
metade e o número de alunos que responde-
sistência do que até agora foi observado.
ram às provas foi diminuído em dois terços.
Esse fato mostra que o procedimento de amos-
A leitura sobre seis das principais críti-
tragem cumpriu seu propósito de redução de
cas feitas ao Provão e dos esforços do ENA-
custos, ao diminuir o número de participan-
DE no sentido de resolver tais questões per-
tes, especialmente frente às crescentes taxas
mite perceber que a grande maioria delas
de matrícula e considerando-se a inclusão
continua sem solução.
de alunos ingressantes como respondentes
15
dos testes.
Entretanto, exames em larga es-
Nas Considerações Finais, a seguir, os
cala são caros por natureza e há um cres-
autores apresentam algumas contribuições
cente surgimento de novos cursos e áreas,
para o processo avaliativo.
que precisarão ser contemplados no futuro.
Orçamentos precisam ser garantidos no sentido de que não haja ruptura nos ciclos de
avaliação ou queda da qualidade do exame, com a expansão do sistema.
Considerações finais
O presente documento se propôs a descrever brevemente e a analisar o modelo
do ENADE, contrastando-o ao ENC, conhecido como Provão. Após a inserção das
6ª Crítica
duas experiências em seus contextos políti-
O Provão concentrou seus esforços nos
co-educacionais, uma análise técnica foi
aspectos regulatórios da política, dessa
realizada a partir de seis das principais crí-
maneira confundindo os conceitos de ava-
ticas feitas ao Provão e dos esforços do
liação e regulação.
ENADE para saná-las.
Comentário
Comparando-se os exames, foi possível
O ENADE reforça os aspectos diagnósti-
observar que, quanto a questões técnicas,
cos do exame, contribuindo para que a di-
há muitas similaridades entre eles, especial-
mensão Avaliação prevaleça sobre a Regu-
mente em relação à elaboração e à admi-
lação. Entretanto, o conflito avaliação x re-
nistração dos instrumentos. Pode-se dizer que
gulação impactou o delineamento do SINA-
ambos adotaram procedimentos criteriosos
ES, ressaltado, por exemplo, pelas diferenças
nas etapas de construção, administração e
entre a Medida Provisória 147 (BRASIL, 2003)
análise dos dados e que as estratégias de
e a Lei nº 10.861 (BRASIL, 2004), e está lon-
divulgação respeitaram o sigilo aos resulta-
ge de ser resolvido. Nesse novo panorama
dos individuais dos estudantes, ao tempo em
15
Os autores analisaram a qualidade técnica do processo de amostragem utilizado pelo ENADE –2004 e concluiram que o mesmo
foi desenvolvido com rigor apropriado, considerando as limitações das informações disponíveis sobre os parâmetros relevantes.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
306
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
que garantiram transparência quanto aos da-
Analisando-se os dois exames em rela-
dos agregados (por área de conhecimento,
ção à integridade técnica, pode-se afirmar
região e dependência administrativa) e aos
que, de maneira geral, o ENADE manteve o
passos cumpridos para sua obtenção.
padrão estabelecido pelo Provão. O processo de especificação dos testes adotado pelo
As principais diferenças estão intrinseca-
ENADE 2004 foi similar àquele utilizado
mente relacionadas à mudança de foco e
anteriormente pelo Provão. Para os dois exa-
objetivo do ENADE, quando comparado ao
mes, a formulação dos itens de teste, e a sub-
Provão. Assim, dentre elas pode-se ressaltar
seqüente composição das provas foram rea-
a inserção de um componente de Formação
lizadas, a partir das especificações definidas
Geral, comum para todos os campos de co-
por comissões assessoras, por agências es-
nhecimento, nas provas dos estudantes; a
pecializadas em avaliação, contratadas atra-
aplicação dos testes a uma amostra de estu-
vés de processo licitatório. O processo inter-
dantes ingressantes e de concluintes; pelo
no conduzido por cada agência foi descrito,
envolvimento dos alunos ingressantes, a ri-
com algum detalhamento, nos vários relató-
queza da análise de um indicador de dife-
rios e manuais disponibilizados pelo INEP
, e
rença de desempenho (tanto entre ingressan-
parece ter sido conduzido de acordo com as
tes e concluintes em uma mesma aplicação,
melhores práticas internacionais.
quanto entre ingressantes em um ano x e
concluintes em um ano x+3); a possibilida-
O grande impacto do ENADE está re-
de da análise cruzada entre esse indicador e
lacionado não a mudanças técnicas, mas
os diversos fatores que compõem o perfil do
principalmente, aos aspectos regulatórios
alunado e a percepção que tiveram da pro-
do exame, que deixam de existir isolada-
va; a ênfase de divulgação nos aspectos ava-
mente. Nesse sentido, é imprescindível que
liativos do exame, que deixa de ser high stakes.
sejam criados e divulgados os critérios de
utilização das notas do ENADE na compo-
Muitas das promessas do ENADE ainda não
foram concretizadas. Dentre elas, algumas são
sição dos conceitos da Avaliação de Cursos e da Avaliação de Instituições.
pontuais, como a não-divulgação de um relatório técnico-científico do ENADE 2004, e ou-
Entendendo que, dos países que reali-
tras são estruturais e mais sérias, como: a) as
zam avaliação do ensino superior, apenas
dificuldades para a análise das diferenças en-
o Brasil optou por uma aplicação nacional
tre ingressantes e concluintes, criadas a partir
de exames escritos, por área de conhecimen-
da opção, pelo INEP
, de composição de uma
to, não fez parte do objetivo dessa investi-
nota única, em lugar de uma nota dos in-
gação discutir a pertinência dessa escolha.
gressantes, e outra dos concluintes; e b) a
Os autores partem da premissa que, adota-
ausência de um padrão mínimo por área.
dos, os exames devem oferecer algumas
Um dos aspectos mais preocupantes quanto
contribuições para o aprimoramento do
ao ENADE 2004, refere-se à atribuição da
modelo atual, reconhecendo as dificulda-
nota final, que implicou inflação dos cursos
des de delineamento de qualquer sistema de
com conceitos mais altos na escala (mantida
avaliação em larga escala, para efeitos di-
com cinco níveis) em algumas áreas de co-
agnósticos, de regulação ou quaisquer ou-
nhecimento, como Medicina e Odontologia.
tros necessários aos governos em geral.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
307
Essas contribuições podem ser agrupadas
ma, é imprescindível que a elaboração e
em três diferentes categorias: 1) aspectos con-
administração de testes sejam desenvolvi-
ceituais e estruturais; 2) aspectos técnicos; e 3)
das no sentido de garantir comparabilida-
aspectos administrativos. Em relação aos as-
de, em uma mesma área de conhecimen-
pectos conceituais e estruturais, uma atenção
to, através dos anos. Nos moldes de hoje,
maior poderia ser dada à elaboração de ma-
essa comparabilidade está comprometida.
trizes de referência para cada área de conhecimento, de modo a garantir que sejam durá-
Quanto aos aspectos administrativos, as
veis por um período mais longo de tempo que
sugestões se voltam para os processos lici-
o ciclo atual. Para tanto, o processo de espe-
tatórios, que poderiam ser feitos para todo
cificação das matrizes, por campo de conhe-
o ciclo trienal, com amarras contratuais que
cimento, precisa ser mais aberto, com uma
permitam a quebra do contrato por falta de
ampla discussão nacional sobre seus elemen-
qualidade no processo e nos produtos/ de
tos e com uma etapa de validação posterior.
cumprimento das cláusulas. Dessa forma,
Também é interessante que haja mais incenti-
garante-se tempo para a pré-testagem dos
vo às análises de comparação em relação às
instrumentos, a homogeneização dos ma-
mudanças no perfil socioeconômico-educaci-
teriais, e facilita-se a comparabilidade dos
onal de alunos ingressantes e concluintes. Su-
resultados nos anos x e x+3.
gere-se incluir nesses questionários outras dimensões de pesquisa, para que sejam levan-
Para finalizar, é imprescindível reconhecer
tadas as contribuições da escolarização do
que nenhum processo avaliativo, especialmen-
ensino superior, não só quanto à aprendiza-
te considerando-se aplicação de instrumentos
gem dos alunos em relação aos conteúdos
em larga escala, é capaz de cobrir todas as
específicos e de formação geral, mas também
dimensões que compõem o conceito “Quali-
em relação a atitudes e motivação, por exem-
dade da Educação Superior”. Acresce-se a esse
plo. Por fim, defende-se uma maior articula-
reconhecimento o fato de que uma avaliação
ção SINAES-CAPES, inclusive atentando para
integra um ciclo de gestão que se completa com
um certo paralelismo, de modo a garantir que
as etapas de planejamento e implementação.
os dois processos avaliativos sejam comple-
Por essas razões, qualquer exame ou sistema
mentares e não concorrentes.
avaliativo precisa ser constantemente avaliado,
para que continue a ser útil àqueles que depen-
Em relação a aspectos técnicos, os au-
dem de suas informações, de caráter diagnós-
tores acreditam que uma grande melhoria
tico ou não. Nesse sentido, a mudança ENA-
no exame pode ser resultante da pré-testa-
DE x Provão é interessante, bem como devem
gem dos itens de prova e questionários. Essa
ser considerados os diversos aspectos mencio-
etapa é crucial para a qualidade do instru-
nados acima, com o objetivo de aprimorar o
mento e pode favorecer a representação do
exame vigente. Uma especial atenção deve ser
escopo de competências e habilidades em
dada à utilização dos produtos de um exame
cada área de conhecimento, na medida em
como o Provão e, depois dele, o ENADE. Todo
que a perda de itens por desempenho in-
esse esforço só se justifica se seus produtos fo-
satisfatório é menor. Além disso, é essenci-
rem efetivamente utilizados, nos diversos níveis
al para a construção de instrumentos que
de tomada de decisão: aluno, curso, institui-
estes sejam comparáveis. Da mesma for-
ção, governo e sociedade.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
308
Robert Evan Verhine, Lys Maria Vinhaes Dantas e José Francisco Soares
Referências
BILLING, D. International comparisons and trends in external quality assurance of higher
education: commonality or diversity? Higher Education, Netherlands, UK, v. 47, n. 1,
p. 113-137, jan. 2004.
BRASIL. Comissão Nacional de Avaliação da Educação Superior. Portaria nº 2.051, de 9
de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de
Avaliação da Educação Superior (SINAES), instituído na Lei nº 10.861, de 14 de abril de
2004. Conaes, Brasília, DF, 2004. Disponível em: <http://portal.mec.gov.br/conaes/
arquivos/pdf/portaria_2051.pdf>. Acesso em: 24 set. 2006.
______. Decreto nº 2.026, de 10 de outubro de 1996. Estabelece procedimentos para o
processo de avaliação de cursos e instituições de ensino superior. Casa Civil, Brasília,
DF, 1996. Disponível em: <http:/www.planalto.gov.br/ccivil_03/decreto/Antigos/
D2026.htm>. Acesso em: 24 set. 2006.
______. Decreto nº 3.860, de 9 de julho de 2001. Dispõe sobre a organização do
ensino superior, a avaliação de cursos e instituições e dá outras providências. Diário
Oficial [da] República Federativa do Brasil, Brasília, DF, 10 jul. 2001.
______. Lei nº 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei nº 4.024,
de 20 de dezembro de 1961 e dá outras providências. Diário Oficial [da] República
Federativa do Brasil, Brasília, DF, 24 nov. 1995. Edição Extra, p. 19257. Disponível em:
<http://www.planalto.gov.br/ccivil_03/Leis/L9131.htm>. Acesso em: 24 set. 2006.
______. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação
da Educação Superior – SINAES e dá outras providências. Leis, Brasília, DF, 2004.
Disponível em: <http://portal.mec.gov.br/arquivos/pdf/10861.pdf>. Acesso em: 24 set.
2006.
______. Medida provisória nº 147, de 15 de dezembro de 2003. Institui o Sistema
Nacional de Avaliação e Progresso do Ensino Superior. Diário Oficial [da] República
Federativa do Brasil, Poder Executivo, Brasília, DF, 16 dez. 2003. Seção 1, n. 244, p.1-2.
BRASIL. Ministério de Educação. Comissão Especial de Avaliação. Sistema Nacional de
Avaliação da Educação Superior – SINAES: bases para uma nova proposta de avaliação
da educação superior. Brasília, DF, 2003a.
BRENNAN, J.; SHAH, T. Managing quality in higher education. Buckingham, UK: Open
University Press, 2002.
DIAS SOBRINHO, J. Avaliação: políticas educacionais e reforma da educação superior.
São Paulo: Cortez, 2003.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
Do Provão ao ENADE: uma análise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro
309
GOUVEIA, A. B. et al. Trajetória da avaliação da Educação Superior no Brasil. Estudos
em Avaliação Educacional: revista da Fundação Carlos Chagas, São Paulo, v. 16,
n. 31, p. 101-132, jan./jun. 2005.
HEYWOOD, J. Assessment in higher education: student learning, teaching progammes
and institutions. London: Jessical Kingsley Publishers, 2000.
HUISMAN, J.; CURRIE, J. Accountability in higher education: bridge over troubled waters.
Higher Education, Netherlands, UK, v. 48, n. 4, p. 529-551, dez. 2004.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA.
Exame Nacional de Cursos 2003: resumo técnico. Brasília, DF, 2003b. Disponível em:
<http://www.inep.org.br>. Acesso em: 4 dez. 2004.
______. Exame Nacional de Desempenho dos Estudantes – ENADE 2004: resumo
técnico. Brasília, DF, 2005.
______. SINAES: da concepção à regulamentação. 2. ed. ampl. Brasília, DF, 2004.
LIMANA, A.; BRITO, M. R. F. O modelo de avaliação dinâmica e o desenvolvimento de
competências: algumas considerações a respeito do ENADE. Revista da Rede de
Avaliação Institucional da Educação Superior, Campinas, SP, v. 10, n. 2., jun. 2005.
SCHWARTZMAN, S. O contexto institucional e político da avaliação do ensino superior.
In: SCHWARTZMAN, S.; DURHAM, E. R. (Org.) Avaliação do ensino superior. São
Paulo: Ed. da USP, 1992. p. 13-27.
SCHWARTZMAN, S. O enigma do ENADE. Disponível em: <www.schwartzman.org.br>.
Acesso em: 12 dez. 2004.
SCHWARTZMAN, S. The National Assessment of Courses in Brasil. In: PUBLIC POLICY
FOR ACADEMIC QUALITY (PPAQ). Research Program. Chapel Hill: University of North
Carolina, 2004. Disponível em: < www.unc.edu/ppaq>. Acesso em: 1 fev. 2005.
SOARES, J. F.; RIBEIRO, L. M.; CASTRO, C. M. Valor agregado de instituições de ensino
superior em Minas Gerais para os cursos de direito, administração e engenharia civil.
Dados, Rio de Janeiro, v. 44, n. 2, p. 363-396, 2001.
Recebido em: 03/07/2006
Aceito para publicação em: 01/09/2006
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006