O Provão: os cursos A são os que mais oferecem aos alunos?
José Francisco Soares
Cláudio de Moura Castro
Leandro Molhano Ribeiro
O Provão foi um vendaval no ensino superior brasileiro. Varreu mitos e
eliminou superstições na identificação sobre quem gradua os melhores
estudantes de nível superior. De uma lufada, foram-se reputações
imerecidas e subiram outras surpresas. Com uma margem de erro mais do
que tolerável, sabemos quem são os melhores e quem são os piores.
Comparando um provão com o próximo, sabemos quem consegue subir de
nota – com certeza, fruto de muitos esforços – e sabemos quem caiu do
galho. Poucos países podem identificar o desempenho dos seus cursos
superiores com tanta segurança. Foi um avanço colossal.
Todavia, o Provão tem seu calcanhar de Aquiles. Sabemos quem se saiu
melhor na prova e temos bastante confiança nos resultados. Mas, não
sabemos se o bom resultado é fruto do bom ensino ou se, simplesmente, do
fato de a IES - Instituição de Ensino Superior- haver recrutado alunos que
já eram os melhores ao entrar no superior.
Não há boas razões para desmerecer IES capazes de recrutar os melhores
alunos. Porém, o caso inverso é muito mais crítico. Algumas IES de notas
baixas vêm sendo execradas pelos seus resultados lamentáveis. Mas é
preciso perguntar: tiveram notas baixas porque ensinaram mal ou porque
receberam no seu primeiro ano alunos muito mal preparados?
Do ponto de vista de política educativa – e de justiça – a diferença é
tremenda. Uma IES cujos resultados fracos resultam de um mau ensino
merece o opróbrio que recebe da imprensa e da opinião pública. Nada mais
correto do que divulgar quem foi incompetente ou negligente na operação de
seus cursos.
Contudo, há outros cursos cujo pecado pode haver sido o de receber alunos
mal preparados, usualmente, fruto de um ensino inadequado. Fazem o que
podem com esses alunos, mas não pode transformá-los em alunos tipo A.
Não é menos meritório tentar ajudar alunos mal preparados do que lidar
com as elites intelectuais que saem das melhores escolas de segundo grau.
Pelo contrário, podemos mesmo dizer que as elites intelectuais aprendem
qualquer que seja o ensino superior, já os mais fracos requerem desvelo e
cuidado para que melhorem seu rendimento.
Portanto, o Provão tem esse pecado na sua folha corrida: execra os mais
fracos, sem distinguir se a culpa é do curso ou da fragilidade da matéria
prima e do segundo grau cursado.
Que escolas chegam na frente e que escolas oferecem mais aos
seus alunos?
Neste ensaio apresentamos os primeiros resultados de uma pesquisa que
visa justamente separar a contribuição do curso superior daquilo que
resulta do que já sabia o aluno ao fazer o vestibular. Seguimos uma linha de
pesquisas justamente conhecida como Valor Adicionado, pois queremos
verificar o que cada IES “adicionou” em contraste com o que o aluno já
trazia.
Do ponto de vista metodológico, trata-se de uma área já razoavelmente
consolidada. Esta pesquisa como sua congêneres feitas na Europa e Estados
Unidos, utiliza-se, como ferramenta básica de análise,
dos modelos
hierárquicos de regressão múltipla. O leitor interessado na parte técnica dos
métodos encontrará acompanhando o presente ensaio um apêndice técnico
com mais explicações e a bibliografia clássica da área.
O grande desafio de calcular o valor adicionado não é técnico mas de obter
os dados necessários. Isso porque, é preciso que existam duas bases de
dados articuladas: uma medindo o rendimento do aluno após o curso
superior e outra medindo o seu desempenho ao fazer o vestibular. Ou seja,
uma medida de qualidade na entrada e outra na saída. Até há pouco tempo,
nada tínhamos como medida de resultado de fim de curso. Agora temos o
Provão. Mas necessitamos também medidas de quanto sabiam os alunos ao
entrar nos seus respectivos cursos superiores. Isso é mais difícil, pois os
vestibulares não são unificados e não se pode combinar pontuação de um
com a de outro. Quando o ENEM estiver universalizado e graduarem-se do
superior as primeiras turmas que o fizeram, teremos tudo que é preciso para
calcular o valor adicionado. No presente, estamos meio bloqueados.
Mas há uma saída parcial, explorada na pesquisa aqui descrita. A
Universidade Federal de Minas Gerais- UFMG- por ser gratuita e muito bem
conceituada, é a mais cobiçada no Estado. Ofereceu uma média de 4000
vagas entre 1992 e 1996, tendo entre 32000 e 42000 candidatos. Sobravam,
portanto, mais de 28000 candidatos, que obviamente dirige-se a outras
instituições. Em muitas outras IES o número dos que fizeram o vestibular da
UFMG é suficientemente grande, para podermos tomar a pontuação média
destes alunos no vestibular da UFMG como medida do nível acadêmico dos
alunos da respectiva IES.
(Verificamos através da técnica estatística
apropriada que os que fizeram o vestibular da UFMG das diferentes IES
incluídas neste trabalho, não diferem em termos de desempenho no provão
dos outros alunos da IES.) Assim, a medida de proficiência é a mesma para
todos: a pontuação na primeira etapa do vestibular da UFMG.
Feito isso, ficou faltando um procedimento tedioso e manual de conectar os
nomes dos vestibulandos com as notas do provão – isso tudo se ferir o sigilo,
prescrito em lei, dos resultados individuais do provão. Terminado esse
trabalho, temos uma base de dados com uma medida de entrada (a nota na
primeira etapa do vestibular da UFMG) e uma medida de saída (Provão). Isso
para as três carreiras que primeiro tiveram o Provão: Direito, Administração
e Engenharia Civil. Como bônus, temos os resultados do questionário
aplicado a cada candidato ao Provão e ao vestibular que nos permite traçar o
perfil sócioeconômico dos alunos.
A Tabela 1, mostra os resultados finais da amostra gerada, desagregada por
cursos e ano de realização do Provão Esta é a matéria prima da análise.
Tabela 1: Distribuição dos Estudantes incluídos no estudo, discriminados por Curso e ano de realização do
Vestibular da UFMG.
Estudantes que realizaram o ENC nos anos de 1996 a 1999 e
pelo menos um vestibular da UFMG
Total em
1996
1997
1998
1999
cada curso
Direito
468
893
665
1520
3546
Administração
312
560
90
943
1905
Engenharia Civil
85
188
22
396
691
Total em cada ano
865
1641
777
2859
6142
Fonte: Dados Básicos: INEP
Curso
Os métodos de análise
Como é o caso com todos os métodos multi variados, as análises
hierárquicas buscam isolar o efeito de cada variável em fenômenos sociais
onde simultaneamente muitas determinam os resultados que estamos
apreciando. Deixando os detalhes técnicos para o apêndice, vale apenas
dizer que os modelos hierárquicos nos levam a determinar em uma primeira
fase o impacto líquido das variáveis individuais que precedem o ingresso no
curso superior e, depois, o impacto da IES, em contraste com outras IES que
oferecem cursos superiores na mesma área.
Definimos as seguintes variáveis para a análise de regressão hierárquica:
Nota no Provão: a variável dependente, a ser explicada pela análise
Usou-se aqui a pontuação original baseada nas perguntas acertadas. A
divulgação do Provão é baseada em desvios da média aritmética encontrada.
Transformados em intervalos, estes desvios geram os conceitos de A a E, tão
bem conhecidos hoje. Mas para a análise estatística, os escores brutos são
melhores. Como se usam resultados de vários anos, foi feita a equalização
das notas, conforme descrito no apêndice.
Esta é a medida do resultado dos alunos que saem de cada instituição. É um
indicador do quê saíram sabendo, após quatro anos de curso. Mas,
justamente, não indicam quais os méritos da instituição em obtê-los, pois
alunos que entram com níveis diferentes, terão aproveitamentos diferentes.
Daí o objetivo do presente exercício. Mas note-se, não está em discussão o
nível obtido pelos alunos, isso o Provão mostra de forma definitiva. O que
está em jogo é a atribuição de competência de cada instituição pelos
resultados obtidos. Poderíamos pensar em instituições oferecendo um ensino
fraco mas cujas notas no Provão são altas, por conta da excelência dos
alunos que entram.
Nota no Vestibular: a medida de qualidade dos alunos ao entrar no ensino
superior
Usamos a pontuação obtida na primeira etapa do vestibular da UFMG,
devidamente equalizada. Por trata-se de uma prova competente – pois mede
o que se propõe medir, isto é, os conteúdos centrais do currículo de ensino
médio podemos aceitar que capture o nível de conhecimentos exigidos para
entrar no superior. Portanto, é uma variável que, de certa maneira, captura
as dimensões de entrada que gostaríamos de conhecer. Tudo que vem antes,
poderia ser muito importante para explicar o desempenho futuro, mas do
ponto de vista da preparação acadêmica, é capturado pelo vestibular.
Gênero
As diferenças encontradas entre sexos, algumas vezes significativas, não
oferecem uma contribuição para a análise presente. Não serão comentadas
aqui com detalhes por não terem relevo ou aportes interessantes em uma
discussão do valor adicionado da escola.
Índice sócioeconômico,
Bem sabemos que o status sócioeconômico é de vital importância no
desempenho escolar. Daí a inclusão de uma variável combinando educação
do pai, educação da mãe, o tipo de escola cursada (privado/público) e o
turno. Mas, a interpretação desta variável no presente estudo requer
cuidados pois, em grande medida, seu impacto é também capturado pelos
resultados do vestibular, de tal forma que estes resultados já refletem o
poder explicativo da origem do aluno. Portanto, esta variável vai nos
informar a respeito de três questões: (i) Qual é o peso do ambiente familiar
na explicação dos resultados no vestibular? (ii) Qual a segmentação da
matrícula em cada instituição por nível sócioeconômico (escolas de rico,
escolas de pobre)? (iii) Qual o impacto residual do status sócioeconômico no
provão, isto é, haverá mais impacto, além do que foi captado pelo vestibular?
Efeito dos pares, medido pela média dos estudantes de cada IES no
vestibular
É bastante fácil entender o impacto do nível sócioeconômico do aluno, pois
vemos no cotidiano os filhos de famílias mais educadas saírem-se melhor em
tudo que tem a ver com educação. Mas se tentamos separar o impacto
líquido da instituição de ensino sobre o desempenho dos alunos, não basta
considerar o que os alunos trazem como bagagem educacional e cultural. Há
também o impacto desta mesma bagagem dos outros alunos que freqüentam
a mesma instituição. Ou seja não é apenas a qualidade da instrução que
conta, mas a companhia com quem se estuda.
Quem tem colegas intelectualmente mais preparados, sabe-se por outras
pesquisas, aprende mais. Ou seja, independentemente de seus méritos, uma
instituição oferece mais a um aluno quando os outros que a freqüentam tem
níveis mais elevados de desempenho.
Esta não é uma variável fácil de entender. Mas teoricamente é correta a sua
introdução pois captura um efeito que influencia o desempenho, embora
tenha a ver apenas indiretamente com a excelência do ensino oferecido.
Pobres e ricos no ensino superior
O efeito da origem sócioeconômica sobre o desempenho educativo é um
assunto antigo mas que permanece e permanecerá vigente. Trata-se de uma
questão onde jogam princípios de equidade e igualdade de oportunidades
versus uma influência profunda e insidiosa do ambiente familiar, da
estimulação oferecida pelo meio ambiente mais próximo e pelas diferenças
entre escolas previamente freqüentadas. Esse é um assunto a respeito do
qual as políticas públicas não podem se omitir.
Assim sendo, o conjunto de dados disponíveis oferece uma oportunidade
única para revisitar esse problema sempre candente. Examinando os três
cursos (Direito, Administração e Engenharia Civil) três constatações
relevantes são cabíveis.
Em primeiro lugar, o nível sócioeconômico é um poderoso determinante do
resultado no vestibular. Não é surpresa dizer que alunos de níveis mais
elevados tendem a obter resultados melhores. Esse é um dos resultados
mais constantes de todas as pesquisas que associam a origem do aluno com
resultados escolares. Quer meçamos o impacto pelo nível de escolaridade
atingido, quer por pontuação em testes (como o SAEB, por exemplo), a
família jamais deixa de impor a sua força no rendimento escolar. O gráfico 1
ilustra esta associação com os dados do vestibular da UFMG de 1995.
Gráfico1: Distribuição do índice socioeconômico no total dos alunos do vestibular da UFMG
de 1995
TOTAL DA 1ª ETAPA
200
100
0
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Índice socioeconômico ao fazer o vestibular
20
21
22
Em segundo lugar, quando tabulamos os resultados do Provão contra o nível
social do estudantes, há uma quase completa eliminação desta associação,
como nos indicam os Gráficos 2, 3 e 4, correspondentes aos cursos de
Direito, Administração e Engenharia.
Gráfico 2: Gráfico de caixas do desempenho no Provão, em cada nível do índice socioeconômico: Curso de Direito
100
80
Desempenho no ENC
60
40
20
0
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Índice Socioeconômico
Gráfico 3: Gráfico de caixas do desempenho no Provão, em cada nível do índice sócioeconômico: Curso de
Administração
100
80
Desempenho no ENC
60
40
20
0
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Índice Socioeconômico
17
18
19
20
21
22
Gráfico 4: Gráfico de caixas do desempenho no Provão, em cada nível do índice socioeconômico: Curso de
Engenharia Civil
100
80
60
Desempenho no ENC
40
20
0
-20
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Índice Socioeconômico
Os gráficos acima mostram uma associação praticamente nula entre nível
sócioeconômico e desempenho no Provão. Um resultado em aparentemente
contradição com o quadro mostrado no gráfico 1. Eles se devem a um
processo chamado de auto-seleção. A associação entre status e desempenho
não significa que todos os filhos de família bem educada sejam melhores
estudantes, o oposto se dando para os filhos de famílias menos educadas.
Pelo contrário, há uma grande dispersão nos resultados, havendo filhos de
famílias melhor educadas com desempenho inferior e de famílias pobres
com excelentes resultados (embora sejam menos freqüentes ambos os
casos).
Mas a dura realidade do processo escolar vai progressivamente eliminando
os alunos de famílias menos educadas, ficando na escola apenas os poucos
pobres que tem desempenho superior e, portanto, equivalente aos de
famílias mais educadas. Ou seja, o processo seletivo que vai tendo lugar ao
longo da trajetória escolar vai eliminando a metade de baixo da distribuição
de desempenho, onde se situa a maioria dos alunos de famílias menos
educadas. Os que ficam são cada vez mais são mais homogêneos no seu
desempenho. Portanto, são populações onde apenas estão os melhores: os
muitos de nível social mais alto e os pouco sobreviventes de nível social mais
baixo.
Na transição entre vestibular e Provão, a queda na influência do status da
família resulta também de uma peneirada adicional, pois não nos
esqueçamos de que muitos dos que entram no superior não o terminam. Isso
nos levaria a concluir que dentre os que chegam ao fim da maratona escolar
e tomam o Provão, o grupo já foi tão homogeneizado que o status de origem
já não tem mais peso. Em outras palavras, a força do status familiar é tão
grande e se exerce de forma tão brutal nos níveis anteriores que dentre os
formados no superior só sobraram os mais modestos excepcionalmente
dotados.
A terceira conclusão permitida pelos dados, mostra um outro lado
remanescente da origem sócio econômica. Quando tabulamos status
sócioeconômico por faculdade cursada, novamente aparece uma diferença
relevante na sua distribuição de freqüência (ver Gráficos 5,6,7 ). Há escolas
de ricos e escolas de menos ricos (obviamente, não há ensino superior de
pobre no presente quadro da educação brasileira). No caso do Direito, UFMG
e FUMEC atendem a populações de mais alto status, seguida da Milton
Campos e da PUC. No outro extremo, algumas escolas do interior (Teófilo
Otoni, Sete Lagoas e Conselheiro Lafaiete) tem alunos de origens bem mais
modestas. Em Administração sobressai o nível mais alto dos alunos da
FUMEC e UFMG e em Engenharia os da UFMG e PUC.
Gráfico 5: Gráfico de caixas do índice socioeconômico, discriminado por IES: Curso de direito
30
Índice Sócio-Econômico
20
10
2791
2508
2248
2349
2104
2562
0
N=
40
446 153 71
76
80
33
48
215 23
98
33
60
40
582 706 173 576
G
FM
U EC
M
FU C
M
FD
C
PU
V
FD
FU
U
SM
FD
E
I
U AL ES
IV T
N N
U O S
IM A
N
U EN
IF
N
U
E
FV L
U IVA
D
FA BE
IU
N
U OM
D
FA L
C
FD L
S
FD ITO
D
FA
Gráfico 6: Gráfico de caixas do índice socioeconômico, discriminado por IES: Curso de Administração
30
Índice Sócio-Econômico
20
1823
10
371
271
256
0
N = 20
16
16
22
34
29
49
26
29
47
51
365 18
51
356 311 164 276
EC
M
FU G
FM
U
A
N
U
C
PU G
M
O
EG
R
FL T
U EN
IC
N
U
IH
FV
U JM
G
FC V
G I
FA RE
N
FU
G
M
IC
ES
C NT
FA O
IM
N
U O
S
FU CI
C
FA PL
H
FC
ISE
Gráfico 7: Índice socioeconômico por IES: Curso de Engenharia Civil
30
Índice Sócio-Econômico
20
10
0
N=
20
111
15
36
143
73
280
UNIVALE
EEK
UFV
UFOP
FUMEC
PUC
UFMG
ISE
Portanto, vemos nestes três casos um jogo complexo e, para os desavisados,
enganoso das interações entre o status do aluno e seu rendimento.
(i)
(ii)
(iii)
O vestibular peneira, eliminando ou separando a grande parte dos de
status mais baixo que tem menos rendimento.
Mas peneira tanto que dentre os remanescentes, candidatos ao Provão,
pouco impacto residual tem o status familiar.
Não obstante, as escolas tendem a atrair clientelas mais homogêneas,
isto é, algumas recrutam grupos de maior status familiar, outras de
menor.
Ensino ou conhecimento prévio: quem determina o desempenho?
Os modelos ajustados permitem imediatamente verificar qual o peso da
instituição de ensino na determinação da nota obtida no Provão. Os
resultados nos trazem, se não uma surpresa, pelo menos um dado que
merece muita reflexão.
Da variação não explicada pela equação de regressão, apenas 16% se deve à
escola, no caso do curso de Direito. A proporção é de 20% e 23% para os
cursos de Administração e Engenharia.
A explicação para o resto da variância deve ser procurado nas diferenças
que os alunos já trazem ao se matricular no curso superior. Em outras
palavras, o que a escola oferece pode explicar apenas 16%, 20% e 23% dos
resultados obtidos na prova. Em outras palavras, a escola pode favorecer
mas não empurrar o aluno. Quem está em uma boa escola ganha muito com
isso. Mas a boa escola sozinha é impotente para carregar os alunos fracos e
malandros ou para freiar os bem dotados e mais estudiosos matriculados em
escolas fracas. Esse é um resultado de extraordinária importância. Revela a
força do que traz o aluno ao entrar no ensino superior (sejam seus talentos e
conhecimentos ou sua disciplina de trabalho).
Certamente, enfraquece a hipótese de um determinismo social, uma vez
escolhido o curso superior. O talento e o esforço são amplamente mais
importantes do que a fama e a qualidade do ensino. Não é um achado de
menor importância.
Mas, note-se bem, os alunos melhores e os piores não se distribuem de
forma aleatória entre as escolas. Algumas concentram os de melhor
desempenho e outras os mais fracos. A diferença é sutil mas importante. As
análises de variância que estamos examinando mostram dois resultados
importantes:
(i)
Os resultados dependem mais dos alunos do que das escolas que
cursam (isto se mede pelo alto poder de explicação das diferenças
observadas ao fazer o vestibular. As boas escolas ajudam o aluno, as
piores atrapalham (ou ajudam menos), mas a importância da escola é
quantitativamente muito menor do que o peso dos atributos pessoais
dos alunos).
(ii)
Algumas escolas recebem os alunos de maior desempenho prévio,
outras os mais fracos, dai se originando boa parte das diferenças nas
médias dos seus graduados. Esse é um ponto cuja compreensão não é
tão óbvia. As melhores escolas têm alunos melhores, mas estes
alunos, apenas em parte, são melhores por estarem em melhores
escolas. Sobretudo, eles já tinham mais potencial ao entrar.
Outra advertência importante é que não se trata aqui de falar de
características inatas ou de genética, discussão totalmente irrelevante e
equivocada no presente contexto. O que se trata é de mostrar que o
resultado ao fim do curso superior é o somatório de um potencial genético
(desconhecido) e de experiências familiares e educativas que aconteceram
muito antes do vestibular. Naturalmente, isso torna mais difíceis as análises,
ao mesmo tempo em que destroem as explicações simplistas de atribuição de
culpa ou mérito. Não se trata aqui de absolver os erros dos cursos
superiores ou minimizar a sua importância mas de colocar o problema em
sua própria perspectiva.
O valor adicionado: o prêmio de estudar em uma boa escola
Com os elementos já apresentados anteriormente, podemos passar ao
próximo passo que é estabelecer o valor agregado ou adicionado pelas
escolas boas. O conceito já foi quase antecipado pelas explicações anteriores.
Vimos que algumas escolas obtêm médias mais elevadas do que as outras. A
Tabela 1 abaixo mostra como se situa cada instituição, ordenada da média
mais alta para a mais baixa.
Tabela 1: Média bruta para as notas do Provão:
Curso de Direito
Média
IES
Tabela 2: Média bruta para as notas no Provão: Curso
de Administração
IES
Média
UFMG
60,51
UFMG
55,63
UFV
57,23
EGMG
52,33
PUC
53,32
UFV
49,14
FDMC
53,20
PUC
47,84
UFU
51,32
FCGJM
46,76
FUMEC
48,40
FACCI
45,79
UNIMONTES 48,31
UNIMONTES 44,22
UNIVALE
46,50
FCG- UNA
42,66
FDSM
46,30
FCHPL
42,55
UNIPAC
46,10
UFL
42,14
FDV
45,76
FUSO
41,60
UI
45,30
FUNREI
41,14
FDCL
44,76
ICMG
40,66
FDSL
44,70
FUMEC
40,50
UNIFENAS
43,42
UNICENTRO 40,19
UNIUBE
42,95
FADOM
42,45
FADIVALE
41,44
FADITO
36,40
FAGV
38,92
FAC
38,13
IH
36,24
Tabela 2: Média bruta para as notas no
Provão: Curso de Engenharia Civil
IES
Média
UFMG
37,27
UFV
28,67
UFOP
23,56
PUC
22,95
FUMEC
18,62
UNIVALE
17,71
EEK
13,44
Não se pode dizer que haja surpresas. Afinal, esse é o resultado bruto que
gera as notas do Provão, já tão bem conhecidas. Tampouco se trata de um
resultado contrariando nossa intuição. As grandes instituições federais e as
privadas mais prestigiosas lideram a lista. As do interior e as mais modestas,
ficam para trás.
Mas a pergunta maior de todas neste ensaio é saber se as melhores são
melhores por oferecerem um ensino melhor ou por receberem alunos melhores.
O exercício estatístico apresentado adiante consiste em controlar o nível
inicial dos alunos e perguntar como ficam os resultados. A maneira mais
fácil de entender a questão é imaginar duas escolas com alunos cujo
desempenho no vestibular é igual. A que obtêm médias maiores no Provão, é
a que “adiciona” mais aos conhecimentos dos alunos. Esta diferença
captaria a contribuição líquida da escola, isto é eliminaria a diferença devida
ao nível diferente de conhecimentos trazidos pelos alunos de uma ou outra
escola. Mas infelizmente, os dados não se comportam como gostaríamos.
Não encontramos disponíveis para a observação, escolas com alunos iguais e
desempenhos diferentes. A solução deste problema se encontra justamente
no uso dos modelos de regressão múltipla onde por via de métodos
estatísticos “controla-se” o efeito das variáveis explicativas. Em outras
palavras, as equações de regressão mostram quanto da variância se deve à
influência da escola e que parte resulta de que os alunos das escolas melhor
sucedidas já sabiam mais ao entrar.
O próximo passo é óbvio. Uma vez estimada a contribuição líquida das IES –
o seu valor adicionado – classificamos as IES por ordem decrescente de
resultados. Tinham-se antes uma classificação pelo resultado bruto, agora
preparamos uma outra pelo que a escola adiciona em termos líquidos ao
ensino. Examinando as duas ordenações (pelo Provão e pelo valor
adicionado) podemos tirar várias conclusões. Serão as melhores também as
que oferecem mais? Há escolas que recebem alunos muito modestos mas
conseguem levá-los mais longe? Note-se aqui que o novo critério não é
chegar no topo mas viajar mais longe. Uma escola muito modesta, mas que
oferece um ensino muito bom para os seus alunos, poderá ter um valor
adicionado mais alto que outra cujos resultados superiores ocorrem
simplesmente porque seus alunos já eram melhores ao entrar.
As mesmas tabelas 4,5,e 6 nos indicam claramente os resultados. Uma
primeira leitura geral mostra que mudam pouco de posição os cursos,
quando ordenados pelo seu valor adicionado. Há casos de mudança, alguns
saltos até grandes. Mas no todo, as posições permanecem.
Tabela 4: Média no Provão e valor adicionado de cada IES: Curso de Direito
IES
Média obtida no Provão Valor adicionado de cada IES
UFV
57,23 (2)
6,44 (1)
UFMG
60,51 (1)
4,27 (2)
FDMC
53,20 (4)
4,00 (3)
PUC
53,32 (3)
3,40 (4)
UFU
51,32 (5)
2,24 (5)
UNIVALE
46,50 (8)
0,40 (6)
UNIMONTES
48,31 (7)
0,40 (7)
FDSM
46,30 (9)
0,38 (8)
UNIPAC
46,10 (10)
0,28 (9)
FDV
45,76 (11)
-0,19 (10)
FUMEC
48,40 (6)
-0,53 (11)
UNIFENAS
43,42 (15)
-0,89 (12)
FDCL
44,76 (13)
-1,06 (13)
UI
45,30 (12)
-1,52 (14)
UNIUBE
42,95 (16)
-2,10 (15)
FADOM
42,45 (17)
-2,32 (16)
FDSL
44,70 (14)
-2,45 (17)
FADIVALE
41,44 (18)
-3,65 (18)
FADITO
36,40 (19)
-7,10 (19)
Tabela 5: Média no Provão e valor adicionado de cada IES: Curso de Administração
IES
Média obtida no Provão Valor adicionado de cada IES
UFMG
55,63 (1)
3,33 (1)
PUC
47,84 (4)
3,26 (2)
FCGJM
46,76 (5)
3,22 (3)
UFV
49,14 (3)
3,06 (4)
EGMG
52,33 (2)
2,36 (5)
FCHPL
42,55 (9)
1,23 (6)
UNIMONTES
44,22 (7)
1,18 (7)
FACCI
45,79 (6)
1,15 (8)
ICMG
40,66 (13)
-0,77 (9)
UFL
42,14 (10)
-0,87 (10)
FUSO
41,6 (11)
-0,95 (10)
FUNREI
41,14 (12)
-1,13 (11)
FCG- UNA
42,66 (8)
-1,52 (12)
FAGV
38,92 (15)
-1,90 (13)
UNICENTRO
40,19 (14)
-1,91 (14)
FAC
38,13 (16)
-2,12 (15)
FUMEC
40,5 (13)
-3,11 (16)
IH
36,24 (17)
-4,53 (17)
Tabela 6: Média no Provão e valor adicionado de cada IES: Curso de Engenharia Civil
IES
Média obtida no Provão Valor adicionado de cada IES
UFMG
37,27 (1)
4,41 (1)
UFV
28,67 (2)
2,84 (2)
UFOP
23,56 (3)
0,62 (3)
PUC
22,95 (4)
-0,25 (4)
UNIVALE
17,71 (6)
-0,38 (5)
FUMEC
18,62 (5)
-2,53 (6)
EEK
13,44 (7)
-4,71 (7)
Isso significa que as melhores escolas nos escores de rendimento são também
as que oferecem mais aos alunos. Obviamente, é um resultado reconfortante.
Se os cursos com as melhores notas não oferecessem também valores
adicionados mais elevados, estaríamos diante de uma notícia difícil de
processar e tirar resultados para a política educacional. Portanto, a primeira
conclusão relevante é que as escolas recebendo os melhores alunos são
também as que oferecem mais aos alunos que recebem. Palmas para as
melhores escolas, não estão apenas mostrando melhores resultados por ter os
melhores alunos.
Todavia, há exceções, isto é escolas que mostram resultados melhores do
que se deveria esperar com os alunos que têm, bem como as que deveriam
mostrar resultados superiores, pelos seus alunos, embora isso não aconteça.
Esta correspondência aproximada entre a ordenação das médias por
instituição e o valor adicionado estimado para elas é uma boa notícia para a
política educacional. Mostra que ao valorizar o maior desempenho de
algumas instituições não se está cometendo uma injustiça grave com as
outras. Isto é as piores na média de resultados são também piores no valor
adicionado.
Mas não podemos confundir uma tendência geral com casos individuais. De
fato, há os casos isolados de escolas com médias altas e valor adicionado
baixo e, vice-versa.
Nos cursos de Direito, há alguns desvios, embora não sejam enormes. A
FUMEC desce de sexto na média do Provão para décimo primeiro lugar na
lista decrescente dos valores adicionados. A FDSL (Sete Lagoas), de décimo
quarto passa para décimo sétimo. As demais mudanças não ultrapassam
uma posição para cima ou para baixo. Não se observam, portanto, casos
notáveis de ganhos.
Na Administração, as mudanças são mais pronunciadas do que no Direito,
embora tampouco sejam dramáticas. A FCHPL (Pedro Leopoldo) sobe de
nono lugar na média do Provão para sexto no valor adicionado. Igualmente o
ICMG (Instituto Católico) sobe de décimo terceiro para nono lugar. Em
contraste, A EGMG (Escola de Governo) cai de segundo para quinto lugar, a
UNA baixa de oitavo para décimo segundo e a FUMEC de décimo terceiro
para décimo sexto.
Em contraste, na Engenharia Civil mantém-se em praticamente todos os
casos a mesma ordenação, quer tomemos as médias no Provão ou o valor
adicionado que estimamos. Os melhores no desempenho no Provão são
também os melhores no valor adicionado. Não há discrepâncias a se
registrar.
Aprende-se também com os colegas
Nas atividades desportivas, bem sabemos que treinar com companheiros ou
adversários mais fortes é melhor do que fazê-lo com mais fracos. Igualmente,
na educação aprende-se com os professores, mas este aprendizado é afetado
pelos colegas. Sempre se disse, com base em observação casual que bons
alunos puxam para cima o rendimento de todos. O Coleman Report, já em
1966 mostrava que o efeito dos pares era uma variável de importância.
Podemos questionar até que ponto é adequado introduzir uma tal variável na
análise dos dados. Por um lado, Ter bons colegas é parte do ambiente mais
favorável ao aprendizado que oferecem as melhores escolas. É mérito de uma
instituição boa ser capaz de atrair bons alunos. Isso, em si, é um atributo da
sua qualidade. E se o ensino piorar, os bons alunos irão progressivamente
migrando para outros lugares.
Demais, pode-se argumentar que os melhores alunos vão para aonde está o
melhor ensino e esse melhor ensino estará onde estão os melhores alunos.
Ou seja, há círculos viciosos e virtuosos. Quem por alguma razão atraiu
bons alunos, beneficia-se de um clima intelectual onde fica mais fácil
oferecer um ensino melhor. Tentar isolar o impacto da excelência dos colegas
do ensino é, em princípio, uma preocupação legítima, ainda que tarefa muito
difícil com dados observacionais como os do presente exercício. Estamos
longe de poder concluir que o efeito dos pares é algo separado da qualidade
oferecida pela instituição.
Apesar de entendermos que a conveniência dou não de introduzir o efeito
dos pares para o cálculo do valor agregado de uma IES é questão ainda
polêmica, vamos fazer os cálculos e comentar os resultados.
As Tabelas 7,8 mostram uma terceira coluna com a hierarquia das escolas,
depois de introduzir o impacto dos pares no rendimento. No todo, as
ordenações não são alteradas dramaticamente. Isto significa que ao levar em
consideração o efeito dos pares, não se vira de pernas para o ar a ordenação
de quem oferece mais aos seus alunos. Há uma tendência clara, os que
obtêm os melhores resultados no Provão são também os que oferecem mais
aos alunos, inclusive em termos da qualidade dos colegas.
Tabela 7: Média no Provão, valor adicionado e efeito dos pares para cada IES: Curso de Direito
IES
Média obtida no Provão Valor adicionado de cada IES Valor Adicionado com efeito do pares
UFV
57,23
6,44
3,47
FDMC
53,20
4,00
2,47
PUC
53,32
3,40
1,43
UFU
51,32
2,24
1,11
UNIPAC
46,10
0,28
1,05
UNIVALE
46,50
0,40
0,97
UNIFENAS
43,42
-0,89
0,91
FDSM
46,30
0,38
0,88
FDV
45,76
-0,19
0,59
FDCL
44,76
-1,06
0,18
UNIMONTES
48,31
0,40
0,03
FADOM
42,45
-2,32
-0,22
UNIUBE
42,95
-2,10
-0,42
UI
45,30
-1,52
-0,75
FUMEC
48,40
-0,53
-1,57
FADIVALE
41,44
-3,65
-1,78
FDSL
44,70
-2,45
-1,91
UFMG
60,51
4,27
-2,55
FADITO
36,40
-7,10
-3,91
Tabela 8: Média no Provão, valor adicionado e efeito dos pares para cada IES: Curso de Administração
IES
Média obtida no Provão Valor adicionado de cada IES Valor Adicionado com efeito do pares
FCGJM
46,76
3,22
3,04
PUC
47,84
3,26
2,92
UFV
49,14
3,06
2,04
FCHPL
42,55
1,23
1,88
UNIMONTES
44,22
1,18
1,39
FACCI
45,79
1,15
0,74
ICMG
40,66
-0,77
0,06
EGMG
52,33
2,36
-0,31
FUNREI
41,14
-1,13
-0,42
FUSO
41,60
-0,95
-0,45
UFL
42,14
-0,87
-0,50
FAC
38,13
-2,12
-0,60
FAGV
38,92
-1,90
-0,67
UFMG
55,63
3,33
-0,71
UNICENTRO
40,19
-1,91
-1,01
FCG- UNA
42,66
-1,52
-1,64
IH
36,24
-4,53
-2,83
FUMEC
40,50
-3,11
-2,93
Todavia, há vários casos em que essa correspondência não se observa. De
fato, o efeito dos pares cria casos dramáticos de saltos para frente e para
trás.
No caso dos cursos de Direito, podemos verificar que há algumas mudanças
importantes de posição. Por exemplo, a UFMG que se saia muito bem, tanto
nas médias do Provão como no valor agregado, quando se considera o efeito
dos pares, passa para 13º lugar. Ou seja, a escola recruta os melhores
alunos e pareceria oferecer também o melhor ensino (seu valor adicionado é
alto), mas quando introduzimos o efeito dos pares, os resultados permitem
sugerir, embora não possam comprovar, que é mais a qualidade dos colegas
do que a própria excelência do ensino que fez subir o desempenho. Em
contraste, Viçosa brilha em todos as medidas, está entre as duas melhores
na média do Provão, no valor adicionado e no valor adicionado considerando
também o efeito dos pares. No outro extremo, Alfenas que está em 15º na
média do Provão, e 13 no valor agregado, sobe para terceiro quando o
modelo inclui o efeito dos pares. Isto significa que, considerando o conjunto
de seus alunos seu ensino é melhor do que pareceria antes de considerar o
efeito dos pares.
No curso de Administração, notamos uma queda no desempenho da UFMG,
para o modelo que inclui o efeito dos pares, passando de primeiro lugar na
média no Provão para 11 no valor agregado. Pela mesma forma, a UNA passa
de oitavo para décimo sexto. Em contraste, Pedro Leopoldo sobe de nono
para quarto e o Instituto Católico de 14 para 7.
No caso da Engenharia Civil, novamente, a UFMG cai de primeiro para sexto
lugar, tanto no modelo simples de valor agregado quanto no que introduz o
efeito dos pares. Novamente, brilha Viçosa, estando entre os dois primeiros
nas três medidas. Mas faz bonito a Vale do Rio Doce (Univale) ao subir de
sexto na média do Provão e quinto no valor adicionado para segundo quando
se introduz o efeito dos pares.
Não há como evitar uma forte circunspeção ao examinar os resultados ao se
incluir o efeito dos pares. Em que pese o fato de que a sua introdução no
modelo não afeta as tendências gerais de que se mantém a mesma
ordenação das escolas, há saltos bruscos em casos individuais. Isso nos trás
ao primeiro plano uma certa ambigüidade do próprio conceito de efeito dos
pares. Não seria mérito da escola atrair melhores alunos?
Diante de tais ambigüidades, os autores sugerem que se tome e efeito dos
pares apenas como um detalhamento da forma pela qual as instituições
obtêm a sua qualidade. Ter bons colegas é parte do que se constitui em um
bom ensino. Não estamos preparados para aceitar o efeito dos pares como
um substituto independente da qualidade do ensino, para efeito da presente
análise.
O que ficamos sabendo: um sumário
O presente ensaio trata de um assunto que se tornou crítico após o
aparecimento do Provão: em que medida a excelência dos resultados de uma
escola são devidos ao próprio esforço da escola ou do mero fato de que
recebe alunos melhores? Visto por outro ângulo, uma escola de resultados
lamentáveis é culpada por tal performance ou, simplesmente, está
condenada a ser assim, diante dos alunos mas fracos que recebe?
Qual o valor adicionado pela escola? Qual a fração do desempenho que se
deve à escola, isolado o efeito das diferenças individuais dos alunos?
Do ponto de vista de quem maneja as políticas educativas, há questões de
justiça e equidade. São merecidos os elogios aos melhores figurantes? São
justas as críticas aos desempenhos mais lamentáveis?
Os modelos hierárquicos de regressão múltipla oferecem uma forma elegante
e confiável de isolar os resultados da escola daqueles que se devem às
características dos alunos. Mas até que resultados do ENEM se tornem
generalizados e os primeiros alunos que fizeram esse teste façam o Provão,
não há formas confiáveis de realizar tal exercício para o Brasil como um
todo. Em outras palavras, o Provão é uma medida nacional de desempenho e
está disponível. Contudo, não há uma medida nacional da qualidade dos
alunos admitidos no ensino superior.
A presente pesquisa beneficia-se de um potencial de análise criado pelo
vestibular da UFMG, levando à entrada na IES mais cobiçada do Estado e
feito por dez vezes mais alunos do que há vagas naquela universidade. De
cada dez candidatos, os nove reprovados se encaminham para outras
instituições de ensino superior. Portanto, cada uma destas outras
instituições abriga alunos que fizeram o vestibular da UFMG. Cruzando a
pontuação no vestibular destes alunos com os seus resultados no Provão,
temos uma amostra suficientemente grande para analisar a qualidade na
entrada e na saída de alunos de todas as instituições importantes do Estado
(onde a medida de entrada é a media dos escores no vestibular da UFMG).
Foram escolhidos os cursos Direito, Administração e Engenharia Civil, por
terem sido os primeiro a entrarem na avaliação do Provão.
As estimativas aqui apresentadas devem ser tomadas com cautela, pois são
as primeiras tentativas de cálculo de valor agregado de IES brasileiras. No
entanto, tomadas as precauções devidas, estamos diante de resultados tanto
úteis para a política educativa como interessantes.
Tudo o que se sabe sobre desempenho em educação revela o tremendo poder
explicativo do ambiente familiar, determinante também da qualidade do
ambiente escolar freqüentado mais adiante. Famílias mais educadas
preparam melhor seus filhos para o que exige a escola e, também, são muito
mais seletivas na escolha das primeiras escolas freqüentadas por seus filhos.
Portanto, em uma análise deste tipo, é preciso que fique muito claro como as
medidas indicadoras deste ambiente influenciam os resultados tratados.
Em uma escola excludente como a nossa, a força das variáveis criadas pelo
ambiente familiar tem como conseqüência mais poderosa a evasão. Vão
saindo da escola aqueles cujas famílias geraram ambientes menos propícios
às realizações escolares. Portanto, após onze anos de escolaridade, a
proporção de filhos de famílias menos educadas – e mais pobres – cai de dois
terços para dez a vinte por cento. A escola depura. Ficam apenas aqueles de
famílias mais modestas cujo desempenho é excepcional, ou seja, o efeito do
status familiar é tão grande que homogeneiza os grupos que sobem. Só ficam
os pobres que são iguais aos ricos em desempenho.
A análise presente mostra exatamente isso. O status familiar explica o
desempenho no vestibular, pois ainda há um resíduo de variância devido à
família. Mas quando tomamos o provão e o relacionamos com o vestibular,
não sobra praticamente mais nenhum resíduo a ser explicado por status
familiar. Em outras palavras, todo o efeito do status é captado pelo
vestibular. Conhecendo os escores no vestibular, nada mais ficamos sabendo
ao conhecer o status familiar. Portanto, do ponto de vista da eficiência dos
nossos modelos, o vestibular mede melhor tudo que poderia ser medido pelo
status familiar. Esta se torna, portanto, uma variável sem interesse
estatístico nas análises subsequentes.
Não obstante, há uma outra dimensão interessante da estratificação social
ainda presente no ensino superior. As instituições tendem a recrutar de
forma seletiva. Algumas concentram seu recrutamento em grupos de maior
status familiar, outras ficam com alunos de origem mais modesta.
O primeiro resultado verdadeiramente novo da presente análise é a medida
da variância explicada pela escola em oposição ao que é explicado pelo que
já sabia o aluno ao entrar no ensino superior (medido pelo vestibular).
Surpresa ou não, a diferença que pode ser atribuída às escolas só
corresponde da ordem de 15% da variância. A maior parte do resultado é
devida a os méritos próprios dos alunos.
Não é possível subestimar a importância de tal resultado. Por muito boa ou
por muito fraca que seja a faculdade cursada, os méritos individuais do
aluno pesam seis vezes mais nos resultados do Provão. Isso, de certa
maneira, mostra um peso atenuado da diferenciação entre escolas de ensino
superior na determinação dos resultados finais no Provão. Os alunos que
tiram boas notas, o fazem mais por serem bons alunos do que por serem
alunos de boas escolas (não obstante o fato de que os bons alunos estão
predominantemente nas boas escolas).
O resultado anterior é o primeiro passo para calcular o valor adicionado
pelas escolas. O ajuste do modelo nos mostra um resultado surpreendente e
tranquilizador. Ao contrário do que se poderia temer, as escolas cuja
pontuação é maior no vestibular são justamente aquelas que produzem os
maiores valores adicionados. Quando hierarquizamos as escolas pela sua
pontuação no Provão, temos uma ordem que é muito aproximada daquela
obtida quando hierarquizamos pelo valor adicionado.
Em outras palavras, ao louvarmos a excelência no Provão, como acaba sendo
feito pela imprensa ao anunciar os seus resultados, grosso modo, não
estamos cometendo injustiças sérias. À parte algumas notáveis exceções,
estamos justamente premiando as escolas que oferecem o melhor ensino. Ou
seja, não são escolas que mostram bons resultados simplesmente por
receber alunos melhores do que os das outras.
Mas, naturalmente, os resultados permitem identificar os desvios que são
boas escolas com alunos fracos e escolas cujo único mérito é receber bons
alunos. Mostrar esses casos fora das tendências principais de equivalência
entre valor adicionado e pontuação absoluta é de grande importância para a
política educativa, pois permite valorizar os enormes méritos de quem
consegue oferecer melhor ensino, ao arrepio das tendências usuais a que o
ensino seja melhor onde são também melhores os alunos. O texto do
presente ensaio identifica os casos discrepantes, tanto em uma direção
quanto em outra.
Foi também indagado – estatisticamente – acerca do impacto de um aluno
sobre o outro, o chamado efeito dos pares. Sabe-se que os bons colegas
puxam para cima os resultados de todos. A introdução desta variável,
novamente, em grandes linhas, não altera as ordenações dos valores
adicionados. Permanecem mais ou menos na mesma ordem em que estão os
escores brutos do Provão. Há, entretanto, algumas variações bastante
radicais, de escolas excelentes perdendo pontos e outras nem tão boas,
ganhando. Mas há que ter cuidado na interpretação do efeito dos pares, pois
é perfeitamente legítimo dizer que um dos méritos das escolas boas é
justamente atrair bons alunos, isso é parte do “pacote” que oferecem. Por
tais razões, consideramos prematuro dar muita ênfase às ocasionais
flutuações observadas no valor adicionado, ao introduzir o efeito dos pares.
À guisa de conclusão, o presente ensaio mostra dois resultados de enorme
importância mas que ainda não sabemos se seriam válidos fora da área
circunscrita de Minas Gerais:
(i)
(ii)
A excelência do ensino oferecido em cada curso individualmente é
importante, todavia, ainda mais decisivo é o esforço e talento de cada
um.
As escolas que obtêm os melhores resultados no Provão são também
aquelas que oferecem o melhor ensino, isto é, o maior valor
adicionados aos seus alunos. Portanto, merecem ser festejadas
aquelas que obtêm notas boas, pois são as mesmas que oferecem o
melhor ensino.
Apêndice: Os Dados Utilizados.
A Construção do Banco de Dados
Para estudar o desempenho dos estudantes no ENC controlando-se por suas condições sócioeconômicas e desempenho prévios foi necessário exigiu a agregar os arquivos de dados fornecidos
pelo INEP e pela UFMG . Isto porque os dados sobre o desempenho são fornecidos pelos vestibulares
da UFMG enquanto os dados de desempenho final estão nos arquivos do INEP. Tanto o vestibular
quanto o INEP forneceram informações que ajudaram a caracterizar a condição socioeconômica dos
alunos.
O quadro abaixo apresenta a distribuição dos estudantes das IES mineiras que realizaram o
ENC em cada curso considerado e o total de estudantes que realizaram o ENC no período analisado.
Tabela 1 – Distribuição dos Estudantes que realizaram o ENC nos anos de 1996 a 1999
Alunos que fizeram o ENC 1996 - 1999
Curso
Direito
Administração
Engenharia Civil
Total em cada ano
Fonte: Dados Básicos: INEP
1996
1997
1998
1999
2585
1900
718
5203
3182
2547
969
6698
2720
1704
374
4798
3995
3073
1060
8128
Total em
cada curso
12482
9224
3121
A distribuição dos estudantes que realizaram o vestibular da UFMG nesse período pode ser
visualizada na tabela abaixo.
Tabela 2 – Distribuição dos Estudantes que realizaram o Vestibular nos anos de 1992 a 1996
Ano
Nº de Alunos que fizeram o Vestibular
1992
1993
1994
1995
1996
Fonte: Dados Básicos: UFMG
32948
34566
40000
41925
41884
Para agregar estes arquivos, a primeira tarefa consistiu na identificação nas bases de dados
fornecidas pela UFMG e pelo INEP dos estudantes que realizaram o ENC e pelo menos um vestibular
na UFMG no período considerado. Esse procedimento foi dificultado pela falta de padronização na
forma do registro das variáveis comuns dos arquivos do ENC e dos vestibulares. Assim, foi necessário
desenvolver um programa que, com base nos caracteres do nome do aluno e na sua da data de
nascimento, identificasse com segurança os alunos que fizeram o ENC entre 1996 e 1999 e realizaram
pelo menos um vestibular na UFMG nos anos de 1992 a 1996. Através desse procedimento criou-se
uma identificação única para cada aluno que foi inserida em todos os arquivo dos vestibulares e do
ENC. Isto permitiu a junção dos arquivos da forma exigida pelo objetivo deste trabalho.
Foram identificados 7144 estudantes das IES mineiras que fizeram o ENC nos anos de 1996 a
1999 e realizaram pelo menos um vestibular na UFMG nos anos de 1992 a 1996. Esses dados são
apresentados na tabela abaixo que mostra, também, a distribuição dos estudantes em cada curso
considerado.
Tabela 3- Distribuição dos Estudantes que Realizaram o ENC em MG entre 1996-1999
Estudantes que realizaram o ENC nos anos de 1996 a 1999 e
pelo menos um vestibular da UFMG
1996
1997
1998
1999
Total em
cada curso
Direto
544
993
734
1671
3942
Administração
376
683
132
1083
2274
Engenharia Civil
117
296
43
472
928
Total em cada ano
1037
1972
909
3226
7144
Fonte: Dados Básicos: INEP
Curso
A análise da distribuição dos estudantes que realizaram o ENC em cada ano juntamente com a
do número de estudantes que prestaram o vestibular em cada ano, apresentadas na tabela 4, indica que
alguns alunos fizeram mais de um vestibular na UFMG entre 1992 e 1996, o que exigiu um
procedimento para a seleção de apenas um caso a ser analisado. A seleção dos alunos incluídos na
análise está detalhada na seção abaixo.
Tabela 4- Distribuição dos estudantes que realizaram o Vestibular e o ENC desagregados
em cada ano considerado
Total de Estudantes que Realizou o Vestibular e o ENC em cada ano
Ano em que Prestou o Vestibular
Ano da realização do ENC
1992
1993
1994
1995
809
385
64
10
1996
1063
1084
531
61
1996
280
429
507
192
1998
545
949
1788
1539
1999
Total de Estudantes que 2697
2847
2890
1802
Prestaram o Vestibular em
Cada Ano
Fonte: Dados Básicos: INEP e UFMG
1996
5
8
17
396
426
Seleção dos Alunos Incluídos na Análise
Para a seleção dos alunos incluídos na análise observou-se, em primeiro lugar, que alguns
estudantes apresentaram uma nota média no ENC igual a zero. Esses casos foram interpretados como
ação de protesto e, como estas notas não possuem nenhuma informação útil para medir o valor
agregado da instituição, optou-se por retirar os alunos correspondentes da base de dados.
Além disso, como indicado acima, vários prestaram mais de um vestibular na UFMG no
período. Isto tornou necessário estabelecer critérios para a escolha da informação que seria usada para
estes estudantes neste trabalho. Assim, foram estabelecidos os seguintes critérios de seleção:
1- Primeiramente escolheu-se o caso no qual o estudante realizou o vestibular no mesmo ano
do seu ingresso no curso de graduação. A nota do vestibular obtida nesse caso
corresponde ao desempenho do aluno no ano que contou para seu ingresso no curso
superior, sendo portanto a situação mais adequada para a análise.
2- Em seguida escolheu-se o caso no qual o estudante realizou o vestibular na UFMG no
final do ano em que entrou para o curso superior.
3- Posteriormente, foi selecionado o caso em que o vestibular realizado pelo estudante foi no
ano anterior ao seu ingresso no curso de graduação.
4- Dos alunos restantes foram selecionados aqueles que realizaram o vestibular no final do
ano posterior à sua entrada no 3º grau.
5- Por fim, foram selecionado aqueles que prestaram o vestibular dois anos antes da sua
entrada no vestibular.
A distribuição dos alunos segundo o procedimento descrito para escolha do ano do vestibular dos
alunos repetidos na base de vestibular da UFMG a ser inserido na análise pode ser observada na tabela
abaixo:
Tabela -5 Freqüência do N.º de estudantes de acordo com a época em que prestou o vestibular
Época em que Prestou o Vestibular
N.º de estudantes
(% do total)
5233
(85,2%)
167
(2,7%)
545
(8,9%)
46
(0,7%)
151
(2,5%)
6142
(100%)
No mesmo ano do seu ingresso no 3º Grau
No final do1º ano em que ingressou no 3º Grau
No ano anterior ao ingresso no 3º Grau
No final do 2º ano do ingresso no 3º Grau
Dois anos antes do ingresso no 3º Grau
Total
Fonte: Dados Básico: INEP e UFMG
Seleção das IES Incluídas na Análise
Além da escolha dos estudantes indicada acima, foram selecionadas as IES que tinham na
base final dos alunos pelo menos 15 estudantes. Isto visa garantir um número mínimo de estudantes em
cada IES compatível com a complexidade dos modelos estatísticos a serem usados. A relação das IES
selecionadas em cada curso e o número correspondente dos seus alunos inseridos na análise está
exposta nas tabelas 6, 7 e 8:
Tabela 6- Relação das IES do Curso de Direito
Nome da IES
Sigla
Total de alunos
incluídos
Universidade Federal de Viçosa
UFV
33
UFU
UNIFENAS
FDCL
FDSL
FADITO
FDV
UNIUBE
FUMEC
FDSM
FADOM
FADIVALE
UNIPAC
PUC
UNIMONTES
UNIVALE
UFMG
FDMC
UI
61
49
77
453
41
41
71
174
23
156
80
56
590
98
34
582
711
218
Universidade Federal de Uberlândia
Universidade de Alfenas
Faculdade de Direito de Conselheiro Lafaiete
Faculdade de Direito de Sete Lagoas
Faculdade de Direito de Teófilo Otoni
Faculdade de Direito de Varginha
Universidade de Uberaba
Faculdade de Ciências Humanas – FUMEC
Faculdade de Direito do Sul de Minas
Faculdade de Direito do Oeste de Minas
Faculdade de Direito do Vale do Rio Doce
Universidade Presidente Antônio Carlos
Pontifícia Universidade Católica de Minas Gerais
Universidade Estadual de Montes Claros
Universidade Vale do Rio Doce
Universidade Federal de Minas Gerais
Faculdade de Direito Milton Campos
Universidade de Itaúna
Tabela 7- Relação das IES do Curso de Engenharia
Nome da IES
Sigla
Universidade Federal de Ouro Preto
UFOP
Nº de Estudantes
inseridos
na análise
36
Universidade Federal de Viçosa
UFV
15
FUMEC
PUC-MG
EEK
UNIVALE
UFMG
145
78
114
21
284
Faculdade de Engenharia e Arquitetura – FUMEC
Pontifícia Universidade Católica de Minas Gerais
Escola de Engenharia Kennedy
Universidade Vale do Rio Doce
Universidade Federal de Minas Gerais
Tabela 8- Relação das IES Curso de Administração
Nome da IES
Sigla
Nº de Estudantes
Incluídos
Universidade Federal de Viçosa
UFV
47
FCGJM
FUNREI
FUMEC
IH
PUC
UNICENTRO
UNA
FAC
UNIMONTES
FUSO
FACCI
UFMG
UFL
FAGV
FCHPL
ICMG
EGMG
29
50
278
54
364
371
313
34
22
16
16
166
18
26
20
29
52
Faculdade de Ciências Gerenciais de João Monlevade
Fundação de Ensino Superior de São João Del Rei
Fac. de Ciências Econômicas, Administrativas e Contábeis
Faculdades Metodistas do Instituto Izabela Hendrix
Pontifícia Universidade Católica de Minas Gerais
Centro Universitário Newton Paiva
Faculdade de Ciências Gerenciais UNA
Faculdade de Administração Champagnat
Universidade Estadual de Montes Claros
Faculdades Unificadas da Serra dos Órgãos
Faculdade de Ciências Administrativas e Contábeis de Itabira
Universidade Federal de Minas Gerais
Universidade Federal de Lavas
Faculdade de Administração de Governador Valadares
Faculdade de Ciências Humanas de Pedro Leopoldo
Instituto Católico de Minas Gerais
Escola de Governo de Minas Gerais
O banco de dados resultante ao final de todos estes processo de seleção contém 6.142 casos. A
distribuição dos estudantes revela que o ano de 1999 concentra um maior número de casos enquanto
1998, que foi o ano em que uma liminar da Justiça suspendeu o Exame em Belo Horizonte, houve um
menor contingente de estudantes. Já a configuração dos estudantes de acordo com o curso de graduação
mostra que o número de alunos do curso de Direito prevaleceu sobre o número de alunos dos demais
cursos. Os dados referentes ao número de alunos que realizaram o ENC segundo o ano e o curso
concluído pode ser observado na tabela 9.
Tabela 9- Total de estudantes segundo o curso de graduação e o ano do ENC
Curso de Graduação
Ano em que Realizou o ENC
Direito
Administração
Engenharia Civil
Total em cada ano
1996
1997
1998
1999
Total por Curso
468
893
665
1520
3546
312
560
90
943
1905
85
188
22
396
691
1641
777
2859
6142
865
Fonte: Dados Básicos: INEP e UFMG
Representatividade dos Estudantes Inseridos na Análise
Antes de proceder ao cálculo do valor agregado comparamos o desempenho dos estudantes de
cada IES incluídos na análise com aqueles da mesma Instituição que fizeram o ENC no período mas
não foram incluídos. Naturalmente, a razão da exclusão destes estudantes é simplesmente o fato de não
terem feito os vestibulares da UFMG entre 1992 e 1996. O objetivo desta etapa é verificar se o
desempenho dos dois grupos de estudantes é similar e assim dar uma evidência de que os estudantes
inseridos na análise podem ser considerados representativos dos alunos das suas IES.
Os gráficos 1 a 44 do ANEXO 2 mostram uma grande semelhança entre os alunos incluídos e
os alunos excluídos da analise quanto ao seu desempenho no ENC. Em todos os cursos das IES
consideradas, os valores medianos assim como a variação em torno deles do desempenho dos seus
estudantes incluídos são semelhantes aos valores e variações do desempenho dos seus alunos excluídos,
mostrando que a representatividade dos alunos incluídos na análise não pode ser rejeitada.
Referências Bibliográficas
BRYK, A. S. and RAUDENBUSH, S. W. 1992: Hierarchical Linear Models. Newbury Park: Sage.
CLARK, R. M. 1983: Family Life and Scool Achievemen – Why poor blach children succeed or fail
Capítulos 1, 2, 5, 8, e 9. Chicago: The University of Chicago Press.
GOLDSTEIN, H. and SPIEGELHALTER, D. J. 1996: League Tables and Their Limitations: Statistical
Issues in Comparissons of Institutional Performace. J. R. Statistic. Soc. A, 159, Part 3, 385-443.
GOLDSTEIN, H. and THOMAS, S. 1996: Using Examination Results as Indicators of
School and College Performance. J. R. Statistic. Soc. A, 159, 149-163.
INEP. 1999: Provão. Exame Nacional de Cursos Relatório Síntese 1999
KOLEN, M. J. and BRENNAN, R. L. 1995: Test Equating: Methods and Pratices. New
York: Springer Verlag
LAREAU, A. 1987: “Social class difference in family-school relationships: the
importance of cultural captal” In Scoiology for Education, Vol. 60 abr:73-85.
SAMMONS, P., THOMAS, S. MORTIMORE, P. 1997: Forging Links. Effective
Schools and Effective Departments. Paul Chapman.
SOARES, J. F. e FONSECA, J. A. 1998: Fatores Socioeconômicos e o Desempenho no
Vestibular da UFMG-97 (Relatório), UFMG: Departamento de Estatística, Belo
Horizonte.
SOARES, J. F., MARTINS, M. I; ASSUNÇÃO, N. B. A. Heterogeneidade acadêmica dos alunos
admitidos na UFMG e PUC-MG. Ensaio: avaliação e políticas públicas em Educação, Fundação
Cesgranrio, Rio de Janeiro, v.6, n.18, p.57-65, jan./mar. 1993.
THOMAS, S. 1998: “Abordagens de Valor Agregado para a Auto-Avaliação Escolar no Reino Unido”.
In TIANA, A. Seminário Internacional de Avaliação Educacional, Brasíla, Inep
THOMAS, S. and MORTIMORE, P. 1996: Comparison of value-added models for secondary-school
effectiveness. Research Papers in Education 11(1), 5-23.
WILLMS, J. Douglas, Monitoring School Performance, Washington DC: The Falmer
Press, 1992.