ANÁLISE CRÍTICA DA NOVA METODOLOGIA DE
AVALIAÇÃO DO EXAME NACIONAL DE CURSOS
Rubén Romero1, Anna Diva P. Lotufo2
FEIS/UNESP1
Av. Brasil 56, Ilha Solteira, SP
[email protected]
FEIS/UNESP2
Av. Brasil 56, Ilha Solteira, SP
[email protected]
Resumo. É realizada uma análise crítica da nova metodologia proposta pelo INEP para a
avaliação do Exame Nacional de Cursos. Com o critério anterior, vigente até 2000, existia um
critério rígido para a classificação e atribuição de conceitos dos cursos. Entretanto, em 2001,
deve-se implementar um novo critério para a classificação e atribuição de conceitos dos cursos.
Esta nova proposta permite atribuir conceitos aos cursos de uma forma variável, isto é, o número
de cursos, por exemplo, com conceito A deve ser variável. Assim, é realizada uma análise desses
novos critérios para o caso do curso de Engenharia Elétrica. A análise realizada permite verificar
que o número de cursos com conceito A deve permanecer praticamente o mesmo ou ter um pequeno
incremento e o número de cursos com conceito B deve diminuir. Também é realizada uma análise
genérica sobre a repercussão do novo critério adotado na atribuição de conceitos nos outros
cursos que participam do provão, assim como das características teóricas da distribuição normal
de probabilidade e sua utilização em dados experimentais..
Palavras-chave: Exame Nacional de Cursos, critérios de avaliação, ensino em engenharia elétrica.
ENC - 1
1.
INTRODUÇÃO
Iniciado em 1996, o Exame Nacional de Cursos, durante cinco anos usou um critério de avaliação que atribui
conceitos aos cursos participantes desse processo de avaliação. A partir de 2001 deve ser usado um novo critério no
processo de avaliação. Além disso, segundo comunicados divulgados nos meios de comunicação (Folha de São Paulo –
19/03/2001), junto com os conceitos atribuídos aos cursos em 2001 usando um novo critério, o Ministério da Educação
vai divulgar uma nova classificação dos cursos para os cinco anos anteriores usando o novo critério, isto é, os conceitos
atribuídos em anos anteriores usando o critério antigo devem ser revisados e corrigidos usando o novo critério de
avaliação. Assim, por exemplo, um curso que em 2000 teve um conceito igual a B, pode ter esse conceito revisado para
C ou A de acordo com o novo critério. A motivação para a mudança de critérios de avaliação, segundo a imprensa é
para atender uma reivindicação das universidades, especialmente de universidades de elite e de escolas particulares.
Assim, se a idéia é atender reivindicações das instituições antes mencionadas, espera-se que com o novo critério o
número de cursos com conceito A deve aumentar e o número de cursos com conceito D e E deve diminuir. Portanto,
pretende-se fazer uma análise crítica do novo critério de avaliação adotado e uma análise de caso para o curso de
Engenharia Elétrica.
Maia, em [3] afirma que nas distribuições das notas dos cursos nos 5 anos em que foi usado o critério antigo de
avaliação, a maioria dos cursos apresenta uma distribuição em forma de sino, isto é, as distribuições dos cursos são
próximas da distribuição normal. Também em [3] se afirma que em alguns cursos existem distribuições um pouco
diferentes da distribuição normal com o aparecimento de assimetria, isto é, as distribuições são assimétricas. Nesse
contexto, um curso com distribuição assimétrica à esquerda deve ter um número maior de cursos com conceito A e B
que um curso que apresente uma distribuição normal. De forma equivalente, um curso com distribuição assimétrica à
direita deve ter um número menor de cursos com conceito A e B que um curso que apresente a distribuição normal.
Portanto, pode-se verificar que as propriedades da distribuição normal de probabilidades foram usadas como base
fundamental para desenvolver e justificar o novo critério de avaliação do Exame Nacional de Cursos. Assim, também
analisamos algumas das propriedades da distribuição normal.
Na Tabela 1 é mostrada a percentagem de escolas com cada tipo de conceito quando é usado o critério antigo e
quando é usado o novo critério e com a suposição de que a distribuição das médias das escolas do curso avaliado
apresenta uma distribuição exatamente igual a distribuição normal.
Tabela 1. Distribuição de conceitos.
Conceito
A
B
C
D
E
Critério antigo
12%
18%
40%
18%
12%
Critério novo
15,87%
14,98%
38,30%
14,98%
15,87%
Portanto, da “Tabela 1”, pode-se concluir que no caso em que as médias de um curso apresentem uma distribuição
exatamente igual à distribuição normal, então o número de escolas com conceito A e E devem aumentar em relação ao
critério antigo. Entretanto, deve-se analisar também o que acontece nos casos em que a distribuição que representa um
determinado curso apresenta a forma de sino (parecida à distribuição normal) mas com assimetria. Um caso mais crítico
acontece nos cursos em que a distribuição não apresenta forma de sino e, portanto, apresenta características
2.
NOVO CRITÉRIO DE AVALIAÇÃO
O novo critério de avaliação está sistematizado em [3] e reproduzimos a parcela mais importante desse
documento: o ponto de partida, no processo de avaliação, será a média geral dos cursos avaliados A partir dela, será
calculado o desvio padrão da distribuição dos desempenhos dos cursos e, com base nesses valores, atribuir os conceitos
da seguinte forma:
Conceito C aos cursos que tiverem seu desempenho no intervalo de meio desvio padrão em torno da média geral;
Conceito B aos cursos com desempenho entre meio desvio padrão (inclusive) e um desvio padrão acima da média
geral;
Conceito A aos cursos com desempenho acima de um desvio padrão (inclusive) da média geral;
Conceito D aos cursos cujo desempenho estiver no intervalo entre um e meio desvio padrão (inclusive) abaixo da
média geral;
Conceito E aos cursos com desempenho abaixo de um desvio padrão (inclusive) da média geral.
Em [3] ainda é mencionado que a nova metodologia para distribuição dos conceitos do Provão toma por base a
média geral para cada área que está sendo avaliada e a distância da média do curso para essa média geral. Finalmente,
ENC - 2
para a determinação dos conceitos leva-se em conta o chamado desvio padrão, que permite a construção de uma
escala de valores para a classificação dos cursos. Na proposta anterior aparece os termos média geral dos cursos e o
desvio padrão. A partir desses términos aparece a primeira interpretação para calcular esses parâmetros, média e
desvio padrão. Essa interpretação, também passada pelos meios de comunicação especialmente escrita entende que a
média geral de um curso é a média geral de todos os alunos que fazem o provão e o desvio padrão também deve ser
calculado considerando todos os alunos de um curso que participam do provão. Por exemplo, em 2000 fizeram o provão
4253 alunos no curso de engenharia elétrica e a média geral foi de 3,13 e o desvio padrão 1,86 na escala de 0 a 10.
Nessa interpretação, a população está representada por 4253 elementos, isto é, os alunos que participaram do provão.
Esses valores, médio e desvio padrão, para o curso de engenharia elétrica para todo o Brasil aparece no boletim de
desempenho dos alunos que participaram do provão e também é um tipo de informação não sigilosa que é repassada
para os meios de comunicação.
Entretanto em [3], ainda apresentando o novo critério de avaliação, se menciona que o objetivo é discriminar as
instituições segundo a posição relativa da média da Instituição (curso) em função da média geral. Assim, os indicadores
usados devem ser a média da Instituição e a Média e o desvio padrão da distribuição das médias das escolas. Nessa
parte da apresentação aparece evidente que deve ser calculada a média de cada escola e, usando esses valores médios,
deve ser calculada a média geral e o desvio padrão. Nesse caso aparece a segunda interpretação sobre a forma em que
devem ser calculados os indicadores (média geral e desvio padrão). Essa segunda interpretação, que consideramos como
proposta oficial do INEP é confirmada quando em [3] se apresenta um exemplo ilustrativo onde aparece um curso
hipotético com 30 escolas e os valores médios de cada escola. Com esses valores são calculados a média geral e o
desvio padrão que são os indicadores usados para encontrar os conceitos das escolas usando o novo critério. Na figura 1
é mostrada a distribuição das médias dos cursos da engenharia elétrica no provão de 2000. Na figura, pode-se observar
uma assimetria à direita e, portanto, o número de escolas com conceito A deve ser menor que no caso de uma
distribuição simétrica, como a distribuição normal, mas não necessariamente o número de cursos com conceito A deve
ser menor em relação ao critério de avaliação antigo. Na “Figura 1” também, pode-se observar um ponto de inflexão
tornando a figura diferente de um sino.
Figura 1. Distribuição das médias em engenharia elétrica – 2000
É importante observar que na segunda interpretação, a interpretação oficial, a população no caso do curso de
engenharia elétrica está constituído por 87 elementos ou escolas. Portanto, os valores médios obtidos considerando uma
população de 4253 alunos e considerando uma população de 87 escolas, cada um deles com um valor médio, não são
iguais embora possam ser muito próximos. Entretanto, o desvio padrão obtido usando os dois tipos de população
mencionados anteriormente podem ser significativamente diferentes. Assim, os dois tipos de interpretação para o novo
ENC - 3
critério de avaliação levam a resultados significativamente diferentes. Deve-se observar também que uma curva de
distribuição que representa uma população de 4253 elementos deve ser, em geral, mais próxima de uma distribuição
normal que a curva de distribuição que representa uma população de 87 elementos. Embora, no momento não existam
mais dúvidas de que a segunda interpretação representa a interpretação oficial, mostrada através de um exemplo
ilustrativo em [3], neste trabalho continuamos fazendo testes com as duas interpretações. Um dos motivos é ser muito
simples fazer testes com a primeira interpretação porque os valores médio e de desvio padrão estão disponíveis. Outro
motivo é que muitos acadêmicos consideraram a primeira interpretação como sendo a correta. Para fazer testes com a
segunda interpretação, deve-se obter ou calcular de forma aproximada o valor médio de cada escola para encontrar os
indicadores adequados (média e desvio padrão das médias das escolas).
3.
O CASO DA ENGENHARIA ELÉTRICA
O curso de engenharia elétrica participou de três processos de avaliação (1998,1999,2000) mas neste trabalho são
analisados somente o provão de 1999 e 2000 porque não existe suficiente informação do provão de 1998. Como já foi
mencionado anteriormente, embora a segunda interpretação seja a oficial, foram realizados testes com os dois tipos de
interpretação já que muitos acadêmicos realizaram os testes usando a primeira interpretação influenciados pela forma
em que foi apresentado o novo critério de avaliação pelos meios de comunicação.
3.1 Primeira interpretação
No provão de 1999 participaram 84 cursos de engenharia elétrica sendo que com o critério antigo de avaliação 10
escolas obtiveram conceito A, 15 conceito B, 34 conceito C, 15 conceito D, 9 conceito E e uma escola foi considerada
SC (sem conceito por ter um número insuficiente de alunos). Nesse ano o valor médio e o desvio padrão dos 4236
graduandos de engenharia elétrica do Brasil foi de 3,56 e 2,13 respectivamente (obtido do boletim de desempenho de
um graduando). Com esses dados, usando a primeira interpretação e a informação das médias de algumas escolas a
distribuição de conceitos teria uma variação muito significativa. Assim, somente 7 escolas ficariam com conceito A, 10
com conceito B, 40 com conceito C, 22 com conceito D e 4 escolas com conceito E. Nessa interpretação, pode-se
observar uma diminuição do número de ecolas com conceito A, B e E e um aumento do número de escolas com
conceito C e D.
No provão de 2000 participaram 87 cursos de engenharia elétrica sendo que com o critério antigo de avaliação 11
escolas obtiveram conceito A, 16 conceito B, 35 conceito C, 16 conceito D, 9 conceito E. Nesse ano o valor médio e o
desvio padrão dos 4253 graduandos de engenharia elétrica do Brasil foi de 3,13 e 1,86 respectivamente (obtido do
boletim de desempenho de um graduando). Novamente, com esses dados, usando a primeira interpretação e a
informação das médias de algumas escolas a distribuição de conceitos também teria uma variação muito significativa.
Assim, somente 8 escolas ficariam com conceito A, 9 com conceito B, 42 com conceito C, 22 com conceito D e 6
escolas com conceito E. Nessa interpretação, pode-se observar uma diminuição do número de ecolas com conceito A, B
e E e um aumento do número de escolas com conceito C e D de maneira muito parecida ao comportamento apresentado
para 1999.
3.2 Segunda interpretação
Na Segunda interpretação, a interpretação oficial do INEP, deve-se conhecer a média de cada escola e, com esses
valores, calcular o valor médio das médias das escolas, assim como o desvio padrão da população constituída por
escolas para encontrar os conceitos atribuídos usando o novo critério. Assim, um primeiro problema foi dispor das
médias das escolas que é uma informação que nem as próprias escolas conhecem. Essa informação na verdade se
encontra disponível somente no boletim de desempenho do aluno que fez o provão. O Coordenador de cada escola
conhece apenas a média normalizada de sua escola. Entretanto foram obtidas as médias verdadeiras de algumas escolas
mas em número insuficiente para determinar, de forma exata, o valor médio e desvio padrão mencionado anteriormente.
Portanto, esses valores médios e de desvio padrão foram encontrados de maneira aproximada e depois confrontados
com outras informações isoladas de nosso banco de dados.
Em [1] e [2] se encontram disponíveis algumas informações que permitem encontrar, de forma aproximada as
médias das escolas de engenharia elétrica. Assim, por exemplo, em [2] existe a informação, relativa ao ano 2000, de que
9 escolas tiveram médias no intervalo entre 0,46 e 1,73; 16 escolas tiveram médias no intervalo entre 1,73 e 2,12; 35
escolas tiveram médias no intervalo entre 2,12 e 3,33; 16 escolas tiveram médias no intervalo entre 3,33 e 4,54 e 11
escolas tiveram médias entre 4,54 e 6,32. Também usando a informação disponível em [1], páginas 451 a 455, onde
aparecem a distribuição por percentagem P25, P50 e P75 de cada escola é possível elaborar um ranking informal das
escolas com pequeno erro na classificação das escolas. Finalmente, a informação disponível, no nosso banco de dados,
das médias reais e/ou normalizadas de algumas escolas permitem confrontar e verificar as estimativas aproximadas.
Assim, na primeira tentativa de encontrar os valores médios das escolas foi usada a informação do número de escolas
em cada intervalo e essas escolas foram uniformemente distribuídas. Por exemplo, no provão 2000, 11 escolas estavam
com valores médios localizados no intervalo entre 4,54 e 6,32. As médias dessas escolas foram distribuídas
ENC - 4
uniformemente nesse intervalo e ordenadas de acordo com o ranking informal e corrigindo sempre que possível com os
valores reais das médias das escolas cujo valor médio exato era conhecido. Com os valores médios de cada escola
estimada de forma aproximada e com a informação do número de alunos que participaram do provão por cada escola,
que também está disponível em [1], é possível calcular um estimado do valor médio da população constituído pelos
4253 graduandos. Esse valor deve ficar muito próximo do valor de 3,13 que representa o valor médio exato da
população de 4253 alunos e que se encontra disponível.
Usando a estratégia anterior foi calculado o valor médio aproximado das notas para os 4253 alunos que fizeram o
provão, mas usando a distribuição das médias estimadas para cada escola e o número de alunos de cada escola que
participaram do provão. O valor encontrado para essa média foi de 3,18 para o ano 2000, um valor muito próximo de
3,13 que representa o valor exato. Assim, foram consideradas consistentes as médias estimadas para todas as escolas de
engenharia elétrica do provão de 2000. Com esses valores médios estimados para cada escola é muito simples encontrar
o valor médio estimado das médias das escolas, assim como o desvio padrão que são indicadores necessários para
encontrar os conceitos para cada escola usando o novo critério de avaliação.
Para o provão de 1999, usando a proposta mencionada anteriormente e usando as médias estimadas para cada
escola, foi encontrado um valor médio de 3,41 e um desvio padrão de 1,41 para as médias das 83 escolas de engenharia
elétrica. Usando essa informação, pode-se concluir que usando o novo critério de avaliação para corrigir os resultados
do provão de 1999 para o curso de engenharia elétrica, deve-se obter os seguintes resultados: 13 escolas devem obter
conceito A, 11 escolas devem obter conceito B, 29 escolas devem obter conceito C, 16 escolas devem obter conceito D
e 14 escolas devem obter conceito E. Portanto, pode-se verificar que o número de escolas com conceito A pode
aumentar mas o número de escolas com conceito B deve diminuir. Em conjunto, com o novo critério de avaliação, o
número de cursos com conceito A e B deve diminuir para o provão de 1999 se de fato o novo critério de avaliação for
usado para reavaliar o provão de 1999. É importante mencionar que se a distribuição das médias das escolas de
engenharia elétrica fosse equivalente à distribuição normal então o número de cursos com conceito A e B seria igual a
26. Entretanto, como a distribuição na engenharia elétrica apresenta assimetria à direita então, espera-se um número de
escolas com conceito A e B menor e esse número foi estimado em 24 escolas usando nossa estratégia, confirmando a
consistência dos resultados obtidos.
Para o provão de 2000, usando a proposta mencionada anteriormente e usando as médias estimadas para cada
escola, foi encontrado um valor médio de 2,95 e um desvio padrão de 1,30 para as médias das 87 escolas de engenharia
elétrica. De igual maneira,usando essa informação, pode-se concluir que usando o novo critério de avaliação para
corrigir os resultados do provão de 2000 para o curso de engenharia elétrica, deve-se obter os seguintes resultados: 13
escolas devem obter conceito A, 10 escolas devem obter conceito B, 33 escolas devem obter conceito C, 22 escolas
devem obter conceito D e 9 escolas devem obter conceito E. Também nesse caso, pode-se verificar que o número de
escolas com conceito A pode aumentar mas o número de escolas com conceito B deve diminuir. Em conjunto, com o
novo critério de avaliação, o número de escolas com conceito A e B deve diminuir para o provão de 2000 se o novo
critério for usado para revisar os resultados do provão de 2000.
Tabela 2. Distribuição de conceitos com o novo critério.
Conceito
A
B
C
D
E
Total
1999
CA
10
15
34
15
09
83
2000
NC
13
11
29
16
14
83
CA
11
16
35
16
09
87
NC
13
10
33
22
09
87
Na “Tabela 2”, CA significa critério de avaliação antigo e NC novo critério de avaliação. Dos resultados
mostrados na “Tabela 2”, pode-se verificar que embora a distribuição das médias das escolas de engenharia elétrica seja
assimétrica à direita, o número de cursos com conceito A deve aumentar para o provão de 1999 e 2000. Também, podese verificar que o número de escolas com conceito B deve diminuir. Em conjunto, o número de escolas com conceito A
e B deve diminuir. Também é importante observar que o número de escolas com conceito A é menor do valor que seria
obtido se a distribuição das médias das escolas de engenharia elétrica fosse exatamente a distribuição normal.
Para praticamente todos os casos o número de escolas com conceito B deve diminuir usando o novo critério de
avaliação inclusive no caso em que a distribuição das médias das escolas seja equivalente à distribuição normal. Essa
conclusão aparece evidente na “Tabela 1” em que o número de escolas com conceito B deve diminuir de 18% para
14,98% para o caso mencionado anteriormente.
ENC - 5
4.
OS OUTROS CURSOS AVALIADOS
Para praticamente todos os casos, o número de escolas com conceito A deve aumentar. Esse incremento depende
do tipo de assimetria que apresente a distribuição das médias das escolas do curso avaliado em relação à distribuição
normal e da forma da curva de distribuição. Em determinados cursos, especialmente em cursos em que o número de
escolas é pequeno, a curva de distribuição pode ser muito diferente de um sino e, nesse caso, não podem ser usadas as
propriedades da distribuição normal para analisar esse tipo de casos. Um exemplo desse tipo de distribuição atípica
acontece, por exemplo, com o curso de física no provão de 2000, ver a página 223 de [1].
Um dos principais motivos para que a curva de distribuição seja próxima da distribuição normal é o número de
elementos (escolas) avaliadas, isto é, o tamanho da população. Assim, quanto maior for o número de escolas de um
curso avaliado então maior é a probabilidade de que a curva de distribuição seja mais próxima da distribuição normal.
Este fato pode ser verificado nos cursos de administração e direito. Na Figura 2 é mostrada a curva de distribuição do
curso de administração do provão 2000 com 451 escolas avaliadas e um total de 41050 alunos, ver a página 103 de [1].
Pode-se verificar que a curva de distribuição é praticamente a normal. Portanto, não é difícil predizer que o número de
escolas com conceito A no curso de administração no provão de 2001 deve passar de 54 para um valor próximo de 72
escolas.
Figura 2. Distribuição das médias em engenharia elétrica - 2000
Outro aspecto importante é que, nos dois critérios de avaliação, o valor médio das médias das escolas não é um
parâmetro importante. Assim, por exemplo, no novo critério de avaliação pode acontecer de que um determinado curso,
com média igual a 3,0 e com uma distribuição normal, pode ter um número de escolas com conceito A maior que um
curso em que a média é igual a 5,0 (muito maior que a média do outro curso) e que apresenta uma distribuição com
assimetria à direita. Este problema pode acontecer também no mesmo curso. Por exemplo, um curso que em 2000 teve
uma média geral de 3,0 e em 2001 passa a ter uma média geral de 5,0 mas com o mesmo tipo de dispersão das médias
dos cursos em ambos os anos e, portanto, com a mesma distribuição pode ter o mesmo número de escolas com conceito
A nos dois anos. Em outras palavras, o novo critério de avaliação, não acompanha a evolução do desempenho das
escolas. Também pode acontecer o contrário com uma diminuição do desempenho de um curso mas produzir um
aumento de número de escolas com conceito A. Assim, por exemplo, em 2000 o curso de engenharia elétrica apresenta
uma distribuição com assimetria à direita mas se em 2001 desaparece essa assimetria e apresenta uma distribuição
normal então o número de escolas com conceito A deve aumentar independentemente do valor da média geral que pode
até diminuir. O critério de avaliação antigo também não leva em conta a média e a evolução do desempenho de um
curso. Portanto, os dois critérios de avaliação não levam em conta a evolução do desempenho de um curso.
ENC - 6
5.
CONCLUSÕES
No presente trabalho foi analisado de forma crítica o novo critério de avaliação no Exame Nacional de Cursos,
mais conhecido como o provão. Pode-se mencionar que, na maioria dos casos, na avaliação de um curso, o número de
escolas com conceito A deve aumentar em relação ao critério de avaliação usado anteriormente. Outra conclusão
evidente é que, na maioria dos casos, o número de escolas com conceito B deve diminuir e, em muitos casos, o número
de escolas com conceito A e B deve diminuir.
Outra observação importante é que aqueles cursos em que o número de escolas é muito elevado, como acontece
em administração e direito, a curva de distribuição é muito próxima da distribuição normal. Portanto, nesses cursos, o
número de escolas com conceito A no provão de 2001 deve ficar muito próximo de 16% das escolas.
No caso da engenharia elétrica o número de escolas com conceito A deve aumentar ligeiramente e o número de
escolas com conceito B deve diminuir significativamente. Também, o número de escolas com conceito A e B deve
diminuir. Foi verificado que a curva de distribuição das médias das escolas de engenharia elétrica é assimétrica à direita
com uma forma significativamente diferente da curva de distribuição normal.
Agradecimentos
O presente trabalho contou com o apoio da FUNDUNESP e da FAPESP.
6.
[1]
[2]
[3]
[4]
[5]
[6]
REFERÊNCIAS
INEP. “PROVÃO, Exame Nacional de Cursos, Relatório Síntese 2000, Editado por Maria Helena Guimarães
de Castro, Dezembro de 2000.
INEP “PROVÃO, Exame Nacional de Cursos, Relatório Síntese 1999, Editado por Maria Helena Guimarães
de Castro, Dezembro de 1999.
Maia T., “Os novos critérios de avaliação do Exame Nacional de Cursos – O Provão ,” publicado em
http://www.inep.gov.br/noticias/news_427.htm, Março de 2001.
Frank E. Electrical Measurement Analysis, Robert E. Krieger Publishing Company, New York, 1977.
Mirshawka V. Probabilidade e Estatística para Engenharia, Livraria Nobel S.A.,São Paulo, 1981.
Paradine C.G., Métodos Estatísticos para Tecnologistas, Editora da USP, 1974.
ENC - 7