Avaliação: os pecados do MEC
Os problemas do conceito ENADE
Jorge Gregory
No último dia 17 de setembro, na abertura do Seminário de autoavaliação
promovido pelo INEP e CONAES o ministro Aloizio Mercadante, referindo-se aos
indicadores de avaliação, colocou como preocupação o fato de que a maioria das
instituições estarem acomodadas no conceito 3, dando a entender que o objetivo do
ministério seria forçar as instituições a subirem para conceitos 4 e 5. Mais, deu a
entender ainda que para tanto o MEC continuará adotando a política de medidas
cautelares de redução de vagas e até mesmo proibindo processos seletivos para cursos e
instituições cujo o conceito forem 1 e 2.
Na sequência, com o ministro já tendo se retirado do evento, fizeram uso da
palavra os professores Dilvo Ristoff e Sergio Franco, já como membros de uma mesa de
debates. O professor Sergio Franco, membro da Comissão Nacional de Avaliação da
Educação Superior – CONAES, e presidente deste colegiado por dois mandatos
consecutivos, fez a mesma afirmação de acomodação das instituições ao conceito 3.
Poderíamos dizer, portanto, que se apresentou uma fina sintonia entre ministro e
conselheiro.
Poderíamos, caso ministro e conselheiro estivessem se referindo a mesma coisa.
Mas não estavam, o que talvez tenha passado desapercebido para a maioria dos mais de
200 ouvintes. Esclarecendo o imbróglio, a Lei 10.861, de 14 de abril de 2004,
estabelece que o SINAES promoverá a avaliação de instituições, de cursos e de
desempenho dos estudantes. A avaliação de instituições e de cursos tem sido efetuada
através de verificação in loco por comissões de especialistas no decorrer dos processos
de credenciamento e recredenciamento de instituições e de autorização, reconhecimento
e renovação de reconhecimento de cursos, os quais se valem de instrumentos de
avaliação divididos em dimensões, e cada dimensão em indicadores. Para cada um
destes indicadores, tomando por base um referencial mínimo de qualidade, a comissão
atribui conceito de 1 a 5, correspondendo o conceito 3 ao atendimento ao referencial, 1
e 2 não atendendo e 4 e 5 mais do que atendendo. Algo como 1 correspondendo a
péssimo, 2 ruim, 3 regular ou aceitável, 4 bom e 5 muito bom ou excelente. A média
dos conceitos dos indicadores resultará no Conceito Institucional (CI), no caso das
instituições, e no caso dos cursos no Conceito de Curso (CC). Quando o professor
Sérgio se referiu a acomodação ao conceito 3, claramente estava se referindo a esta
modalidade de avaliação, ou seja, de instituições e de cursos, através de avaliação
externa.
Mais, como conceitua o professor Dilvo Ristoff, CI e CC são resultantes de uma
avaliação de critérios onde o avaliador diagnostica cada um dos elementos constitutivos
de um curso ou de uma instituição. Na analogia feita por Ristoff, comparável a um
procedimento médico, onde para avaliar a saúde de um individuo examinássemos o
coração, o pulmão, o fígado, os rins, etc e etc, e ao final se estabelecesse um diagnóstico
global do indivíduo.
Já o ministro, ao falar em acomodação no conceito 3, estava se referindo não ao
CI, e sim ao IGC (Indice Geral de Cursos), e não ao CC, e sim ao Conceito Preliminar
de Curso (CPC).
CI, IGC, CC E CPC
Talvez alguns leitores estejam concluindo, apressadamente, a esta altura da
análise, que para ter ocorrido esta confusão entre dois dos mais altos dirigentes
educacionais do país, provavelmente CI seja equivalente a IGC e CPC equivalente a
CC. Ou seja, duas modalidades de avaliação semelhantes, cujos resultados
identificariam coisas quase que semelhantes. INFELIZMENTE NÃO! São coisas
totalmente distintas, que medem coisas diferentes e apresentam resultados totalmente
diversos.
Esclarecido acima o que é CI e CC, é fundamental esmiuçarmos agora o que é
IGC e CPC, para demonstrarmos os equívocos que a SERES vem cometendo
utilizando-se deste indicadores (IGC e CPC) como principal referencia para os
procedimentos regulatórios, desencadeando inclusive medidas cautelares de redução de
vagas e suspensão de processos seletivos.
Em primeiro lugar, CI resulta de uma avaliação e CC de outra. CI não é uma
média ou composições de CCs. No caso do IGC, ele é apenas uma média aritmética dos
CPCs e, como tal, não merece grandes considerações pois média aritmética qualquer
cidadão comum conhece. Cabe portanto esclarecermos o que é o tal CPC que gera o tal
IGC.
CPC é um indicador criado pelo INEP compostos por 5 insumos (ENADE, IDD,
infraestrutura, projeto pedagógico e corpo docente). Cada um destes insumos terá um
peso diferente na composição do CPC, sendo as proporções basicamente as seguintes:
IDD 35%, ENADE 20%, Corpo Docente 30% , Infraestrutura 7,5% e Projeto
Pedagógico 7,5%
A coleta de dados de cada um destes insumos se dá da seguinte forma:
ENADE: Aplicação de duas provas de conhecimento (Formação Geral e
Conhecimento Específico) aos estudantes concluintes do curso. O resultado da prova de
Formação Geral corresponderá a 25% do ENADE e o resultado da prova de
Conhecimento Específico 75%.
IDD: Procura medir o valor agregado ao estudante formando através da
confrontação entre o resultado do ENEM dos ingressantes e o ENADE dos concluintes.
CORPO DOCENTE: Os dados são coletados do Censo da Educação superior,
cujas informações são prestadas pelas instituições.
INFRAESTRUTURA: É o grau de satisfação do estudante formando com
relação a infraestrutura do curso, sendo que os dados são coletados do questionário
respondido pelo estudante formando dias antes de prestar o ENADE
PROJETO PEDAGÓGICO: O mesmo procedimento da infraestrutura.
Portanto, pode-se perceber de imediato que o CPC é 55% avaliação do estudante
formando (ENADE e IDD), e 15% a avaliação que o estudante formando faz do curso.
Ou seja, 70% do CPC está centrado no estudante formando, o que por si só já é
elemento suficiente para afirmarmos que aqui temos uma séria distorção. Mas esta é
apenas a menor.
APLICAÇÃO DA DISTRIBUIÇÃO DE GAUSS
O mais perverso e inconcebível é que o indicador de cada um destes insumos
não é um conceito a que o indivíduo comum está familiarizado, como por exemplo é o
utilizado na avaliação institucional e na avaliação de curso onde 1 representa péssimo, 2
ruim, 3 regular, 4 bom, 5 muito bom. Para chegar ao conceito CPC, tanto a prova de
Conhecimentos Específicos como a prova de Formação Geral é aplicada a Distribuição
de Gauss, como também a todos os demais insumos que comporão o CPC.
Para os poucos familiarizados com a estatística, numa explicação bem simples, a
Distribuição de Gauss é um método utilizado na estatística em amostras suficientemente
grandes para análise de uma série de fenômenos probabilísticos, onde a partir do calculo
da média dos valores atribuídos aos componentes da amostra e do cálculo de um
elemento chamado Desvio Padrão, pode-se estabelecer o distanciamento da média de
cada elemento da amostra. Portanto, a distribuição se dá em um intervalo entre o menor
valor e o maior valor da amostra, gerando uma distribuição que segue o gráfico abaixo:
FIGURA 1
No gráfico, o sigma representa a média da amostra, -1 sigma o distanciamento
de menos um desvio padrão da média e +1 sigma distanciamento de mais um desvio
padrão, -2 sigma o distanciamento de menos dois desvio padrão da média e +2 sigma
distanciamento de mais dois desvio padrão e finalmente -3 sigma o distanciamento de
menos três desvio padrão da média e +3 sigma distanciamento de mais três desvio
padrão. Desta forma, o intervalo de valores dos componentes da amostras é
transformado em um intervalo de -3 a +3 e, consequentemente, os valores de todos os
elementos da amostra passam a ser expressos em valores entre -3 e +3, como por
exemplo -2,25, 1,87, -0,32, etc. Como resultante desta distribuição, seja ela qual for,
teremos sempre 68% do conjunto no intervalo entre -1 e +1, 95% no intervalo entre -2 e
+2 e 99,7% no intervalo entre -3 e +3.
Em outras palavras, como em cada um dos insumos do CPC é aplicada a
Distribuição de Gauss, uma vez calculada a média e o desvio padrão do insumo,
teremos todas as instituições distribuídas em um intervalo entre -3 e 3.
Aqui deve-se fazer um alerta que em estatística, para que a Curva de Gauss
obedeça precisamente a distribuição demonstrada acima, é utilizada a técnica de excluir
os “outliers”, que são valores nas pontas inferiores ou superiores que muitas vezes
fogem do padrão verificado e que podem provocar distorções na média puxando-a para
baixo e para cima. Não sendo excluído estes valores, obviamente a distribuição resultará
e pequenas variações nos percentuais acima descritos. Como no cálculo dos insumos, tal
técnica de exclusão dos outliers não é utilizada, pode-se dizer que os intervalos entre -1
a +1 representará aproximadamente 68%, +2 a -2 representará aproximadamente 95% e
-3 e +3 99,7%.
Para cumprir a Lei do Sinaes, que estabelece que os conceitos serão atribuídos
nos valores de 1 a 5, foi necessário que o INEP, após a aplicação da Distribuição de
Gauss, onde o intervalo está distribuído na escala -3 a 3, convertesse o intervalo para
uma escala de 1 a 5, onde os valores decorrentes da conversão, atribuídos a cada curso
passam a se chamar de Notas Padronizadas e, em seguida, convertidos em conceito
segundo tabela abaixo:
TABELA 1
FAIXA
0 A 0,99
1 A 1,99
2 A 2,99
3 A 3,99
4A5
CONCEITO
1
2
3
4
5
CALCULO DO CONCEITO ENADE
Obviamente que tendo alterado a escala, os percentuais para cada faixa de
conceito da escala 1 a 5 serão diferentes da escala original de -3 a 3. Para efeitos de
demonstração, aplicamos o método aos resultados do curso de Direito do ENADE 2009.
Para a Distribuição Normal (escala -3 a 3), obtivemos o seguinte resultado:
TABELA 2 (Quantitativo de cursos em cada faixa na escala -3 a 3)
FAIXAS
-3 a -2
-2 a -1
-1 a 1
1a2
2a3
TOTAL
Cursos
FG
9
113
518
111
3
754
Cursos
CE
10
75
560
106
3
754
FG = Prova de Formação Geral
CE = Prova de Conhecimentos Específicos
TABELA 3 (Percentual de cursos em cada faixa na escala -3 a 3)
Percentagem Percentagem
FG
CE
FAIXAS
-3 a -2
-2 a -1
-1 a 1
1a2
2a3
TOTAL
1,193634%
14,98674%
68,70027%
14,72149%
0,397878%
100
1,32626%
9,94695%
74,27056%
14,05836%
0,397878%
100
FG = Prova de Formação Geral
CE = Prova de Conhecimentos Específicos
Ou seja, temos aqui o padrão de Gauss com pequenas variações em decorrência da não
utilização da técnica de exclusão dos outliers: intervalo entre -3 e 3, onde -1 a +1
representará aproximadamente 68%, +2 a -2 representará aproximadamente 95%. No
caso em análise, na prova de Conteúdo Específico, a não exclusão de outliers na parte
superior da amostragem forçou a elevação da concentração de cursos no intervalo entre
-1 a 1, distorcendo a curva normal.
Aplicando a conversão para a escala 1 a 5, obteremos o seguinte resultado:
TABELA 4 (Quantitativo de cursos em cada faixa na escala 1 a 5)
CONCEITO
1
2
3
4
5
TOTAL
Cursos
FG
Cursos
CE
72
203
313
136
30
754
Cursos
ENADE
(Média
Ponderada)
29
258
328
100
39
754
27
251
341
108
27
754
FG = Prova de Formação Geral
CE = Prova de Conhecimentos Específicos
TABELA 5 (Percentual de cursos em cada faixa na escala 1 A 5)
CONCEITO Percentagem Percentagem
FG
1
2
3
4
5
TOTAL
9,549072
26,92308
41,51194
18,03714
3,97878
100
CE
3,846154
34,21751
43,50133
13,2626
5,172414
100
FG = Prova de Formação Geral
CE = Prova de Conhecimentos Específicos
ENADE
(Percentagem)
3,580902
33,28912
45,22546
14,32361
3,580902
100
Convertida a escala, pode-se perceber que teremos sempre um percentual de
cursos, independente da área, independente da média geral da área e independente do
tamanho do intervalo de médias da distribuição, próximo de 40% concentrados no
conceito 3. Tal percentual pode sofrer pequenas variações em decorrência da não
exclusão de possíveis outliers quando da produção da Distribuição de Gauss original e,
tão somente por este fator.
SIGNIFICADO DA VARIAÇÃO DE CONCENTRAÇÃO NO
CONCEITO ENADE
Sendo a afirmação acima verdadeira, podemos então afirmar que o ENADE
sempre terá um percentual de aproximadamente 40% dos cursos com conceito 3?
Não, não é possível fazer tal afirmação, pois além do INEP não se utilizar do
método de exclusão dos outliers, o conceito ENADE é resultante da média ponderada da
Nota Padronizada da Prova de Formação Geral (25%) e da Prova de Conhecimentos
Específicos (75%). Então o resultado do Conceito ENADE depende fundamentalmente
da combinação do desempenho dos estudantes numa prova e em outra. No caso do
ENADE de Direito de 2009 o percentual é muito próximo uma vez que as Notas
Padronizadas na Formação Geral são muito próximas das Notas Padronizadas nos
Conhecimentos Específicos, gerando o mesmo conceito em ambas as provas. Em outras
palavras, quase a totalidade dos cursos que obtiveram conceito 1, através da
Distribuição de Gauss, na Prova de Formação geral, também obtiveram conceito 1 em
Conhecimentos Específicos, o mesmo valendo para o conceito 2, 3, 4 e 5. Aparecem
várias situações onde o curso obteve Nota Padronizada diferente e as vezes até de forma
intrigante, como por exemplo Nota Padronizada gerando conceito 4 na Formação Geral
e Nota Padronizada no Conhecimentos Específicos gerando conceito 1, e também viceversa. Várias situações como esta se apresentam na amostra do curso de Direito no
ENADE de 2009, mas não suficientemente significativo para alterar de forma
substancial o percentual. Pode, no entanto, ocorrer sim grandes discrepâncias entre o
desempenho dos estudantes numa prova e noutra, o que pode resultar, aplicada a média
ponderada, em concentrações no conceito ENADE 3 de 70% dos cursos ou de 20%,
dependendo de como foi este comportamento.
Muitas vezes a linha é extremante tênue entre um conceito e outro. Suponhamos
uma situação onde um curso obteve Nota Padronizada igual a 1,9800 gerando conceito
2 na Formação Específica e 2,010, gerando conceito 3, na Conhecimentos Específicos.
A média ponderada resultará em uma Nota Padronizada para o ENADE igual a 2,002,
que corresponderá ao conceito ENADE 3. Se a situação for inversa (Formação
Específica igual a 2,010 e Conhecimentos Específicos igual a 1,9800), isto resultará em
uma Nota Padronizada ENADE igual a 1,99, correspondendo a conceito ENADE 2.
Várias ocorrências como esta numa mesma área pode alterar significativamente os
percentuais.
MELHORIA DA QUALIDADE E MELHORIA DO
DESEMPENHO
Na coletiva concedida no dia 8 de outubro, o ministro apresentou os resultados
globais do exame 2012, afirmando que houve um salto de 48,5% de cursos com
conceito 3 no ENADE de 2009 para um percentual de 68,3% no ENADE de 2012. Ou
seja, um crescimento de 19,8% de cursos com conceito 3, fenômeno que representaria
uma melhora significativa no sistema de educação superior.
Antes de nos precipitarmos a fazer qualquer consideração a respeito de tal
afirmação, analisemos a tabela comparativa abaixo:
TABELA 6 (Comparativo das médias 2009/2012)
AREA
FG 2009
ADMINISTRAÇÃO
FG 2012 CE 2009
44,3043 43,5333 37,2694
ARQUIVOLOGIA
47,1928
46,8662
BIBLIOTECONOMIA
41,6632
50,014
CIÊNCIAS CONTÁBEIS
39,8248
CIÊNCIAS ECONÔMICAS
48,3519
40,0553 32,3183
44,4032 33,8667
CINEMA
42,2205
49,4632
DESIGN
47,5298
DIREITO
49,0201
42,8305 49,6224
46,49 52,744
EDITORAÇÃO
50,2639
48,9372
ESTATÍSTICA
43,0457
30,7779
JORNALISMO
44,5358
42,8323 50,4734
MÚSICA
47,5241
48,6511
PSICOLOGIA
48,7617
PUBLICIDADE E PROPAGANDA
41,6551
42,9376 47,344
41,6274 48,9452
RADIALISMO
40,573
43,2821
RELAÇÕES INTERNACIONAIS
58,5899
48,7614 50,1874
RELAÇÕES PÚBLICAS
42,4214
49,1946
SECRETARIADO EXECUTIVO
40,0222
42,1943 43,5214
TEATRO
48,4931
51,0166
TECNOLOGIA EM DESIGN DE MODA
43,6169
52,1325
TECNOLOGIA EM GASTRONOMIA
41,3339
44,6345
TECNOLOGIA EM GESTÃO COMERCIAL
41,047
TECNOLOGIA EM GESTÃO DE RECURSOS
HUMANOS
39,6695
TECNOLOGIA EM GESTÃO DE TURISMO
42,0227
TECNOLOGIA EM GESTÃO FINANCEIRA
41,4119
TECNOLOGIA EM LOGÍSTICA
TECNOLOGIA EM MARKETING
42,1723
TECNOLOGIA EM PROCESSOS GERENCIAIS
43,2423
TURISMO
44,3397
CE 2012
32,5967
33,6767
26,3662
47,2669
39,4098
46,899
38,3556
37,7087
42,0417
47,0333
43,5596
39,3477 47,8951
39,7354
59,1537
40,9139
41,6769
41,4652
42,914
44,15
36,3678
55,7286
40,0061
57,8399
31,0685
46,922
43,9408
41,7951
40,9042
Tomando como verdade que desempenho de estudante representa a qualidade
dos cursos e instituições, o que temos que analisar para saber se houve melhora, piora
ou estagnação do sistema, é a média do desempenho destes estudantes e não o conceito
resultante de uma Distribuição de Gauss que, por sua vez, é resultante desta média.
Pois bem, isto posto, a TABELA 6 apresenta o comparativo das médias gerais
das diferentes áreas para as quais foram aplicadas ENADE em 2009 e 2012.
As áreas de Arquivologia, Biblioteconomia, Cinema, Editoração, Estatística,
Música, Radialismo, Relações Públicas, Teatro, Tecnologia em Design de Moda,
Tecnologia em Gastronomia e Tecnologia em Gestão de Turismo, que participaram do
ENADE 2009, não apresentam resultados na planilha do ENADE 2012. As áreas de
Tecnologia em Gestão Comercial e Tecnologia em Logística participaram em 2012 mas
não participaram em 2009
Já médias das demais áreas, conforme se pode verificar na
apresentam o comportamento descrito abaixo:
TABELA 6,
Cursos cuja média de 2012 despencou em relação a 2009:
1)
2)
3)
4)
5)
6)
DIREITO
PSICOLOGIA
PUBLICIDADE E PROPAGANDA
RELAÇÕES INTERNACIONAIS
TECNOLOGIA EM MARKETING
TURISMO
Cursos cuja média de 2012 cairam em relação a 2009:
1)
2)
3)
4)
5)
6)
ADMINISTRAÇÃO
CIÊNCIAS ECONÔMICAS
DESIGN
JORNALISMO
TECNOLOGIA EM GESTÃO DE RECURSOS HUMANOS
TECNOLOGIA EM GESTÃO FINANCEIRA
Cursos cuja média de 2012 se manteve estagnada em relação a 2009:
1) CIÊNCIAS CONTÁBEIS
2) TECNOLOGIA EM PROCESSOS GERENCIAIS
Cursos cuja média de 2012 apresenta evolução em relação a 2009:
1) SECRETARIADO EXECUTIVO
A dura constatação é que das 15 áreas que participaram tanto do ENADE 2009 e
2012, o desempenho de seis em 2012 foi uma verdadeira queda livre em relação a 2009,
outras seis tiveram queda significativa, duas mantiveram-se estagnadas e apenas uma, a
de Secretariado Executivo, com apenas 70 cursos, apresentou evolução.
Vejam aqui o que é o absurdo da aplicação da Distribuição de Gauss para
atribuir conceito de avaliação ao ENADE. Para a afirmação do ministro estar correta,
portanto, a evolução de 19,8% de cursos com conceito 3 seria resultado único e
exclusivo da evolução do desempenho dos estudantes de Secretariado Executivo. Aliás,
não só os 19,8%, mas também compensar a queda das outras áreas.
Porém, foram avaliados 7.228 cursos. Se houve um crescimento de 19,8%, este
percentual corresponde a 1409 cursos. Se a área de Secretariado Executivo foi a única
que evoluiu e tem apenas 70 cursos, simplesmente a matemática não fecha.
A questão concreta e objetiva é que Distribuição de Gauss não serve para
estabelecer conceito. Se a utilização de Gauss leva dirigentes do MEC a este tipo de
equivoco (e ponha equivoco nisto), imagine o cidadão comum que não faz a menor
ideia de quem foi Gauss.
O fato de ter ocorrido um crescimento percentual do número de cursos com
conceito 3 é plenamente possível, conforme já demonstrado anteriormente. As variações
ocorrem derivadas de dois fenômenos: 1) não utilização do método de exclusão do
outliers e 2) utilização de média ponderada sobre duas distribuições de Gauss. Assim, se
ocorreu crescimento de concentração de cursos no conceito 3, tal crescimento não
representa que houve evolução no sistema. Se tivesse ocorrido uma queda, também não
representaria necessariamente um retrocesso. É apenas uma questão do comportamento
da média ponderada num caso e noutro e da ocorrência de outliers. Além de tudo, ainda
que seja uma média ponderada, é uma média de duas Distribuição de Gauss e, portanto,
segue basicamente o mesmo padrão. Não se compara duas Distribuição de Gauss
através de uma média, pois isto seria transformar em idênticas coisas que são totalmente
distintas. Isto é básico em estatística.
Se o objetivo é fazer uma comparação de desempenho entre uma versão do
ENADE e outra para ver se ocorreu avanço ou retrocesso, tal comparação só é possível
através da média. E tal comparação mostra uma realidade totalmente distinta da
apresentada pelo ministro: o desempenho dos estudantes no ENADE 2012 foi
brutalmente inferior ao de 2009.
Não se faz média de duas distribuições de Gauss, uma vez que os valores dos
elementos já estão padronizados, e muito menos se soma os intervalos, no caso expresso
em conceitos, de diferentes curvas de Gauss. O que o ministro fez (ou o INEP), para
chegar a tão absurda conclusão, foi o de somar os conceitos 1 de todas as áreas, os
conceitos 2, 3, 4 e 5, e estabelecer os percentuais comparativos. Isto é simplesmente um
despropósito do ponto de vista estatístico.
A INDUÇÃO AO ERRO NA INFORMAÇÃO PÚBLICA
Suponhamos, para tornar o meu raciocínio mais didático, que eu seja um
estatístico e queira me meter a futebólogo. Suponhamos que eu pretenda estabelecer um
padrão de avaliação da qualidade dos jogadores profissionais de futebol. Suponhamos
que, para tanto, eu elenque 100 habilidades e aplique testes a todos os jogadores de
futebol para verificar quantas destas habilidades cada um domina. Suponhamos que
como resultado, dentre um grande número de clubes pesquisados, no Luverdense o
jogador Emerson apresente a menor qualidade segundo este meu critério, demostrando
dominar apenas 5 das 100 habilidades, e o Rubinho, o de melhor qualidade, mostrou
dominar 25 habilidades. Suponhamos que os mesmos testes sejam aplicados ao
Barcelona e o jogador com menor desempenho tenha sido o Pique, mostrando dominar
65 habilidades. Já o de melhor desempenho tenha sido o Messi, mostrando dominar 99
das 100 habilidades. Suponhamos que uma vez tabulados estes dados eu decida aplicar
Gauss a amostragem de cada clube e converter a Distribuição de Gauss numa escala de
1 a 5 como se faz no ENADE e CPC.
Aplicadas todas estas suposições, chegaríamos ao resultado de que a
Distribuição de Gauss no Luverdense seria aplicada no intervalo amostral de 5 a 25, e
no Barcelona se daria no intervalo de 65 a 98. Aplicada a Distribuição de Gauss aos
dois casos e convertido o resultado a escala de conceito de 1 a 5, eu teria como resultado
que no Luverdense o Emerson é conceito 1 e o Rubinho é conceito 5. Já no Barcelona, o
Piquet seria conceito 1 e o Messi conceito 5 (e quem sabe o Neymar conceito 4). Isto
posto, eu divulgo os resultados da minha pesquisa para que o público tome
conhecimento da qualidade dos jogadores.
Para os familiarizados com estatística, desde que informados que o método
aplicado foi a Distribuição de Gauss e tendo acesso a média e ao Desvio Padrão de cada
clube, entenderiam perfeitamente o padrão que eu estaria estabelecendo. Para 99,9% dos
mortais que mal sabem o que é uma média, não fazem a mínima ideia o que é Desvio
Padrão e muito menos uma Distribuição de Gauss, a mensagem que estaria transmitindo
é que Pique é um perna de pau ao tempo que Rubinho é um craque, que Rubinho é tão
bom quanto o Messi e até mesmo melhor que o Neymar. Lamento afirmar isto, mas é
exatamente o que se está fazendo na educação superior.
Pior ainda, depois eu faço o somatório de todos os conceitos 1 de todos os clubes
e digo que o mundo tem tantos pernas de pau jogando (incluindo o Emerson e o Pique).
Somo todos os conceitos 3 e digo que temos tantos jogadores mediando jogando no
mundo. Somo todos os conceitos 5 e digo que temos tantos craques maravilhosos no
mundo (incluindo o Messi e Rubinho e excluindo o Neymar que ele não é conceito 5 e,
portanto, pela lógica do INEP não seria um craque de ponta como o Rubinho).
Para exemplificar tal analogia, vejamos alguns casos coletados dos resultados do
ENADE 2012 da área de Direito, representados na TABELA 7 que apresenta 8 cursos
com o desempenho, em termos de conceito, para as provas de Formação Geral (FG),
Componentes Específicos (CE), e o resultado final do ENADE.
TABELA 7 (Combinações FG e CE no ENADE 2012)
Nome da IES
FACULDADE DE CIÊNCIAS CONTÁBEIS DE NOVA ANDRADINA –
FACINAN
INSTITUTO DE ENSINO SUPERIOR E FORMAÇÃO AVANÇADA DE
VITÓRIA
FACULDADE DE CIÊNCIAS JURÍDICAS E SOCIAIS APLICADAS DE
PRIMAVERA DO LESTE
FACULDADE SALESIANA DE SANTA TERESA
FACULDADE DE CIÊNCIAS JURÍDICAS PROFESSOR ALBERTO
DEODATO
LIBERTAS - FACULDADES INTEGRADAS
FACULDADE POLITÉCNICA DE UBERLÂNDIA
FACULDADE DA CIDADE DE MACEIÓ
Conceito Conceito Conceito
FG
CE
Enade
2
4
3
4
2
3
4
4
2
2
3
3
4
4
4
4
2
2
2
2
3
3
3
3
Rememorando, os conceitos FG e CE são estabelecidos a partir da Nota
Padronizada obtida através da aplicação da Distribuição de Gauss a cada uma das
provas. Já o conceito ENADE é obtido através da aplicação da média ponderada das
Notas Padronizadas de FG e CE.
Para darmos continuidade, coloco também o pressuposto de que o desempenho
dos estudantes na prova de Formação Geral espelha muito mais o acumulo cultural
decorrente das mais variadas experiências de vida, do que propriamente conhecimentos
agregados do aprendizado no curso superior. Na minha compreensão, o desempenho
dos estudantes na prova de Formação Geral é o melhor instrumento para avaliarmos o
perfil do estudante ingressante de um curso ou de uma instituição de ensino superior.
Já a prova de Conhecimentos Específicos nos dará uma amostra do que de fato a
instituição e o curso agregaram de conhecimentos aos estudantes. Ou seja, é o que
melhor reflete o acumulo de conhecimentos adquiridos pelo estudante, decorrentes do
ensino oferecido pela instituição.
Lembremos ainda que a Distribuição de Gauss e, consequentemente os conceitos
de 1 a 5 decorrentes desta distribuição, nos permite tão somente a comparação da
posição de um determinado curso em relação aos demais de sua área a partir do
distanciamento da média da área.
Isto posto, analisando a TABELA 7, podemos dizer que o curso de Direito da
Faculdade de Nova Andradina possui um corpo discente que apresenta um acumulo
cultural abaixo da média dos demais cursos de Direito e muito inferior aos outros 7
analisados na referida tabela. No entanto, mesmo com um indicador de que o acumulo
cultural é baixo, demonstra que conseguiu agregar ao estudante, do ponto de vista dos
conteúdos específicos, uma formação acima da média geral dos cursos de Direito das
demais instituições e muito acima das outras 7 analisada na TABELA 7.
Já os outros 7 cursos demonstram possuírem alunos com um acumulo cultural
acima da média e muito acima dos alunos da Faculdade de Nova Andradina, mas no
entanto, comparado aos demais cursos de Direito, agregaram ao estudante menos
conteúdos específicos e, comparados a Faculdade de Andradina, muito menos.
Assim, nos parece cristalino que a qualidade do curso da Faculdade de Nova
Andradina é diametralmente oposta a qualidade dos cursos da outras 7 instituições
analisadas. Ou seja, analisando as Distribuições de Gauss de FG e CE separadamente, e
contrapondo-as ao invés de estabelecer uma media ponderada, nos traz algumas
conclusões absolutamente seguras e nos mostra que o curso da Faculdade de Nova
Andradina é absolutamente diferente dos outros 7. E devemos levar em conta de que o
princípio da educação superior brasileira é de formar o indivíduo para a vida e para a
profissão e, uma vez que o ensino é organizado, a partir do ingresso, por cursos, ele
forma fundamentalmente para a profissão (conhecimentos específicos), sendo a
formação para a vida (Formação Geral) um acumulo que já vem de uma série de
elementos externos a formação de ensino superior.
Mas, vejamos agora o que acontece quando aplicamos a média ponderada sobre
as duas Distribuições de Gauss para gerar o conceito ENADE, que é divulgado para a
sociedade como o referencial de qualidade. Aplicada a média ponderada, todos os 8
cursos ficaram com conceito 3. Ou seja, o MEC está dizendo para a sociedade que o
curso da Faculdade de Nova Andradina é igual aos outros 7 cursos. Transformou-se
coisas totalmente diferentes em coisas absolutamente iguais.
Provavelmente os estatísticos do INEP contraporão à minha argumentação de
que estes exemplos são a exceção, pois a ampla maioria dos cursos apresentam um
conceito FG coincidente com o conceito CE. Ou seja FG 1 para CE 1, FG 2 para CE 2,
FG 3 para CE 3, FG 4 para CE 4 e FG 5 para CE 5. Que os exemplos que eu coloco
fogem a regra e são minoria e, consequentemente, não compromete a concepção geral
do conceito ENADE.
Convenhamos, este é o argumento do absurdo. Se eu tenho um conjunto de
indivíduos com acumulo cultural X (Formação Geral) e apresento um sistema de ensino
superior satisfatório, o esperado é de que o resultado seja, do ponto de vista do
Conhecimento Específico, no mínimo o correspondente ao de Formação Geral, ou seja
X. Então, para que nos serve uma fórmula de média ponderada para nos mostrar o
óbvio? O objetivo de organizarmos um sistema de conceitos de qualidade do ensino
superior não seria exatamente o de nos mostrar aquilo que as aparências não nos
mostra?
Vamos mais longe: um curso que apresenta um corpo discente de nível 5 na
Formação Geral e resultado 3 em Conteúdos Específicos (e existem situações com esta),
a lógica seria que o MEC fosse verificar a real qualidade deste curso e, muito
provavelmente, determinasse o encerramento de suas atividades. No entanto, neste
sistema de média para estabelecer o conceito ENADE, ele será apresentado como um
curso ótimo, de conceito 4. Já um curso que apresenta um perfil de aluno com conceito
1 na Formação Geral e 3 em Conteúdos Específicos e que, portanto, deveria ser
colocado como exemplo de inclusão social, será penalizado pelas medidas cautelares da
SERES, pois na média ficará com conceito 2.
Se é tão necessário, para cumprimento da Lei do Sinaes, estabelecer um conceito
de 1 a 5 para a avaliação dos estudantes (ENADE), preservando a estrutura de prova de
Formação Geral, comum a todas as áreas, e de Conhecimentos Gerais, específica de
cada área, seria muito mais conveniente utilizarmos a fórmula de NPENADE=NPCENPFG (onde NP é a Nota Padronizada), o que resultaria em nova distribuição na escala
de -4 a 4 e, na sequencia, convertêssemos esta escala para o padrão 1 a 5 de forma que
os valores igual a 0 equivaleriam a 3 (satisfatório), os valores negativos (insatisfatórios)
a conceitos 1 e 2, e os valores positivos a 4 e 5, representando melhores desempenhos.
Não que tal fórmula também não apresentasse distorções, como por exemplo transforma
um curso FG 5 e CE 3 equivalente a outro FG 3 e CE 1, mas a leitura dos conceitos
estariam, pelo menos, mais próximas da realidade.
Penso, porém, que o ideal mesmo seria abandonar a distribuição de Gauss e
adotar uma atribuição de conceitos por faixas de médias conforme tabela abaixo:
TABELA 8 (Proposição de conceitos por faixa de médias)
FAIXA DE MÉDIA
0 a 19,99
20 a 39,99
40 a 59,99
60 a 79,99
80 a 100
CONCEITO
1
2
3
4
5
Para efeitos demonstrativos das diferenças que os dois métodos apresentariam,
para o curso de Direito, no ENADE 2012, teríamos o seguinte resultado pelo método
atual:
TABELA 9 (ENADE 2012, conceitos segundo metodologia INEP)
CONCEITO Cursos
FG
1
2
3
4
5
Cursos
CE
36
260
402
184
30
912
TOTAL
Cursos
ENADE
(Média
Ponderada)
46
305
385
137
39
912
28
276
418
153
37
912
TABELA 10 (ENADE 2012, percentuais segundo metodologia INEP)
CONCEITO Percentagem Percentagem
FG
1
2
3
4
5
TOTAL
CE
3,95
28,51
44,08
20,18
3,29
100
ENADE
(Percentagem)
5,04
33,44
42,21
15,02
4,28
100
3,07
30,26
45,83
16,78
4,06
100
Aplicando conceitos por faixas de médias aos mesmos cursos, teríamos o seguinte
resultado:
TABELA 11 (ENADE 2012, conceitos por faixas de média)
CONCEITO Cursos Cursos
FG
1
2
3
4
5
TOTAL
0
80
826
6
0
912
CE
1
552
359
0
0
912
Cursos
ENADE
(Média
Ponderada)
0
384
528
0
0
912
TABELA 12 (ENADE 2012, percentuais por faixas de média)
CONCEITO Percentagem
FG
1
2
3
4
5
TOTAL
Percentagem
CE
0,00
8,77
90,57
0,66
0,00
100
0,11
60,53
39,36
0,00
0,00
100
ENADE
(Percentagem)
0,00
42,11
57,89
0,00
0,00
100
Objetivamente nos parece que a atribuição de conceitos por faixas de médias é
mais próximo da realidade e, consequentemente, mais transparente para a sociedade
como também mais justo para com as instituições. Ainda que esta metodologia mostre
(e isto se aplica a todos os cursos), que o desempenho da quase totalidade dos
estudantes brasileiros seja de regular (ou satisfatório) para ruim (ou insatisfatório), esta
é a dura realidade que reflete não só um problema da qualidade das escolas de ensino
superior. Esta realidade reflete, em primeiro lugar, uma sociedade profundamente
desigual onde uma ínfima minoria tem acesso a meios culturais, de informação, a
literatura, etc, no mínimo razoáveis. Ou seja, do fato de que quase a totalidade da
população brasileira tem acesso precariamente aos meios pelos quais possa elevar o seu
nível cultural e de conhecimentos gerais. Reflete, em segundo lugar, todas as
deficiências formativas, do ponto de vista da educação formal, decorrentes de um ensino
básico extremamente deficiente. Em outras palavras, ainda que a educação superior seja
um componente que determina estes resultados, ele não é o único.
Por fim, ainda que possamos considerar as condições de ensino ofertadas pelas
instituições um componente importante dos resultados do desempenho dos estudantes,
penso que para a sociedade que o que avalia de fato as condições de ensino é a
avaliação externa dos cursos e instituições. Penso que ENADE nos mostra
prioritariamente a qualidade dos estudantes, independente da qualidade dos cursos e das
instituições. Já a avaliação externa nos mostra a qualidade dos cursos e instituições,
independente da qualidade dos estudantes. Assim, cada indicador deve ser analisado de
forma diferente. Reproduzo aqui um argumento que ouvi certa feita e que me parece
muito consistente: “uma empresa em busca de talentos deve olhar os resultados do
Enade e, de preferência, o resultado individual do Enade, pois é isto que vai dizer se o
individuo, independente da instituição onde estudou, é ou não um talento. Por outro
lado um ingressante no ensino superior que quer escolher uma instituição que ofereça as
melhores possibilidades de desenvolver suas potencialidades, deve analisar o Conceito
Institucional e o Conceito de Curso, independente dos resultados do Enade. Cada um
dos dois indicadores tem o seu lugar e o seu significado dentro do sistema de
avaliação”.
Jorge Gregory – Jornalista e consultor educacional. Foi professor na Universidade Federal do
Paraná, chefe de gabinete e coordenador-geral de supervisão na Secretaria de Educação
Superior do MEC.
GREGORY CONSULTORIA LTDA
Consultoria Educacional, Cursos, Palestras e Seminários nas áreas de Regulação, Avaliação e
Supervisão da Educação Superior.
Tels 61 3322-1178 ou 61 9317-1343
E-mail: [email protected]