Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’ – INEP
Ministério da Educação – MEC
Cálculo do Conceito Preliminar de Curso (CPC)
O Conceito Preliminar de Curso (CPC) é calculado para cada curso i avaliado
dentro das áreas contempladas na avaliação anual do Enade. Ou seja, a unidade de
observação de interesse é o curso i com registro de estudantes inscritos no ENADE
definido por uma instituição de ensino superior (IES) k, por um município m e por uma
área de avaliação j. Segue um exemplo do que pode ser considerado um curso i: o curso
de Pedagogia, da Universidade Federal de Mato Grosso, oferecido no município de
Cuiabá.
As áreas contempladas na avaliação de 2010 estão descritas no Apêndice desta
Nota Técnica. Note que algumas destas áreas podem ter subáreas. Quando isso ocorre, a
definição de curso também inclui esta desagregação. Assim, o curso i é definido por uma
IES k, um município m, uma área j e uma subárea h.
1. Componentes
O CPC combina diversas medidas relativas à qualidade do curso: as informações
de infraestrutura, recursos didático-pedagógicos e corpo docente oferecidas por um curso
i; o desempenho obtido pelos estudantes concluintes e ingressantes no Enade; e os
resultados do Indicador da Diferença entre os Desempenhos Esperado e Observado
(IDD). Ao todo são oito componentes, oito medidas de qualidade do curso i.
Todas as medidas originais referentes a esses componentes são padronizadas e
transformadas em notas entre 0 e 5. O procedimento é o seguinte: toma-se a medida
original para cada curso i (por exemplo, a proporção de professores doutores desse
curso), e subtrai-se dela a média dessa medida obtida para a área j a qual este curso
pertence, e divide-se o resultado da subtração pelo desvio padrão dessa medida obtido
para a área j a qual este curso pertence, como se segue:
APX
X X
DPx
(1)
1
em que APX é o afastamento padronizado referente a uma das medidas de interesse ‘ X ’
de um curso i; X é o valor observado da medida para o curso i; X é a média desta
medida na área j; e DPx é o desvio padrão da medida na área j.
Após a padronização, para que todas as instituições tenham notas variando de 0 a
5, é feito o seguinte ajuste: soma-se ao afastamento padronizado de cada curso i o valor
absoluto do menor afastamento padronizado entre todos os cursos da área j; em seguida,
divide-se este resultado pela soma do maior afastamento padronizado com o módulo do
menor. Os cursos que obtiveram valores de afastamento inferiores a -3,0 e superiores a
3,0 não foram utilizados como ponto inferior ou superior da fórmula, pelo fato de esses
cursos terem desempenhos muito discrepantes dos demais da sua área (conhecidos
como outliers).
Então, multiplica-se o resultado desse quociente por 5. O cálculo acima descrito
pode ser expresso pela fórmula a seguir, que é chamada de Nota Padronizada da medida
de interesse ‘X’ do curso i.
NX
5
APX
APX inferior
APX superior
(2)
APX inferior
Esse cálculo fará com que a Nota Padronizada do curso i, referente à determinada
medida, como a organização didático-pedagógica do curso, varie de 0 a 5. Os cursos com
Afastamento Padronizado menor que -3,0 recebem Nota Padronizada igual a 0 (zero) e
aqueles com Afastamento Padronizado maior que 3,0 recebem Nota Padronizada igual a
5 (cinco).
A seguir descrevemos cada uma destas 8 medidas de qualidade do curso que
compõem o CPC.
1.1 Professores Doutores
A medida original para a criação da Nota de Professores Doutores ( NPD ) de um
curso i corresponde à proporção de professores vinculados ao curso i cuja titulação é
maior ou igual ao doutorado ( PD ).
2
Para calcular essa proporção PD , divide-se o número de professores vinculados
ao curso i cuja titulação seja maior ou igual ao doutorado, pelo número total de
professores vinculados a esse curso.
Essa medida original PD é padronizada e transformada, conforme procedimento
descrito anteriormente, para dar origem à Nota Padronizada referente aos Professores
Doutores ( NPD ), um valor entre 0 e 5.
A informação referente à titulação dos professores de cada curso de cada IES é
extraída do módulo de docentes do Censo da Educação Superior, onde as instituições
cadastram cada um de seus professores, vinculando-os a cada curso em que eles
lecionam.
O curso que não tiver nenhum professor cadastrado com a referida titulação, terá a
Nota de Professores Doutores ( NPD ) computada como 0 (zero) para o cálculo do CPC.
1.2 Professores Mestres
A medida original para a criação da Nota de Professores Mestres ( NPM ) de um
curso i corresponde à proporção de professores vinculados ao curso i cuja titulação é
maior ou igual ao mestrado ( PM ).
Para calcular essa proporção PM , divide-se o número de professores vinculados
ao curso i cuja titulação seja maior ou igual ao mestrado, pelo número total de professores
vinculados a esse curso.
Essa medida original PM é padronizada e transformada, conforme procedimento
descrito anteriormente, para dar origem à Nota Padronizada referente aos Professores
Mestres ( NPM ), um valor entre 0 e 5.
Essa informação também é extraída do módulo de docentes do Censo da
Educação Superior, onde as instituições cadastram cada um de seus professores,
vinculando-os a cada curso em que eles lecionam.
O curso que não tiver nenhum professor cadastrado com a referida titulação,
também terá a nota de Professores Mestres ( NPM ) computada como 0 (zero) para o
cálculo do CPC.
3
1.3 Professores com Regime de Dedicação Integral ou Parcial
A medida original para a criação da Nota de Professores com Regime de
Dedicação Integral ou Parcial ( NPR ) de um curso i corresponde à proporção de
professores vinculados ao curso i cujo regime de dedicação seja integral ou parcial ( PR ).
Para calcular essa proporção R , divide-se o número de professores vinculados ao
curso i cujo regime de dedicação seja integral ou parcial, pelo número total de professores
vinculados a esse curso.
Essa medida original PR é padronizada e transformada, conforme procedimento
descrito anteriormente, para dar origem à Nota Padronizada referente aos Professores
com Regime de Dedicação Integral ou Parcial ( NPR ), um valor entre 0 e 5.
Essa informação também é extraída do módulo de docentes do Censo da
Educação Superior, onde as instituições cadastram cada um de seus professores,
vinculando-os a cada curso em que eles lecionam.
O curso que não tiver nenhum professor cadastrado, também terá a nota de
Professores com Regime de Dedicação Integral ou Parcial ( NPR ) computada como 0
(zero) para o cálculo do CPC.
1.4 Infraestrutura
A medida original para a criação da Nota de Infraestrutura ( NF ) de um curso i
corresponde à proporção de alunos do curso i que avaliaram positivamente um aspecto
da infraestrutura do curso no questionário do Enade ( F ).
A pergunta do questionário do Enade sobre infraestrutura utilizada é a seguinte:
“Aulas práticas: os equipamentos disponíveis são suficientes para todos os alunos?”. As
alternativas de resposta são: (A) = Sim, em todas elas. / (B) = Sim, na maior parte delas. /
(C) = Sim, mas apenas na metade delas. / (D) = Sim, mas em menos da metade delas. /
(E) = Não, em nenhuma. A partir desta pergunta, considerou-se como tendo avaliado
positivamente a infraestrutura os alunos que responderam (A) ou (B).
Para calcular a proporção de alunos F , divide-se o número de alunos do curso i
que avaliaram positivamente o aspecto de infraestrutura extraído do questionário do
Enade, pelo número total de alunos do curso que responderam a referida pergunta.
Essa medida original F é padronizada e transformada, conforme procedimento
descrito anteriormente, para dar origem à Nota Padronizada referente à Infraestrutura
( NF ), um valor entre 0 e 5.
4
Caso nenhum aluno tenha respondido ao questionário socioeconômico, o curso
terá a nota referente à infraestrutura ( NF ) computada como 0 (zero) para o cálculo do
CPC.
1.5 Organização Didático-Pedagógica
A medida original para a criação da Nota de Organização Didático-Pedagógica
( NO ) de um curso i corresponde à proporção de alunos do curso i que avaliaram
positivamente um aspecto da organização didático-pedagógica do curso no questionário
do Enade ( O ).
A pergunta do questionário do Enade sobre a organização didático-pedagógica
utilizada é a seguinte: “Os planos de ensino contêm todos os seguintes aspectos:
objetivos; procedimentos de ensino e avaliação; conteúdos e bibliografia da disciplina?”.
As alternativas de resposta são: (A) = Sim, todos contêm. / (B) = Sim, a maior parte
contém. / (C) = Sim, mas apenas cerca da metade contém. / (D) = Sim, mas apenas
menos da metade contém. / (E) = Não, nenhum contém. A partir desta pergunta,
considerou-se como tendo avaliado positivamente a organização didático-pedagógica os
alunos que responderam (A).
Para calcular a proporção de alunos O , divide-se o número de alunos do curso i
que avaliaram positivamente o aspecto da organização didático-pedagógica extraído do
questionário do Enade, pelo número total de alunos do curso que responderam a referida
pergunta.
Essa medida original O é padronizada e transformada, conforme procedimento
descrito anteriormente, para dar origem à Nota Padronizada referente à Organização
Didático-Pedagógica ( NO ), um valor entre 0 e 5.
Caso nenhum aluno tenha respondido ao questionário socioeconômico, o curso
terá a nota referente à organização didático-pedagógica ( NO ) computada como 0 (zero)
para o cálculo do CPC.
1.6 Nota dos Concluintes no Enade
A Nota dos Concluintes no Enade ( NC ) corresponde à nota final que dá origem ao
Conceito Enade1. Portanto, para cada curso i é composta por: 75% da nota dos alunos
1
Para mais detalhes, consultar Nota Técnica referente ao cálculo do Conceito Enade.
5
concluintes no componente específico do Enade e 25% da nota dos mesmos alunos no
componente de formação geral do Enade. É importante dizer que as notas que entram no
cômputo de NC são as notas padronizadas e já transformadas na escala de 0 a 5.
1.7 Nota dos Ingressantes no Enade
A Nota dos Ingressantes no Enade ( NI ) é calculada conforme a mesma
metodologia que a Nota dos Concluintes no Enade ( NC ), com a única diferença que os
valores utilizados correspondem às notas no exame dos alunos ingressantes, e não dos
concluintes. Portanto, para cada curso i, NI é composta por 75% da nota dos alunos
ingressantes no componente específico do Enade e por 25% da nota dos mesmos alunos
no componente de formação geral do Enade. Novamente, é importante dizer que as notas
que entram no cômputo de NI são as notas padronizadas e já transformadas na escala
de 0 a 5.
1.8 IDD
Sabe-se que a diferença entre os desempenhos no Enade de alunos egressos de
dois cursos de graduação de duas instituições distintas não depende somente das
diferenças de qualidade entre esses cursos. As diferenças em relação ao perfil dos alunos
de ambos os cursos ao ingressar no ensino superior também influenciam as diferenças
nos resultados.
O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD)
tem o propósito de trazer às instituições informações comparativas dos desempenhos de
seus estudantes concluintes em relação aos resultados médios obtidos pelos concluintes
das demais instituições que possuem estudantes ingressantes de perfil semelhante ao
seu. Para tanto, o IDD, como o próprio nome já diz, é resultante da diferença entre o
desempenho médio obtido no Enade pelos alunos concluintes de um curso e o
desempenho médio que era esperado para esses mesmos alunos, dadas as informações
existentes sobre o perfil dos ingressantes desse curso.
Os fatores que determinam o desempenho médio dos estudantes concluintes de
um determinado curso i podem ser separados, por hipótese, em três parcelas: a primeira
determinada pelas características de ingresso destes alunos concluintes em termos de
aprendizagem; outra determinada pela qualidade da formação oferecida pelo curso i; e,
6
por fim, um termo de erro que capta os outros elementos que afetam o desempenho do
aluno, e . Assim, podemos escrever para um curso i:
c
cI
q e
(3)
com a hipótese usual de que E e c I , q
0.
As letras minúsculas indicam que as variáveis estão expressas em termos de
desvios da média, ou seja, é a ‘variável original observada para cada curso i’ menos ‘a
média da respectiva variável observada para a área j a qual o curso pertence’. Assim, c é
o desempenho dos alunos concluintes do curso i medido em desvios da nota média de
concluintes da área j; c I é o desempenho dos alunos concluintes do curso i no momento
de ingresso medido em desvios da media da área j; q é a qualidade do curso i medida
em desvios da média da área j.
Não é possível observar exatamente o desempenho dos concluintes no momento
do ingresso ( c I ). Isto porque não dá para garantir que todos aqueles que tenham
participado da prova como ingressantes, participem como concluintes três anos depois, já
que há cursos com mais ou menos quatro anos de duração, os alunos podem se atrasar,
trancar o curso e voltar, entre outras razões. Porém, podemos ter uma estimativa desta
variável – o desempenho dos concluintes no ingresso ( c I ), visto que o Enade aplica
provas para alunos ingressantes e concluintes do mesmo curso. A idéia é, para cada
curso i, utilizar o desempenho dos alunos ingressantes como proxy para o desempenho
dos alunos concluintes no momento de ingresso. Assim, temos que idd
qˆ
c cˆ I , onde
ĉ I é o desempenho previsto dos estudantes concluintes no seu momento de ingresso.
A especificação que subsidia o cálculo o IDD está representada a seguir:
c
.i
.w
.z
. pd
. pm
. pr
.f
.o u
(4)
Como colocado anteriormente, as letras minúsculas indicam que todas as
variáveis estão expressas em termos de desvios da média, isto é, subtraímos da variável
original observada para cada curso i a média da respectiva variável observada para a
área j a qual o curso pertence. Na equação acima:
c : média ponderada das notas de conteúdo específico (0,75) e de formação geral (0,25)
no Enade dos concluintes do curso i;
i : média ponderada das notas de conteúdo específico (0,75) e de formação geral (0,25)
no Enade dos ingressantes do curso i;
7
w : proporção de estudantes ingressantes do curso i cujo pai e/ou a mãe tem nível
superior de escolaridade2;
z : razão entre o número de concluintes e o número de ingressantes no curso i;
pd : proporção de docentes no curso i com título mínimo de doutor;
pm : proporção de docentes no curso i com título mínimo de mestre;
pr : proporção de docentes no curso i com regime de trabalho integral ou parcial;
f : proporção de alunos do curso i que avaliaram positivamente um aspecto da
infraestrutura do curso;
o : proporção de alunos do curso i que avaliaram positivamente um aspecto da
organização didático-pedagógica do curso;
u : distúrbio aleatório;
, , , , , , , : parâmetros a serem estimados.
Para a estimativa de ĉ I – desempenho dos concluintes de um curso i no momento
de ingresso – são utilizadas as seguintes variáveis: a nota dos ingressantes do curso, o
nível de escolaridade dos pais dos estudantes ingressantes e razão entre o número de
concluintes e o de ingressantes. Esta ultima variável é incluída como forma de contornar
possível viés de estimação devido à evasão dos estudantes ao longo do curso. Isto
porque, para cursos com elevada taxa de evasão, considerando que a evasão seja um
fenômeno não-aleatório, o perfil médio dos ingressantes pode não representar bem o dos
concluintes.
As variáveis relativas à qualidade do curso i presentes na equação (4) –
especificamente, qualidade do corpo docente e características da infraestrutura e
organização pedagógica do curso i3 – foram inseridas apenas para diminuir o viés de
estimativa dos coeficientes associados às variáveis características dos ingressantes.
Provavelmente, o desempenho dos ingressantes é positivamente correlacionado com a
qualidade dos cursos, já que alunos com boa formação prévia têm maiores chances de
ingressar em cursos de melhor qualidade. Assim, parte da qualidade do curso i seria
captada por estes coeficientes associados às características dos ingressantes, o que nos
faria subestimar o idd para os cursos que recebem os melhores alunos. Procurando
2
As informações sobre a escolaridade dos pais dos estudantes ingressantes foram extraídas do questionário
socioeconômico respondido pelos alunos no Enade. Considerou-se a maior escolaridade entre a do pai e da
mãe do ingressante. No caso em que apenas uma das informações estava disponível, utilizou-se esta
informação. Para agregar a informação para o curso i, computou-se a proporção de estudantes do curso i
cujos pais tinham pelo menos ensino superior.
3
Note que estas variáveis são as mesmas descritas anteriormente como componentes individuais do CPC –
itens de 1.1 a 1.5.
8
diminuir este viés, foram incluídas estas variáveis de qualidade do curso i. Note que para
a estimativa de ĉ I apenas as características dos ingressantes e a razão concluinte –
ingressante são utilizadas.
A equação (4) é estimada para cada uma das áreas j. De fato para cada área j, a
equação (4) é estimada duas vezes. Numa primeira, estima-se a regressão, computa-se o
resíduo e, então, calcula-se o resíduo padronizado, conforme procedimento descrito
anteriormente (veja equação 1). A partir do resíduo padronizado são identificados os
cursos outliers, ou seja, os cursos para os quais o resíduo padronizado foi menor que -3
ou maior que 3. Na segunda estimativa definitiva, de onde se obtém o idd, estes cursos
outliers não são considerados.
Vale ressaltar, ainda, que se considerou para computar a nota média do curso,
tanto no desempenho do ingressante quanto no desempenho do concluinte, apenas os
estudantes com notas maiores que zero – tanto na parte de formação geral da prova
quanto na de conhecimento específico. Além disso, excluiu-se das estimações cursos
com menos de 10 participantes ou com taxa de participação inferior a 20% dos
selecionados, seja para o caso dos ingressantes ou concluintes. Entretanto, o
desempenho esperado e, portanto, o idd foi computado para todos os cursos com mais de
10 participantes (selecionados e com nota não nula) entre ingressantes e entre
concluintes, ainda que a taxa de participação seja inferior a 20%.
Obtido o idd, o passo seguinte, como para demais variáveis, foi padronizá-lo e
transformá-lo, conforme procedimento descrito anteriormente, para dar origem à Nota
Padronizada do IDD ( NIDD ), um valor entre 0 e 5.
Quando não foi possível atribuir um idd para um curso i, a Nota Padronizada do
IDD ( NIDD ) recebeu o mesmo valor da Nota Padronizada de Concluintes ( NC ) para
este curso i para o cálculo do CPC.
2. Forma de Cálculo
O propósito do CPC é agrupar diferentes medidas da qualidade do curso,
entendidas como medidas imperfeitas da contribuição do curso para a formação dos
alunos, em uma única medida com menor erro. Para determinar como essas diferentes
medidas seriam ponderadas na formação do CPC, foram desenvolvidos estudos pela
9
equipe técnica do INEP4. Posteriormente, o assunto foi discutido na Comissão Nacional
de Avaliação da Educação Superior (Conaes), que acabou por referendar a seguinte
ponderação para compor o CPC:
Termo de insumos
CPC
(0,20 NPD ) (0,05 NPM ) (0,05 NPR) (0,05 NF ) (0,05 NO)
(5)
(0,30 NIDD)
(0,15 NI )
(0,15 NC )
Deste cálculo obtém-se o valor do CPC para cada curso i em uma escala de 0 a 5,
conforme a equação. Esses valores contínuos são arredondados na segunda casa
decimal e transformados em faixas de 1 a 5, conforme a correspondência abaixo:
Quadro 1: Distribuição dos conceitos
Valor Discreto do CPC
Valor contínuo do CPC
1
0,0 a 0,94
2
0,95 a 1,94
3
1,95 a 2,94
4
2,95 a 3,94
5
3,95 a 5,0
Também em discussão na Conaes, definiu-se que, caso o curso tenha obtido nota
menor que 0,95 (correspondente a nota discreta igual a 1) em algum dos termos que
compõem o Conceito Preliminar, não poderá ser considerado de excelência (Conceito
Preliminar de Curso igual a 5 - cinco). Assim, qualquer curso com nota em infraestrutura –
e/ou em qualquer um dos outros termos – menor que 0,95, atinge no máximo, o conceito
4 (quatro).
Para os componentes do CPC relativos às notas dos alunos e às respostas dos
alunos ao questionário socioeconômico foram utilizados os dados do Enade 2010, e para
os componentes do CPC relativos aos professores dos cursos foram utilizados dados do
módulo de docentes do Censo da Educação Superior referentes a 2010.
4
As análises desenvolvidas encontram-se no Texto para Discussão nº 32 “Avaliação de Cursos na Educação
Superior: A Função e a Mecânica do Conceito Preliminar de Curso”, disponível em:
http://www.publicacoes.inep.gov.br/detalhes.asp?pub=4377#
10
Apêndice
Os cursos avaliados pelo Enade 2010 fazem parte das seguintes áreas:
17 . Agronomia
55 . Biomedicina
35 . Educação Física
23. Enfermagem
19. Farmácia
36. Fisioterapia
27. Fonoaudiologia
12. Medicina
5. Medicina Veterinária
28. Nutrição
6. Odontologia
38. Serviço Social
70. Tecnologia em Agroindústria
90. Tecnologia em Agronegócios
92. Tecnologia em Gestão Ambiental
91. Tecnologia em Gestão Hospitalar
69. Tecnologia em Radiologia
52. Terapia Ocupacional
51. Zootecnia
11