LEO LYNCE VALLE DE LACERDA
Sistema Nacional de Avaliação da Educação Superior:
Sistema de avaliação ou exame de desempenho?
ITAJAÍ (SC)
2015
UNIVERSIDADE DO VALE DO ITAJAÍ
Vice-Reitoria de Pesquisa, Pós-Graduação, Extensão e Cultura - ProPPEC
Programa de Pós-Graduação em Educação - PPGE
Curso de Doutorado em Educação
LEO LYNCE VALLE DE LACERDA
Sistema Nacional de Avaliação da Educação Superior:
Sistema de avaliação ou exame de desempenho?
.
Orientadora:
Tese apresentada ao colegiado do Programa
de Pós
Graduação em Educação da Universidade do Vale
do Itajaí como requisito parcial à obtenção do grau
de Doutor em Educação – área de concentração:
Educação – (Linha de Pesquisa - Políticas para a
Educação Básica e Superior)
Orientador: Professora Doutora Cássia Ferri
ITAJAÍ (SC)
2015
UNIVALI
Universidade do Vale do Itajaí
Vice-Reitoria de Pesquisa, Pós-Graduação, Extensão e Cultura
Programa de Pós-Graduação em Educação - PPGE
Curso de Doutorado em Educação
CERTIFICADO DE APROVAÇÃO
LEO LYNCE VALLE DE LACERDA
Sistema Nacional de Avaliação da Educação Superior:
Sistema de avaliação ou exame de desempenho?
Tese avaliada e aprovada pela Comissão Examinadora e
referendada pelo Colegiado doOrientadora:
PPGE como requisito
parcial à obtenção do grau de Doutor em Educação.
Itajaí (SC), __ de ___________ de 2015
Membros da Comissão:
Orientador:
______ _______________________________
Profa. Dra. Cássia Ferri
Membro Externo:
__________________________________
Prof. Dr. Almerindo Janela Afonso
Membro Externo:
__________________________________
Profa. Dra. Amândia Maria de Borba
Membro Externo:
__________________________________
Prof. Dr. Nelson Santos Machado
Membro representante do colegiado: ________________________________
Profa. Dra. Regina Célia Linhares Hostins
AGRADECIMENTOS
À professora Doutora Cássia Ferri por sua orientação tranquila e segura.
Ao professor Doutor Almerindo Janela Afonso pela oportunidade ímpar de elaborar
parte desta tese sob sua supervisão.
Aos demais membros da banca, pela paciência que (certamente) tiveram ao ler esta tese.
A Elisabeth Juchem Machado Leal pela revisão textual.
A todos os amigos, colegas, professores e colaboradores do programa que me
auxiliaram neste percurso.
A Univali por ter me concedido bolsa de estudo para o Doutorado e Estágio Doutoral.
Ao povo brasileiro que me proporcionou cinco meses de bolsa de estudos no exterior. A
ele dedico esta tese.
RESUMO
Este estudo foi realizado no âmbito da linha de pesquisa em Políticas Públicas para a
Educação Básica e Superior e se insere no conjunto dos estudos do Grupo de
Pesquisa em Políticas Públicas de Currículo e Avaliação. A pesquisa avaliou o papel
do Exame Nacional de Desempenho dos Estudantes e dos índices dele derivados em
relação às demais modalidades do Sistema Nacional de Avaliação da Educação
Superior - Sinaes, quais sejam, a Avaliação dos cursos de Graduação (ACG) e a
Avaliação das Instituições de Educação Superior (Avalies), contrastando o Sinaes
com o sistema de regulação português, no qual o exame de desempenho está
ausente. Em um primeiro movimento, investigou-se a operacionalização das
modalidades do Sinaes e o processo que levou à centralidade do Enade. Um segundo
movimento foi realizado a fim de comparar os processos de avaliação realizados
pelo Brasil e Portugal, a fim de pesquisar as similaridades e diferenças dos dois
sistemas, além de colher a percepção dos pesquisadores portugueses da área de
avaliação do Ensino Superior com relação a eles. No terceiro movimento
analisaram-se as relações entre insumos e desempenho dos estudantes do triênio
2008-2010 do Enade para cada área nos seguintes estratos: região federativa,
organização acadêmica e categorias administrativas. Justificou-se esta pesquisa
tendo em vista que ainda não se realizou um estudo completo de um ciclo trienal do
Enade, de forma a avaliar objetivamente suas potencialidades e limitações no âmbito
das demais modalidades do sistema. Para tanto, foram empregados métodos de
revisão bibliográfica e análise documental, análise quantitativa por meio de
regressão linear múltipla de um ciclo completo do Enade e coleta da percepção de
pesquisadores portugueses em avaliação do ensino superior por meio de entrevista
semiestruturada. Concluiu-se que o Sinaes, em dez anos de operacionalização, erigiu
uma modalidade, o Enade, como a principal fonte de indicadores para a regulação,
subordinando as demais a esta. Apesar disto, ao contrastar o Sinaes com o sistema
português, os benefícios desta modalidade no processo avaliativo não foram
percebidos. Além disso, o exame dos resultados de um triênio mostrou que os
índices gerados por este não podem ser generalizados para a diversidade das
Instituições de Ensino Superior - IES brasileiras e áreas de formação. Assim,
defendeu-se a tese de que o Sinaes, na forma como vem sendo operacionalizado,
não atendeu aos seus princípios originais de globalidade do processo avaliativo,
respeito à identidade e a diversidade educacional superior brasileira. A centralidade
do Enade no processo avaliativo e regulatório descaracterizou o sistema. No entanto,
pode-se afirmar que é possível um resgate dos princípios originais, em maior ou
menor grau, a partir da reconfiguração de suas modalidades.
Palavras-chave: Política Educacional. Sistema de Avaliação. Sinaes. Enade.
ABSTRACT
This study was carried out as part of the line of research Public Policies for Basic
and Higher Education, and is part of a series of studies conducted by the Research
Group on Public Policies of Curriculum and Assessment. This research evaluated
the role of the Exame Nacional de Desempenho dos Estudantes [National Student
Performance Examination] and its derived indices, in relation to the other modalities
of the Sistema Nacional de Avaliação da Educação Superior [National System for
Assessment of Higher Education] - Sinaes, namely the Assessment of Graduation
courses [ACG] and the Assessment of Higher Education Institutions [Avalies],
comparing the Sinaes with the Portuguese regulatory system that does not include
the performance assessment. Firstly, the operationalization of the Sinaes’ modalities
and the process that led to the centrality of the Enade were analyzed. Secondly, the
assessment processes carried out by Brazil and Portugal were compared, in order to
search for the similarities and differences between the two systems and gather the
views of Portuguese researchers in the area of assessment of Higher Education in
relation to them. Third, an analysis was carried out of the relations between inputs
and student performance in the three-year period (2008 to 2010) of the Enade for
each area, in the following strata: federative region, academic organization, and
administrative categories. This study is justified by the fact that no complete study
of a three-year cycle of the Enade has yet been carried out with the aim of
objectively assessing its potential and limitations within the scope of the other
modalities of the system. The methods of literature review and document analysis
were used, with quantitative analysis by means of semi-structured interviews. It is
concluded that the Sinaes, in its ten years of operation, established a modality - the
Enade - as the main source of indicators for the regulation, subordinating the others
to it. Despite this, when comparing the Sinaes with the Portuguese system, benefits
of this modality in the assessment process were not noticed. Besides, the
examination of the results of a three-year period showed that the indices generated
by it cannot be generalized to the diversity of the Brazilian Higher Education
Institutions [HEI] and areas of training. The thesis is defended that the Sinaes, in the
form in which it has been operationalized, does not fulfil the principles originally
established of being a global evaluation system, respecting identity and the diversity
of the Brazilian Higher Education System. The centrality of the Enade in the
evaluation and regulatory process have led to the system losing its original
character. However, it can be said that a return to the original principles is possible,
to a greater or lesser extent, based on a reconfiguration of its modalities.
Key words: Educational policy. Assessment System. Sinaes. Enade
LISTA DE SIGLAS
A3ES – Agência Nacional de Avaliação e Acreditação do Ensino Superior
ACG - Avaliação dos cursos de graduação
AHELO - Assessment of Higher Education Learning Outcomes
Avalies - Avaliação das Instituições de Educação Superior
CAC – Comissão de Autoavaliação do Curso
Capes – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
CC - Conceito do Curso
CCA – Comissão Central de Avaliação
IDC – Índice de Desempenho do Curso
IDI – Índice de Desempenho Institucional
CEC – Conceito Externo do Curso
CEI – Conceito Externo Institucional
CGC – Conceito Geral do Curso
CGI – Conceito Geral Institucional
CI - Conceito Institucional
CIC – Conceito Interno do Curso
CII – Conceito Interno Institucional
Cnaves – Conselho Nacional de Avaliação do Ensino Superior
Conaes – Conselho Nacional de Avaliação da Educação Superior
CPA - Comissão Própria de Avaliação
CPC - Conceito Preliminar de Curso
CRUP – Conselho de Reitores das Universidades Portuguesas
CSA – Comissão Setorial de Avaliação
DGES – Diretoria Geral do Ensino Superior
Enade - Exame Nacional de Desempenho dos Estudantes
ENC – Exame Nacional dos Cursos
ENEM - Exame Nacional do Ensino Médio
Enqa - European Association for Quality Assurance in Higher Education
EUA – European University Association
GERES - Grupo Executivo da Reforma da Educação Superior
IDD – Indicador de diferença entre o desempenho esperado e observado
IES – Instituição de Educação Superior
IGC – Índice geral de cursos
INSAES – Instituto Nacional de Supervisão e Avaliação da Educação Superior
MEC – Ministério da Educação
PAIUB - Programa de Avaliação Institucional das Universidades Brasileiras
PARU - Programa de Avaliação da Reforma Universitária
Proies - Programa de Estímulo à Reestruturação e ao Fortalecimento das Instituições de
Ensino Superior
Prouni - Programa Universidade para Todos (Prouni),
QAHECA – Quality Assurance for the Higher Education Change Agenda
Sinaes - Sistema Nacional de Avaliação da Educação Superior
Unesco - Organização das Nações Unidas para a educação, a ciência e a cultura
LISTA DE TABELAS
Tabela 1 - Número e percentual de cursos com notas Enade e IDD de acordo com a
região federativa das 55 áreas avaliadas no estudo. ....................................................... 99
Tabela 2 – Número e percentual de cursos com notas Enade e IDD de acordo com a
combinação entre organização acadêmica e categoria administrativa das 55 áreas
avaliadas no estudo. ...................................................................................................... 100
Tabela 3 – Número de cursos e correlações encontradas para o Enade contínuo de
acordo com a região federativa. .................................................................................... 132
Tabela 4 - Número de cursos e correlações encontradas para o Enade contínuo de
acordo com a combinação entre organização acadêmica e categoria administrativa. .. 133
Tabela 5 - Número de cursos e correlações encontradas para o IDD contínuo de acordo
com a região federativa................................................................................................. 144
Tabela 6 - Número de cursos e correlações encontradas para o IDD contínuo de acordo
com a combinação entre organização acadêmica e categoria administrativa. .............. 145
LISTA DE QUADROS
Quadro 1 – Análise comparativa entre os sistemas de avaliação da Educação Superior
no Brasil e em Portugal .................................................................................................. 65
Quadro 2 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para as Instituições de Ensino
Superior do Brasil de acordo a região federativa. ........................................................ 134
Quadro 3 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para as Universidades Públicas de
acordo com a região federativa. .................................................................................... 136
Quadro 4 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para as Universidades Privadas de
acordo com a região federativa. .................................................................................... 138
Quadro 5 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para as Faculdades Privadas de
acordo com a região federativa. .................................................................................... 140
Quadro 6 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para os Centros Universitários
Privados de acordo a região federativa. ........................................................................ 142
Quadro 7 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o Enade contínuo para os Institutos Superiores
(InsPr) e Faculdades Integradas Privados (FaIPr) de acordo a região federativa. ........ 142
Quadro 8 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para as Instituições de Ensino
Superior do Brasil de acordo a região federativa. ........................................................ 146
Quadro 9 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para as Universidades Públicas de
acordo com a região federativa. .................................................................................... 148
Quadro 10 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para as Universidades Privadas de
acordo com a região federativa. .................................................................................... 149
Quadro 11 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para as Faculdades Privadas de
acordo com a região federativa. .................................................................................... 151
Quadro 12 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para os Centros Universitários
Privados de acordo a região federativa. ........................................................................ 151
Quadro 13 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para os Institutos Superiores,
Faculdades Integradas e Faculdades Tecnológicas Privadas de acordo a região
federativa. ..................................................................................................................... 152
LISTA DE GRÁFICOS
Gráfico 1 – Média (linha central), erro-padrão (caixa) e intervalo de confiança
(extremos) da nota Enade (NEnade) da área de Engenharia do grupo VII de acordo com
a combinação entre Organização Acadêmica e Categoria Administrativa das IESs
brasileiras ........................................................................................................................ 97
Gráfico 2 – Correlação positiva entre a nota de Doutores (ND) e desempenho no Enade
(NEnade) na área de Engenharia do grupo VII. ............................................................. 98
Gráfico 3 – Correlações entre a nota do Regime de Trabalho (NR) e o Enade contínuo
(NEnade) para a área de Ciências Econômicas de acordo com a região federativa. .... 103
Gráfico 4 – Correlações entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Ciências Econômicas de acordo com a região federativa. .................... 104
Gráfico 5 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo (NEnade)
para a área de Enfermagem de acordo com a combinação entre organização acadêmica e
categoria administrativa. ............................................................................................... 106
Gráfico 6 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo (NEnade)
para a área de Engenharia do grupo III de acordo com a combinação entre organização
acadêmica e categoria administrativa. .......................................................................... 107
Gráfico 7 – Correlações entre a nota do Regime de Trabalho (NR) e o Enade contínuo
(NEnade) para a área de Farmácia de acordo com a combinação entre organização
acadêmica e categoria administrativa. .......................................................................... 108
Gráfico 8 – Correlações entre a nota da Organização Didático-Pedagógica e o Enade
contínuo (NEnade) para a área de Educação Física de acordo com a combinação entre
organização acadêmica e categoria administrativa. ...................................................... 109
Gráfico 9 – Correlações entre a nota da Organização Didático-Pedagógica (NO) e o
Enade contínuo (NEnade) para a área de Ciências Contábeis de acordo com a
combinação entre organização acadêmica e categoria administrativa e a região
federativa. ..................................................................................................................... 111
Gráfico 10 – Correlações entre a nota da Organização Didático-Pedagógica (NO) e o
Enade contínuo (NEnade) para a área de Engenharia do grupo II de acordo com a
combinação entre organização acadêmica e categoria administrativa e a região
federativa. ..................................................................................................................... 112
Gráfico 11 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo
(NEnade) para a área de Direito de acordo com a combinação entre organização
acadêmica e categoria administrativa e a região federativa. ........................................ 113
Gráfico 12 – Correlações entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Pedagogia de acordo com a combinação entre organização acadêmica e
categoria administrativa e a região federativa. ............................................................. 114
Gráfico 13 – Correlação entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Engenharia de grupo VIII. ..................................................................... 115
Gráfico 14 – Correlação significativa entre a nota da Infraestrutura (NI) e o ENnade
contínuo (NEnade) para a área de Ciências Sociais. .................................................... 116
Gráfico 15 – Correlações entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para
a área de Matemática de acordo com a região federativa. ............................................ 119
Gráfico 16 – Correlações entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para
a área de Pedagogia de acordo com a região federativa. .............................................. 120
Gráfico 17 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Arquitetura e Urbanismo nas Regiões Norte e Sul. ......................................... 121
Gráfico 18 – Correlações entre a nota da Infraestrutura (NI) e o IDD contínuo (NIDD)
para a área de Direito de acordo com a região federativa. ........................................... 122
Gráfico 19 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Tecnologia em Redes de Computadores de acordo com a combinação entre
organização acadêmica e categoria administrativa. ...................................................... 124
Gráfico 20 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Administração de acordo com a combinação entre organização acadêmica,
categoria administrativa e região federativa. ................................................................ 126
Gráfico 21 – Correlações entre a nota da Organização Didático-Pedagógica e o IDD
contínuo (NIDD) para a área de Ciências Contábeis de acordo com a combinação entre
organização acadêmica, categoria administrativa e região federativa. ......................... 127
Gráfico 22 – Correlação entre a nota da infraestrutura (NI) e o IDD contínuo (NIDD)
para a área de Ciências Sociais. .................................................................................... 129
Gráfico 23 – Correlação entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para a
área de Música. ............................................................................................................. 130
LISTA DE FIGURAS
Figura 1 – Modelo regressivo múltiplo entre os insumos e desempenho. ...................... 93
Figura 2 – Modelo regressivo múltiplo indicando a multicolinearidade, relações
significativas entre os insumos. ...................................................................................... 94
Figura 3 – Relação atual entre as modalidades e seus índices do Sinaes. .................... 157
Figura 4 – Relação entre as modalidades e seus índices do Sinaes no Cenário 1. ....... 162
Figura 5 – Relação entre as modalidades e seus índices do Sinaes no Cenário 2. ....... 165
Figura 6 – Relação entre as modalidades e índices do Sinaes no Cenário 3. ............... 168
SUMÁRIO
INTRODUÇÃO .............................................................................................................. 18
1. MOVIMENTO I - O ENADE FRENTE ÀS DEMAIS MODALIDADES DO
SINAES .......................................................................................................................... 30
2. MOVIMENTO II – O SISTEMA DE GARANTIA DA QUALIDADE DO ENSINO
SUPERIOR DE PORTUGAL E O SISTEMA NACIONAL DE AVALIAÇÃO DA
EDUCAÇÃO SUPERIOR DO BRASIL: uma perspectiva comparada ......................... 42
2.1 Percurso metodológico.......................................................................................... 46
2.2 A Educação Superior em Portugal ........................................................................ 48
2.3 A avaliação e a regulação do Ensino Superior em Portugal ................................. 52
2.4 Os sistemas português e brasileiro de avaliação ................................................... 56
2.4.1 Comparativo entre os sistemas de avaliação do Brasil e Portugal ................. 57
2.4.2 A percepção de pesquisadores portugueses. .................................................. 72
2.4.2.1 Referenciais, pressupostos e características dos sistemas de avaliação. . 73
2.4.2.2 Processo de autoavaliação ....................................................................... 77
2.4.2.3 Exame de desempenho ............................................................................ 79
2.4.2.4 Consequências da regulação .................................................................... 81
3. MOVIMENTO III- CARACTERIZAÇÃO DA ESTRUTURA DAS RELAÇÕES
ENTRE OS INDICADORES DO ENADE 2008-2010 ................................................. 86
3.1 O Exame Nacional de Desempenho dos Estudantes............................................. 86
3.2 O referencial metodológico .................................................................................. 89
3.3 Delineamento da investigação .............................................................................. 90
3.4 Caracterização das relações entre insumos e desempenho ................................... 99
3.4.1 Enade contínuo (nota Enade) ....................................................................... 100
Grupo I: Ciências Econômicas, Filosofia, Física, Geografia, Secretariado e
Zootecnia. .......................................................................................................... 102
Grupo II: Agronomia, Biomedicina, Educação Física, Enfermagem, Engenharia
do grupo III, Engenharia do grupo VI, Engenharia do grupo VII, Farmácia,
Fisioterapia, Medicina Veterinária, Nutrição, Química, Relações Internacionais,
Serviço Social, Tecnologia em Automação Industrial, Tecnologia em
Gastronomia e Tecnologia em Redes de Computadores. .................................. 105
Grupo III: Administração, Arquitetura, Biologia, Ciências Contábeis,
Computação e Informática, Comunicação Social, Design, Direito, Engenharia do
grupo I, Engenharia do grupo II, Engenharia do grupo IV, Fonoaudiologia,
História, Letras, Matemática, Medicina, Odontologia, Pedagogia, Psicologia,
Tecnologia em Análise e Desenvolvimento de Sistemas, Tecnologia em Gestão
Ambiental, Tecnologia em Radiologia e Turismo............................................. 110
Grupo IV: Ciências Sociais, Engenharia do grupo VIII, Música, Teatro,
Tecnologia em Gestão de Processos Gerenciais, Tecnologia em Gestão de
Recursos Humanos, Tecnologia em Gestão Financeira, Tecnologia em Marketing
e Tecnologia em Moda. ..................................................................................... 115
3.4.2 IDD contínuo ................................................................................................ 117
Grupo I: Arquitetura e Urbanismo, Biologia, Comunicação Social, Direito,
Engenharia do grupo III, Engenharia do grupo IV, Engenharia do grupo VII,
Física, Geografia, Matemática, Pedagogia, Psicologia, Tecnologia em
Gastronomia e Zootecnia. .................................................................................. 118
Grupo II: Biomedicina, Enfermagem, Fonoaudiologia, Medicina Veterinária,
Nutrição, Tecnologia em Automação Industrial, Tecnologia em Gestão
Ambiental e Tecnologia em Redes de Computadores ....................................... 123
Grupo III: Administração, Agronomia, Ciências Contábeis, Computação e
Informática, Design, Educação Física, Engenharia do grupo I, Engenharia do
grupo II, Farmácia, Filosofia, Fisioterapia, História, Letras, Medicina,
Odontologia, Tecnologia em Desenvolvimento de Sistemas e Turismo. .......... 125
Grupo IV: Ciências Econômicas, Ciências Sociais, Engenharia do grupo VI,
Engenharia do grupo VIII, Música, Química, Relações Internacionais,
Secretariado, Serviço Social, Teatro, Tecnologia em Gestão de Recursos
Humanos, Tecnologia em Gestão Financeira, Tecnologia em Marketing,
Tecnologia em Moda, Tecnologia em Processos Gerenciais e Tecnologia em
Radiologia. ......................................................................................................... 128
3.5 Síntese da estrutura das relações nos estratos ..................................................... 131
3.5.1 Enade contínuo ............................................................................................. 131
3.5.2 IDD contínuo ................................................................................................ 143
4. CONCLUSÕES, CONSIDERAÇÕES FINAIS E POSSIBILIDADES. ................. 155
REFERÊNCIAS ........................................................................................................... 174
APÊNDICES ................................................................................................................ 181
ANEXOS ...................................................................................................................... 538
INTRODUÇÃO
A primeira referência específica à avaliação de instituições de ensino data de
1934, quando Ralph Tyler, nos Estados Unidos, elabora um estudo longitudinal
intitulado The Eigth-Year Study (1932-1940). Deste autor surge a ideia que avaliar é
averiguar o cumprimento de objetivos previamente traçados por meio de um diagnóstico
quantitativo suficientemente detalhado dos processos relacionados à educação (TYLER,
2007, p. 99). A partir daí a avaliação ganha alcance nacional nos Estados Unidos, por
meio de programas estaduais ou federais; com isso evidencia-se a complexidade de
avaliar a educação como um processo global, que envolve não somente o desempenho
dos alunos, mas a atuação de professores e gestores, os currículos e as estruturas.
É neste contexto que se insere a Avaliação da Educação Superior que,
impulsionada pela necessidade de profissionais para atender a crescente industrialização
iniciada nos anos 1950 e ainda a corrida espacial dos anos 1960, passa a “fazer parte
essencial das agendas e estratégias governamentais” (DIAS SOBRINHO, 2003, p. 59)
que estabelecem para a educação os mesmos critérios de eficiência e produtividade
utilizados no ambiente empresarial. Esse movimento em direção ao modelo produtivo
econômico ocorreu não somente nos Estados Unidos, mas em vários países europeus
como a França, Inglaterra, Suécia e Finlândia (DIAS SOBRINHO, 2003, pp. 60-61). A
partir dos anos 1980 destaca-se o modelo inglês, fortemente vinculado ao setor
industrial, no qual os recursos públicos para a educação superior, seja pública ou
privada, passam a ser distribuídos de acordo com a relevância das pesquisas na
produção tecnológica de bens utilitários. Este modelo foi adotado por países da América
Latina, dos quais o Chile é o exemplo mais conspícuo1.
Apesar das variações e nuances dos modelos regionais adotados nos países
ocidentais, em todos eles a avaliação da educação superior evoluiu para uma estreita
ligação com a lógica dos processos econômicos, adotando suas regras unívocas de
entrada e saída (insumo e produto educacionais), resultados mensuráveis, produção em
massa e controle externo da “qualidade” do produto final; o Estado, neste último
aspecto, assumindo seu papel de controle por meio da avaliação:
1
Em 1973 o governo do Chile implanta sua política de privatização e regulação da educação em todos os
níveis, promovendo medidas de distribuição de recursos com base nos processos regulatórios, conforme
detalha Sobrinho em sua obra Avaliação: políticas educacionais e Reformas da Educação Superior.
18
[...] países diferentes, ocupando lugares distintos no sistema mundial,
estão a percorrer caminhos bastante semelhantes no desenvolvimento
das políticas de avaliação. Estes percursos podem caracterizar-se,
genericamente, por um crescente controlo nacional sobre os processos
avaliativos (AFONSO, 2000, p. 62).
Este papel sofreu modificações. Após a Segunda Grande Guerra, ocorre o
aparecimento do Estado-providência 2 , advindo da “necessidade de o Estado ter uma
decisiva intervenção econômica e, por outro, de ter que criar condições para atender às
novas e crescentes expectativas e necessidades sociais” (AFONSO, 2000, pp. 99-100),
entre as quais a educação. A crise econômica da década de 1970 trouxe modificações
basilares no papel do Estado, com a diminuição significativa de seu poder interventor na
economia, este assumindo então um caráter mais próximo às atividades produtivas, em
crescente processo de transnacionalização. Surge o Estado-competidor e “nesse
contexto, as reformas educativas e a reestruturação dos sistemas educativos voltam a ser
pensadas à luz de mudanças mais globais no sistema capitalista” (AFONSO, 2007, p.
91). Tal modificação incidiu diretamente nos processos de avaliação da educação
superior, e, a partir da década de 1980, no papel do Estado. Afonso sugeriu três fases
para este novo papel, o Estado-avaliador: uma primeira fase, entre as décadas de 1980 e
1990, em que “a adoção de políticas de avaliação (incluindo a avaliação em larga escala
no interior de um mesmo país) dependeu, em grande medida, de uma (ainda) expressiva
autonomia relativa dos Estados nacionais” (AFONSO, 2013b, p. 271), ainda ocorrente
em vários países; a segunda, do final dos anos 1990 e nesta década, na qual se percebe
uma “[...] retração crescente da autonomia relativa do Estado-nação e maior
protagonismo de instâncias internacionais e transnacionais” (AFONSO, 2013b, p. 278),
e uma terceira fase emergente, na qual os processos educacionais, entre eles a avaliação,
tendem à crescente padronização e modularização, em detrimento das especificidades
nacionais.
O percurso brasileiro neste movimento global da avaliação da educação superior
é examinado a seguir.
2
Segundo Santos (1993, p.43), este modelo de Estado estrutura-se na relação entre capital e trabalho sob
controle do Estado e no direito individual aos serviços essenciais (trabalho, educação e saúde)
assegurado por investimentos públicos nestas áreas.
19
A avaliação no Brasil
A reforma universitária brasileira de 1968 pode ser considerada como o ponto
inicial do processo de alinhamento da educação superior brasileira ao movimento global
econômico vigente. Nesta reforma a ênfase foi dada ao aparelhamento das universidades
federais para a produção de ciência e tecnologia adequada à estratégia de
desenvolvimento econômico do país, centrada nos critérios da “eficiência,
produtividade, racionalização e excelência”, como destacado por Dias Sobrinho (2003,
p. 68).
Alia-se a isto o início da ampliação do acesso ao ensino superior, tanto pela
implantação de novas universidades federais quanto pela abertura da educação à
iniciativa privada. Esta dinâmica perdura até o início da década de 1980, na qual as
discussões acerca da avaliação culminam na primeira tentativa de implantação de um
programa de avaliação nacional para a educação superior, o Programa de Avaliação da
Reforma Universitária – PARU, de 1983. Seu principal objetivo era o de “conhecer as
condições reais nas quais se realizavam as atividades de produção e disseminação do
conhecimento do sistema de educação superior.” (BARREYRO; ROTHEN, 2008, p.
133). Por meio deste programa inicia-se a ideia de uma autoavaliação formativa na
prática das avaliações institucionais. No entanto, o PARU não chegou a atingir a
consecução de seu objetivo, tendo sido desativado após um ano de existência.
O Ministério da Educação cria, em 1985, a Comissão Nacional para a
reformulação da Educação Superior3, uma comissão de notáveis que teve como produto
final o documento “Uma nova política para a educação superior brasileira”. É com base
neste documento que, em 1986, é criado o Grupo Executivo da Reforma da Educação
Superior (GERES) para propor de fato uma reforma na educação superior. Porém, suas
propostas foram limitadas à “reformulação da legislação pertinente à Educação Superior
nas Instituições públicas” (BARREYRO; ROTHEN, 2008, p. 143), com vistas a
aumentar sua eficiência na geração de pesquisas, diferentemente da iniciativa privada,
que estaria mais voltada à formação do profissional para o mercado de trabalho. Neste
contexto a função da avaliação seria:
3
Composta por 24 membros, com formação e atuação em diversos segmentos nacionais, a comissão
contava com representantes: do Conselho Nacional de Educação, de Reitores, Pró-Reitores, professores
e estudantes de universidades e faculdades e secretarias de educação estaduais e municipais. Seu
objetivo central era a reformulação da educação superior e a criação de uma nova política.
20
A avaliação, na visão do GERES, teria a função primordial de
controlar a qualidade do desempenho da Educação Superior,
especialmente a pública. No caso do setor privado, o próprio mercado
faria a regulação, pois esse setor depende do sucesso do seu produto
para obter os recursos para a sua manutenção e expansão. Assim nessa
lógica, o financiamento da educação superior cumpriria, para o setor
público, o mesmo papel que o mercado tem em relação ao privado.
(BARREYRO; ROTHEN, 2008, p. 145).
A década de 1990 inaugura uma nova fase nas políticas educacionais no Brasil,
com a adesão do país ao neoliberalismo. A reforma do Estado implantada nesta década
produz “alterações substantivas nos padrões de intervenção estatal, redirecionando
mecanismos e formas de gestão [...], particularmente as politicas educacionais em
sintonia com organismos multilaterais” (DOURADO, 2002, p. 241).
Entre 1993 e 1995 duas publicações internacionais, a “Educação superior:
aprender com a experiência”, do Banco Mundial, publicado em 1994, e o “Documento
de política para a mudança e desenvolvimento na educação superior”, lançado pela
UNESCO em 1993 em versão preliminar e em 1995 em sua versão final, representaram
“duas visões distintas absolutamente opostas sobre a função da educação superior com
relação à sociedade e sobre a própria sociedade” (DIAS, 2004, p. 895). Esta polarização
encontra eco nos diferentes movimentos nacionais, materializados no Plano Decenal de
Educação para Todos – 1993-2003, de 1993, e na Lei de Diretrizes e Bases da Educação
de 1996, ambos alinhados a visão economicista adotada pelo Banco Mundial, e no
desenvolvimento do Programa de Avaliação Institucional das Universidades Brasileiras
(PAIUB), em 1993, formulado com a pretensão de ser um programa abrangente,
sistemático e contínuo (BRASIL, 1993; BRASIL, 1994) e com uma proposta
concordante com aquelas lançadas pela UNESCO.
O PAIUB, de certa forma, resgata o que foi produzido pelo PARU, em um
contraponto com o documento do GERES, o que poderia ser caracterizado como uma
dinâmica pendular no processo de construção da identidade da prática avaliativa
brasileira, ora em um polo em que a autoavaliação formativa é preferida, caso do
PARU, ora em que o viés produtivista, quantitativo e pontual foi priorizado, como havia
sido no GERES, até então. O PAIUB tenta se posicionar entre estes dois polos,
congregando os documentos anteriores e contando para isso com um grupo
21
representativo das IESs brasileiras. Este programa teve adesão de várias IESs4 (PAIUB,
1996) e muitos dos programas internos de avaliação institucional nasceram dele.
Este programa sofreu uma minimização com a publicação da Lei de Diretrizes e
Bases da Educação e do Decreto nº 2.026/96, que estabelecia procedimentos de
avaliação do desempenho global das instituições, do ensino de graduação e de pósgraduação, além do Exame Nacional dos Cursos - ENC, mais conhecido como Provão.
A partir desta lei, inicia-se o desenvolvimento de um novo Plano Nacional de Educação
que, após um período de intenso antagonismo entre duas propostas conflitantes, do
Ministério da Educação e da Sociedade, que novamente ecoa as duas visões opostas
acerca da educação, um plano final é produzido com preponderância da proposição
inicial do MEC5, de cunho técnico-instrumental.
Novamente o “pêndulo” da avaliação nacional vai em direção à aferição de
resultados, de acordo com os movimentos mais amplos em escala mundial. Na educação
superior, o Decreto nº 3.860/2001 detalhou os indicadores e critérios a serem
observados no processo de avaliação. A implantação do Censo da Educação Superior
pela Portaria nº 2.517 de 2001 complementou esse processo (BRASIL, 2001), que se
manteve até o estabelecimento em 2004 do Sistema Nacional de Avaliação da Educação
Superior do Brasil.
O objeto de pesquisa: O Sistema Nacional de Avaliação da Educação Superior Sinaes
Em 2004 foi aprovada a Lei nº. 10.861 (BRASIL, 2004) que instituiu o Sistema
Nacional de Avaliação da Educação Superior – Sinaes6, coordenado pela Comissão de
Avaliação da Educação Superior – Conaes, criada pela mesma lei. Considerado como
uma evolução efetiva no processo de avaliação da Educação Superior Brasileira
4
Citam-se a UFSC, UnB, UEL, UFSM e outras, tais como as universidades da região Nordeste que
assinaram a carta de Recife, constante no primeiro número publicado da Revista Avaliação (ver
Avaliação, v.1, n. 1, 1996, disponível em:<
http://periodicos.uniso.br/ojs/index.php?journal=avaliacao&page=issue&op=view&path%5B%5D=59.
5
A discussão destas propostas é detalhada no documento Planejamento Educacional Brasileiro, postado
no sítio do Forum Nacional de Educação. Ver em
http://fne.mec.gov.br/images/pdf/planejamento_educacional_brasil.pdf
6
O Sinaes teve como base o documento Sistema Nacional de Avaliação da Educação Superior (Sinaes):
bases para uma nova proposta da educação superior, síntese dos estudos realizados pelos membros da
Comissão Especial da Avaliação da Educação Superior (CEA), designada pelas Portarias MEC/SESu nº
11, de 28 de abril de 2003, e nº 19, de 27 de maio de 2003
22
(WEBER, 2010, p. 1259), o Sinaes não só resgatou os princípios iniciais do PARU e
PAIUB, como estabeleceu procedimentos objetivos para sua operacionalização. Com
objetivo de avaliar as Instituições de Educação Superior (IESs), seus cursos de
graduação e o desempenho acadêmico dos seus estudantes, o Sinaes integrou três
grandes modalidades de avaliação:

A avaliação das IESs (Avalies), com o objetivo de identificar o perfil da
Instituição, sua atuação junto à comunidade, suas ações sociais, seus
projetos e programas, se utiliza de dois procedimentos básicos de
avaliação: a autoavaliação, realizada pela Comissão Própria de Avaliação
(CPA), uma comissão interna institucional que trabalha em um universo
de dez dimensões a serem avaliadas e que englobam desde os
documentos norteadores como o plano de desenvolvimento institucional
e projeto pedagógico institucional, até os aspectos relacionados à
sustentabilidade financeira da instituição; e a avaliação externa in loco,
estabelecida por meio de comissões de especialistas.

A Avaliação dos Cursos de Graduação (ACG), que identifica as
condições de ensino oferecidas pela instituição: sua infraestrutura física,
salas de aula e laboratórios, seus recursos humanos, em especial o corpo
docente e a organização didático-pedagógica. A avaliação é realizada por
meio de uma comissão de avaliadores específicos da área do curso que
dispõe de um instrumento padrão para a avaliação.

A avaliação do desempenho dos estudantes (Enade), que objetiva
estabelecer indicadores de desempenho dos estudantes no âmbito dos
conteúdos previstos nas diretrizes curriculares do curso de graduação, das
habilidades e competências mínimas requeridas para o exercício
profissional de qualidade.
O estabelecimento do novo sistema foi pautado em princípios fundamentais
(SINAES, 2004, pp. 86-93), entre os quais se destacam:

Responsabilidade social com a qualidade da educação superior;

Reconhecimento da diversidade do sistema;

Respeito à identidade, à missão e à história das instituições;
23

Globalidade, isto é, compreensão de que a instituição deve ser avaliada a partir
de um conjunto significativo de indicadores de qualidade, vistos em sua relação
orgânica e não de forma isolada e

Continuidade do processo avaliativo.
Tais princípios promoveram uma nova visão 7 sobre o processo avaliativo
institucional. Sinalizava-se a passagem de um modelo de regulação8 para um modelo de
avaliação democrática (CONTERA, 2002, p.134), em que os processos avaliativos são
baseados em colaboração e participação, ao invés de um enfoque competitivo, e os
indicadores utilizados apontariam para a qualidade institucional como um todo e não
apenas para o desempenho, que no novo sistema estaria representado por apenas uma
das modalidades, o Enade9. A avaliação das IESs brasileiras abandonava um modelo
quantitativo (o Exame Nacional dos Cursos) para um modelo misto. Contera (2002,
p.134) destaca que neste modelo, autorregulador, do ponto de vista filosófico,
[...] critica-se a racionalidade instrumental como sendo incapaz de
argumentar a qualidade valorativa dos fins com os quais se relaciona.
Recupera-se o interesse emancipatório concebido não exclusivamente
como o interesse cognoscitivo prático da ciência, como interesse
emancipador através da auto-reflexão.
Suas diretrizes caracterizaram esta intenção e, apoiados em pressupostos tanto
acadêmicos quanto políticos, estabeleciam seis pontos-chave: a participação ativa dos
sujeitos; os valores acadêmicos fundamentais; o papel das IESs como instituições
estratégicas para as políticas setoriais nas áreas científica, tecnológica e social; o papel
do Estado; o recredenciamento periódico das IESs e a implantação de um sistema de
avaliação que tenha como principal objetivo a melhoria da qualidade acadêmica e da
gestão institucional (BRASIL, 2004, p. 10-11).
Estas diretrizes apontavam diretamente para um processo de avaliação em que,
por um lado, avaliados também seriam avaliadores, de forma que “[...] o sujeito do
processo pode ser também objeto de avaliação em determinadas etapas e sempre de
acordo com as normas estabelecidas” (DIAS SOBRINHO, 2000, p. 119); o processo
7
Também poderia se dizer que o sistema resgatou e ampliou a visão concebida pelo PARU décadas
antes, que já estabelecia as diversas modalidades de avaliação.
8
9
Segundo Pedroso e colaboradores (2013, p. 58), é provável que o Brasil tenha sido o primeiro país a
utilizar o exame de desempenho de estudantes do ensino superior como uma componente permanente
em um sistema de avaliação.
24
fosse marcado pela liberdade institucional de estabelecer seus princípios norteadores e
sua relação com a realidade em que se insere e a figura da universidade considerada
como parte fundamental no estabelecimento de políticas sociais. Por outro lado se
explicitava o papel do Estado como agente regulador para a promoção contínua da
qualidade da educação superior. Este delicado equilíbrio entre autonomia institucional
em seu processo de autorregulação e regulação externa por meio do Estado é apontado
no documento inaugural do novo sistema:
(1) o deslocamento de centro de avaliação de uma prova para um
conjunto diversificado de instrumentos, (2) a integração dos
instrumentos de avaliação e de informação e dos processos avaliativos
desenvolvidos por diferentes órgãos do Ministério da Educação e dos
sistemas estaduais, (3) a valorização dos aspectos qualitativos e
interpretativos nos processos e instrumentos, (4) a institucionalização
de programas permanentes de capacitação de avaliadores, (5) a criação
e consolidação da cultura de auto-avaliação nas Instituições de Ensino
Superior, e (6) a implantação de processos de meta-avaliação.
(RISTOFF, 2004, p.179).
Ressaltam-se aqui os principais pontos de mudança do Sinaes em relação às
práticas avaliativas anteriores: a diversificação de instrumentos para atender a
pluralidade institucional; o retorno dos aspectos qualitativos nos processos avaliativos; a
natureza contínua deste processo e o aspecto formativo e emancipatório da avaliação,
pautado na investigação, autorreflexão e autotransformação institucional. Por meio da
interação entre suas três modalidades: a avaliação somativa do processo de ensino,
configurada no desempenho dos alunos no Enade, a avaliação por pares para os cursos
(ACG) e a avaliação formativa de toda a instituição, por meio do processo contínuo de
autoavaliação dirigido pela CPA – a Avalies, o sistema previa sua autorregulação, a
partir de sua meta-avaliação (prevista no item 3.3.3 na proposta original do Sinaes,
BRASIL, 2004, p. 112).
Nestes dez anos de implantação do sistema, a proposta inicial de uma dinâmica
entre as três modalidades (que efetivasse o processo de avaliação e consequentemente
obtivesse recortes adequados para a regulação) não ocorreu da maneira idealizada,
conforme demonstrado no decorrer deste trabalho. O Enade se transformou na principal
modalidade: os índices derivados dos seus resultados foram (e são) utilizados de forma
automática nos processos regulatórios de renovação de curso e a ACG somente nos
processos de reconhecimento ou nas renovações de reconhecimento em que o curso não
25
é contemplado no Enade. Quanto a Avalies, sua relação com as duas outras modalidades
é fraca ou inexistente. A relação entre Avalies e ACG se resume a um único indicador
que trata da inserção da IES no contexto socioeconômico regional, a ser elaborado pela
CPA para apreciação da comissão de avaliação externa na ACG. Não ocorre relação
direta entre Avalies e Enade e nem a Avalies é considerada de alguma forma na
construção dos índices de regulação CPC e IGC.
Espera-se que a Avalies, como processo maior de avaliação frente às duas outras
modalidades, utilize os resultados destas últimas em seu processo de autoavaliação. Mas
os resultados da Avalies, expostos nos relatórios de autoavaliação publicados
bianualmente, não são considerados no processo regulatório, ou seja, findam em si
mesmos, não provocando movimentos posteriores no sistema de avaliação.
Em relação ao Enade, apesar do CPC ter sido utilizado desde o ano 2008 pela
mídia como um índice de classificação da qualidade das IESs, não foram realizados
suficientes estudos que permitam caracterizar as relações entre os insumos utilizados
para o CPC e o desempenho dos estudantes expresso no Enade, e consequentemente
expor a “estrutura” causal entre estes insumos escolhidos como indicadores da
qualidade do curso e o índice final desta qualidade, o desempenho do estudante
concluinte. Um exame das publicações nas principais revistas científicas brasileiras
desde o final do primeiro triênio do Enade em 2006 não mostrou estudos de um ciclo
completo do Enade, apesar da preocupação dos estudiosos da área acerca da
centralização desta modalidade no processo de regulação dos cursos de graduação
brasileiros.
Diante deste panorama, propôs-se neste estudo uma investigação do Sinaes em
três movimentos: um exame interno do Sinaes com o intuito de avaliar o processo que
culminou no papel central do Enade frente às suas duas outras modalidades. Um olhar
externo ao Sinaes, contrastando-o com outro sistema no qual inexiste o exame de
desempenho dos estudantes e um terceiro movimento no qual o desempenho aferido em
um triênio do Enade é relacionado com os indicadores de qualidade utilizados no
computo do Conceito Preliminar de Curso. Com base nisto, pretende-se discutir as
potencialidades e fragilidades que o Enade apresenta em seu papel em relação às demais
modalidades do sistema – Avalies e ACG e indicar possibilidades futuras em relação ao
Sinaes, como subsídio à meta-avaliação do sistema.
26
A pesquisa desenvolvida propôs as seguintes questões:

Qual foi o percurso do Sinaes em seus dez anos de operacionalização? Como as
suas modalidades foram se configurando neste percurso de forma a culminar na
centralidade do exame do desempenho frente às demais?

Como se processa a avaliação do ensino superior português, no qual o exame de
desempenho é ausente? Que similaridades e diferenças podem ser observadas
entre os dois sistemas?

Quão justificável é o papel central do Enade no Sinaes? Quão generalizável é o
seu principal índice derivado, o Conceito Preliminar de Curso – CPC, como
indicador de qualidade dos cursos de graduação brasileiros?

Que possibilidades podem ser divisadas para o Sinaes?
Com base nestas questões orientadoras, propôs-se como objetivo geral do estudo
avaliar o papel do Exame Nacional do Desempenho dos Estudantes - Enade e dos
índices dele derivados em relação às demais modalidades do Sistema Nacional de
Avaliação da Educação Superior – Sinaes: a Avaliação dos cursos de Graduação – ACG
e a Avaliação das Instituições de Educação Superior - Avalies, contrastando o Sinaes
com o sistema português no qual inexiste o exame de desempenho, com vistas à metaavaliação do sistema. Para tanto se definiram como objetivos específicos:
1. Investigar o desenvolvimento do Sinaes desde sua implantação em 2004, a
operacionalização de suas três modalidades e, em detalhe, o processo que levou
à centralidade do Enade como modalidade principal e fonte de indicadores ao
processo regulatório.
2. Comparar os processos de avaliação realizados pelo Brasil e por Portugal,
contrastando-os em seus pressupostos e operacionalização e colhendo a
percepção dos pesquisadores portugueses da área de avaliação do Ensino
Superior com relação aos dois sistemas.
3. Caracterizar o desempenho dos cursos das IESs no triênio 2008-2010 do Enade,
por meio dos indicadores Enade e IDD publicados do exame.
4. Analisar as relações entre os indicadores considerados como insumos e o
desempenho.
5. Analisar as relações para cada área nos seguintes estratos: região federativa,
organização acadêmica e categorias administrativas.
27
6. Estabelecer o grau de generalização do índice derivado do Enade, o Conceito
Preliminar de Curso.
7. Propor possibilidades para o Sinaes, modificando em maior ou menor grau a
relação atual do Enade em relação às demais modalidades do sistema.
O primeiro objetivo foi proposto como o ponto inicial do processo de investigação:
uma análise diacrônica na estrutura interna do sistema. No segundo, procurou-se um
afastamento do sistema nacional, e sua comparação com outro sistema de avaliação. A
escolha da experiência portuguesa para esta comparação fundamentou-se nas
especificidades deste país em termos do seu sistema de avaliação e de suas políticas
educacionais, nas influências que sofreu devido à sua integração no espaço europeu de
ensino superior e na expressiva produção colaborativa na área de avaliação educacional,
expressa tanto em publicações conjuntas em revistas portuguesas e brasileiras, como no
contínuo debate realizado em eventos de ambos os países 10 . Os objetivos seguintes
justificaram-se devido ao fato de que ainda não se realizou um estudo completo de um
ciclo trienal do Enade, de forma a avaliar objetivamente suas potencialidades e
limitações no processo avaliativo. Por fim, o sétimo objetivo se autojustifica,
considerando a necessidade da avaliação do Sinaes após dez anos de operacionalização.
Os resultados da investigação foram divididos de acordo com os movimentos
anteriormente citados. No primeiro, com base na análise bibliográfica da produção
cientifica acerca do Sinaes e análise dos principais documentos a ele associados,
discute-se a operacionalização do sistema nestes dez anos desde sua implantação e a
adoção do Enade como principal modalidade do sistema.
No segundo, o processo de evolução do sistema brasileiro é contrastado com o que
ocorreu em Portugal, discutindo-se as similaridades e diferenças de ambos os sistemas
de avaliação.
No terceiro, é realizada a caracterização de um ciclo completo do Enade para que se
possa dispor de dados objetivos que permitam avaliar a extensão do uso dos indicadores
derivados do Enade no processo de avaliação da qualidade do Ensino Superior
brasileiro.
10
Destacam-se as revistas portuguesas Revista Portuguesa de Educação, Revista Lusófona de Educação,
Sísifo entre outras. Do Brasil, as revistas Avaliação, Educação e Sociedade, Revista Brasileira de
Educação e outras. Entre os eventos vale citar o Congresso Internacional de Avaliação, O Congresso
Ibero-Americano de Docência Universitária e o Colóquio Luso-Brasileiro.
28
Com o intuito de facilitar a leitura, a metodologia empregada no segundo e no
terceiro movimento está detalhada na própria seção.
Ao final são realizadas considerações acerca dos resultados encontrados e
apresentadas propostas para o Sinaes.
29
1. PRIMEIRO MOVIMENTO - O ENADE FRENTE ÀS DEMAIS
MODALIDADES DO SINAES
Para que se possa entender o processo que levou à centralidade do Enade no
Sinaes, torna-se útil examinar os princípios estabelecidos na gênese do sistema e a
relação entre avaliação e regulação 11 preconizada por este. Como já citado, em seu
documento original (BRASIL, 2004), percebe-se uma tentativa do Sinaes de aproximar
modelos distintos de avaliação: a melhoria da qualidade da Educação está em última
instância sob o olhar avaliativo da própria instituição, mas também é regulada pelo
ambiente externo, por meio de mecanismos de avaliação baseados em índices. Nesta
relação observa-se que o processo de avaliação “não se baseará exclusivamente em
pontuações, pesos e resultados quantitativos; repousará também na avaliação
qualitativa” (BRASIL, 2004, p. 131), considerada como um dos principais desafios “a
valorização dos aspectos qualitativos e interpretativos nos processos e instrumentos”
(RISTOFF, 2004, p. 179). Também se faz referência ao papel da sociedade e do Estado
na relação entre regulação e avaliação:
A criação de um sistema, combinando regulação e avaliação
educativa, em suas dimensões interna e externa, deve ser de
responsabilidade compartilhada do Estado e das instituições, mas
interessa também e sobretudo à população, que tem os direitos de
contar com um sistema educativo que cumpra com os principais
anseios e necessidades mais gerais da sociedade, e de saber como as
instituições estão realizando seus mandatos sociais relativos ao avanço
do conhecimento e à formação de cidadãos que também sejam bons
profissionais. (BRASIL, 2004, p. 22).
Mais adiante o documento explicita sua concepção de regulação. Lê-se:
Para superar a concepção e a prática da regulação como mera função
burocrática e legalista, é necessário construir uma outra lógica, com
um outro sentido filosófico, ético e político: que a regulação não se
esgote em si mesma, e, principalmente, articulada à avaliação
educativa propriamente dita, seja também uma prática formativa e
construtiva. (BRASIL, 2004, p. 88)
Tem-se aqui o ponto central da relação entre avaliação e regulação estabelecida
para o novo sistema: a regulação deve ser uma prática formativa e construtiva12, e não
11
Apesar da ênfase dada na presente pesquisa na relação dos índices derivados da avaliação nos
processos de regulação, vale notar que tais índices (principalmente o CPC e o IGC) também são
utilizados nos processos de supervisão do MEC: termos e medidas de saneamento, medidas cautelares,
suspensão de oferta de cursos e descredenciamento de instituições.
12
Ou regulação autônoma, em contraposição às práticas de monitoramento e controle periódico dos
processos educativos, por meio de regras e procedimentos instrumentais, ou seja, uma regulação de
controle. Na pesquisa este segundo conceito foi utilizado para caracterizar os sistemas investigados.
30
se limitar ao exame de resultados pontuais. Isto demonstra a intenção inicial de
submeter os índices estabelecidos no sistema à apreciação qualitativa processual. Ora,
em que tripé se assentaria a prática formativa da avaliação? Certamente não no Enade,
que tem seu resultado demarcado em ciclos claramente definidos; e não pela ACG, que
está limitada à visita periódica de um conjunto de avaliadores que não mantém uma
visão integrada entre si e nem no tempo acerca da realidade da IES avaliada. O aspecto
formativo do sistema somente se encontra na Avalies13, no processo de autoavaliação da
IES que, este sim, tem condições de realizar um exame abrangente em tempo e espaço,
com sujeitos envolvidos com a realidade institucional. Como Dias Sobrinho se refere,
“a avaliação institucional não se impõe de atos fortuitos e episódicos, conduzidos por
indivíduos aleatórios: não reconhecidos como sujeitos de um processo oficial” (DIAS
SOBRINHO, 2000, p. 115).
No entanto, finalizado o primeiro ciclo em 2007, o Sinaes passou por
transformações importantes, derivadas do fato de que sua operacionalização ofereceu
obstáculos de difícil superação, devido principalmente aos problemas relacionados à
grande demanda dos exames realizados pelos alunos ingressantes e concluintes no
Enade14 e a metodologia por amostragem utilizada. Além disso, a operacionalização das
demais modalidades, a Avalies e ACG, não possibilitou a integração das modalidades;
como consequência, a ACG foi minimizada em favor do Enade e a Avalies permaneceu
sem apreciação externa, a não ser como relatório auxiliar nos processos de
recredenciamento das Instituições de Educação Superior (IESs). Detecta-se uma
“hibridização” sofrida pelo Sinaes:
Os três pilares que constituem o Sistema atualmente são derivados das
experiências anteriores [...]. A cumulação dos mecanismos de
avaliação foi realizada sem considerar que cada um deles é produto de
valores e paradigmas divergentes: a visão formativa/emancipatória do
PAIUB, fundada na participação e na autonomia institucional, a visão
somativa da Avaliação das Condições de Ensino e o mecanismo de
ranking do Provão. (BARREYRO & ROTHEN, 2006, p. 971).
13
O que exige uma Avalies forte o suficiente para que tenha condições de realizar o processo mais
complexo dentre as três modalidades.
14
Em 2007, 189.614 alunos prestaram o exame, dos quais 118.610 ingressantes e 71.004 concluintes.
31
Com isso ocorre uma redução da avaliação para se adequar à premência da
regulação, dificultada pelo universo de IESs 15 , o crescente aumento no número de
cursos de graduação e também no número de alunos. A centralidade do Enade na
interação entre as três modalidades de avaliação se explicita com a publicação de
índices cuja construção depende em boa parte do desempenho alcançado pelos alunos
no exame, apresentando claramente a “[...] lógica do input/output e o critério da
eficiência como padrão predominante da avaliação” (SANTOS FILHO, 2000, p. 44),
constituindo os critérios base para o processo de regulação.
Neste momento, após dez anos desde sua implantação, uma visão retrospectiva é
possível de ser estabelecida para a operacionalização do Sinaes. Grosso modo, três
períodos distintos podem ser percebidos:

O primeiro ciclo (2004-2006) no qual a principal fonte de discussão acerca do
novo sistema de avaliação recaiu sobre a metodologia de amostragem para o
Enade, culminando com sua transformação para um exame censitário em 2008
(ROTHEN & BARREYROS, 2011, p. 32), em uma configuração similar ao
anterior exame nacional de cursos, o “Provão”.

Um segundo ciclo (2007-2009) em que uma nova reformulação do Enade é
realizada, o desempenho dos estudantes ingressantes não é mais utilizado para a
composição do conceito Enade final do curso, e o Enade passa a ser utilizado na
construção de novos índices: o conceito preliminar do curso (CPC) e o índice
geral de cursos (IGC).

Um terceiro período (o ciclo avaliativo de 2010-2012) em que as reformulações
do Sinaes recaem na construção do CPC, cujo algoritmo sofre modificações em
termos que composição: os ingressantes não mais realizam o Enade e um dos
índices que compõe o CPC e resulta do desempenho dos ingressantes, o IDD,
passa a ser calculado com base no desempenho dos estudantes ingressantes no
Exame Nacional do Ensino Médio, o ENEM (de acordo com a nota técnica
número 29, BRASIL, 2012).
Paralelamente a isto, os instrumentos de avaliação externa (a ACG) também sofrem
reformulações em seus algoritmos, tanto na composição dos indicadores quanto nos
15
Entre 2000 e 2008 o número de IES cresceu de 1.637 para 2.252, configurando um aumento de mais de
30% em oito anos. Ver resumo técnico do Censo da Educação Superior, disponível em:
http://download.inep.gov.br/download/censo/2008/resumo_tecnico_2008_15_12_09.pdf
32
pesos de cada um deles. Uma visita ao sítio do Inep16 mostra o total de notas técnicas
relativas aos índices Enade, IDD, CPC e IGC, e comprovam a constante reelaboração
dos índices de desempenho institucional.
Desde 2007, notas técnicas17 foram lançadas relativas à modificação destes índices,
alterando ou aperfeiçoando o tratamento numérico. Número inferior é visto para as
reformulações dos instrumentos de avaliação externa da ACG, mas reformulações
destes instrumentos ocorreram durante o período18, parte delas relativas à avaliação da
crescente modalidade à distância. Em contrapartida, o manual de orientações do
processo de autoavaliação da IES, base para o terceiro eixo do “tripé” do Sinaes, a
Avalies, permaneceu inalterado desde 200419, ou seja, do ano de implantação do Sinaes.
Interessante notar que a Avalies é das modalidades do sistema aquela que possui forte
carga qualitativa, derivada do obrigatório processo de autorreflexão que uma
autoavaliação demanda.
A centralidade do Enade no sistema de avaliação, sua utilização na regulação e na
publicação de “ranqueamentos” parecem mostrar que a “qualidade da educação
resumiu-se ao rendimento escolar, ou à performatividade, estimulando ansiedades e a
competição” (GARCIA, 2010, p. 453). De fato, o Enade tem sido a fonte predominante
de indicadores para o processo regulatório, culminando no disposto pela Portaria
Normativa MEC 4/2008 (BRASIL, 2008) que estabeleceu a dispensa de avaliação in
loco para os cursos que obtivessem CPC acima de três. Isto representa um marco na
subordinação das modalidades de avaliação do Sinaes, pois, a partir daí, a ACG torna-se
opcional de acordo com o resultado apontado no Enade. E a Avalies? Esta já é
subordinada, pois seus resultados são utilizados somente como base inicial do processo
16
Desde 2008 foram 18 notas técnicas publicadas até 2015, ver em http://portal.inep.gov.br/notastecnicas.
17
Em especial as notas técnicas referentes ao conceito Enade e ao CPC, reformuladas em 2008, 2009,
2010 e 2013. Em 2012 a nota técnica número 29 incluiu o desempenho dos estudantes no ENEM no
cálculo do IDD. Em 2013 a nota técnica número 72 reformulou os insumos de organização pedagógica
e infraestrutura do CPC. Ver em http://portal.inep.gov.br/notas-tecnicas
18
Ver as portarias referentes a estas reformulações em http://portal.inep.gov.br/superiorcondicoesdeensino-legislacao_normas. No sítio estão postados 20 links que remetem a instrumentos de
avaliação e suas atualizações, referentes a credenciamentos de IES, autorizações, reconhecimentos e
renovação de reconhecimentos de cursos.
19
Em 9 de outubro de 2014 foi publicada a nota técnica número 65 do Inep: um novo roteiro para o
relatório de autoavaliação institucional, que propõe uma estrutura para o relatório, sem sugerir
indicadores de avaliação como o manual de orientações de 2004.
33
avaliativo da ACG e no exame de um indicador de avaliação específico 20 para a CPA.
Temos assim um percurso de subordinação explicitado: AvaliesACG Enade.
Tem-se desse modo uma prática desarticulada entre as três modalidades que
compõem o Sinaes: o Enade gerando um conjunto de índices utilizados
majoritariamente no processo regulatório, a ACG e Avalies externa gerando índices (o
conceito do curso CC e seu par institucional o conceito institucional, o CI) que, ou são
submetidos a uma “revisão” pelo Enade, como é o caso do CC em relação ao CPC, ou
não estabelecem relação, como é o caso do CI e do IGC, e a Avalies, cujos resultados de
avaliação não são utilizados no processo regulatório, a não ser como coadjuvante da
ACG. A operacionalização do Sinaes demonstra que a já citada subordinação entre as
três modalidades é inversamente proporcional à natureza qualitativa e autorregulatória
de um processo de avaliação: a modalidade principal, o Enade, limitado ao desempenho
do estudante, pontual e somativo; a ACG, como modalidade intermediária na
subordinação, vinculada a um conjunto maior de dimensões de avaliação que não
somente o desempenho, mas submetida ao olhar pontual dos avaliadores externos em
sua visita a IES, e a Avalies, que, além de abranger todo o universo institucional, conta
com um processo contínuo de autorreflexão, mas permanece como a modalidade mais
subordinada do processo.
Esta polarização no processo de avaliação reporta-se a discussões amplamente
realizadas em países em que o processo de avaliação assemelha-se atualmente ao que
foi chamado por Shore (2009, p.32) como cultura de auditoria:
Auditorias, indicadores de desempenho, exercícios de comparação
competitiva, ranking de universidades, gerenciamento por metas,
exercícios punitivos de classificação de pesquisa e avaliações
periódicas da qualidade de ensino são as tecnologias que foram usadas
para disseminar os métodos de novo gerenciamento público na
governança de universidades.
Weber explicita a preocupação com relação à ênfase dada ao desempenho dos
estudantes na avaliação geral da instituição ao expor que esta característica “... finda por
transformar a proposta do Sinaes de avaliação como processo formativo em simples
avaliação de resultados.” (WEBER, 2010, p. 1264).
20
Presente no novo instrumento de avaliação externa, de 2013, homologado pela Portaria nº 92, de 31 de
janeiro de 2014. Nele consta o requisito legal número 7 que prevê a obrigatoriedade da CPA e o
indicador 5.6 que trata da infraestrutura para esta.
34
Tais índices têm sido foco de debate na comunidade acadêmica. Uma das
variáveis discutidas na composição do índice geral de cursos (IGC) é a composição do
corpo docente. Peixoto analisou os resultados das universidades que obtiveram
conceitos gerais mais elevados no período 2008-2009 e concluiu que: “[...] as
universidades analisadas não são homogêneas no que se refere à capacidade de
produção de conhecimento, a abrangência e qualidade da sua pós-graduação e na
composição de seu corpo docente” (PEIXOTO, 2010, p.32).
Outros autores especificam a problemática encontrada na formulação do índice
geral de cursos em relação aos insumos relativos ao corpo docente, contrastando a
realidade das IESs federais com as privadas. Citando Bitencourt, Casartelli e Rodrigues
(2009, p. 679):
Um aspecto adicional que merece ser revisto é a forma de pontuar os
percentuais de doutores nas IES. Hoje, por exemplo, uma IES que
cumpre com o requisito de 1/3 de doutores fica com uma pontuação
muito baixa neste quesito, especialmente devido aos altos índices de
doutores nas universidades federais. O mesmo ocorre em relação a
professores em regime de tempo integral.
Trabalhos como o de Embiruçu, Fontes e Almeida (2010) propõem uma métrica
mais completa para a avaliação do desempenho docente, que utiliza indicadores de
ensino, pesquisa e extensão, como suporte à avaliação das instituições, complementando
variáveis como titulação e regime de trabalho.
Outras variáveis utilizadas para a construção dos índices, tais como a opinião
dos alunos acerca da infraestrutura e organização didático-pedagógica, também são
objetos de crítica:
Uma das limitações desta sistemática é que a avaliação dos
equipamentos e da organização dos planos de ensino é realizada pelos
alunos. Ouvir a percepção do aluno é lúcido e desejável. Contudo,
tomá-la como referência para a regulação do sistema parece absurdo.
(ROTHEN E BARREYROS, 2011b, p. 31).
Tais discussões refletem a preocupação da comunidade acadêmica envolvida
com a avaliação sobre a utilização de índices de aferição da qualidade da educação
superior brasileira promovida pelo Sinaes, tanto na sua adoção como parâmetro de
regulação quanto na sua composição.
35
Já se observou na prática a adoção da performatividade 21 como critério
avaliativo, por meio dos indicadores da eficiência institucional (os já citados Enade,
IDD, CPC e IGC), típicos de um modelo sinalizado no corpo da proposta do Sinaes,
para efeito de distinção com sua proposta baseada no modelo holandês de avaliação:
“[...] de um lado está o modelo de inspiração anglo-americana baseado em sistemas
predominantemente quantitativos para produzir resultados classificatórios” (BRASIL,
2004, p.16-17). Esta performatividade é detalhada pelas características citadas por
Santos Filho (2000, p. 44): o “predomínio da racionalidade instrumental, a prevalência
do tecnicismo, a regra da lógica do input/output e o critério da eficiência como padrão
predominante da avaliação” e se tornam os critérios base para o processo de avaliação,
tendo em vista o caráter facilitador destes índices nos processos de comparação e
classificação. Ball (2010, p. 45) descreve estas vantagens da performatividade:
Além de suas funções oficiais, como respostas à responsabilização,
ambos os aspectos principais da performatividade educacional –
comparação e mercadorização – estão relacionados ao fornecimento
de informação para consumidores dentro do fórum do mercado
educacional. E esses são, portanto, também diferentes modos de fazer
as escolas e universidades mais responsivas ou ao menos
aparentemente responsivas aos seus consumidores.
No entanto, corre-se o risco de reduzir o papel da universidade. Goergen, quando
diz que “a universidade não se restringe ao sistêmico, como quer o olhar empresarial
quando, por exemplo, tenta aplicar o conceito de qualidade total a academia”
(GOERGEN, 2000, p. 155), destaca o perigo deste alinhamento com o mercado, que
passa por deixá-la longe do seu papel principal, que seria o de investigar e explorar o
conhecimento por si.
Na raiz do problema está o posicionamento quase sempre incorreto da
quantificação nos processos de avaliação. Como explicita Dias Sobrinho: “A medida é
um recurso que às vezes se utiliza para facilitar as consequentes operações avaliativas
[...] a medida apresenta o objeto através de instrumentos específicos e em geral organiza
os resultados em forma quantitativa” (DIAS SOBRINHO, 2000, p. 122). Configurações
quantitativas de um objeto deve ser o início do processo avaliativo e não o seu fim. Diz
ainda Dias Sobrinho (2000, p. 129):
21
No sentido dado por Ball (2010, p. 38): “[...] uma tecnologia, uma cultura e um modo de regulação [,,,]
um sistema que implica julgamento, comparação e exposição”.
36
É uma deturpação qualificar e classificar ordinalmente as instituições
ou parte delas por critérios de produtividade baseados em
quantificações de extensão, volume e números de aspectos e
categorias isolados para fins de análise como se eles fossem a
realidade e não índices parciais da realidade.
No entanto, é mais comum observarmos a apresentação de estatísticas como
produto final de uma avaliação com vistas à tomada de decisão do que como ponto de
partida. Exemplos dessa inversão do papel da quantificação em avaliação não faltam.
Basta um exame do relatório da Unesco acerca da educação mundial (UNESCO, 2009,
pp. 73-75): o cálculo do um índice de paridade de gênero, que deveria ser o início de um
processo investigativo é apresentado como o fim do processo, como se por meio de um
único indicador se pudesse captar a realidade socioeducacional de um povo ou nação,
suas nuances e necessidades.
A complexidade que uma avaliação exige não deve ser empecilho para sua
consecução, e por isso é fundamental que o processo seja de fato um processo, e não um
recorte pontual. Dias Sobrinho afirma: “[...] informações objetivas que constituem a
dimensão fatual de uma realidade ainda não realizam propriamente a avaliação, embora
sejam imprescindíveis para qualquer processo avaliativo” (DIAS SOBRINHO, 2000, p.
120). Isso mostra que por maior que seja o esforço a ser despendido para a consecução
da avaliação, ele é necessário para que o processo menor de regulação possa ser
realizado. Caso contrário, a regulação se impõe à avaliação por seu movimento mais
pontual e menos complexo.
A redução da realidade complexa que permeia uma instituição de educação por
meio da descrição de índices implica perigo maior do que a redução da avaliação à
regulação. A vinculação de tais índices ao “desempenho do produto final”, a exemplo
do que ocorre com os índices CPC e IGC derivados do Enade, causa um nivelamento
entre a educação e a produção material humana. O estabelecimento de tal nivelamento
cria uma lógica difusa e mista em que certos mecanismos e procedimentos típicos da
produção em larga escala são aplicados no contexto educacional, comumente designada
como lógica de quase-mercado22. Nesta lógica, a instituição perde parte de sua natureza,
sob a necessidade imperiosa da simplificação e comparabilidade. Como Ball pontua,
“organizações complexas como escolas e universidades são diversas e multifacetadas,
22
Segundo Afonso: “[...] uma série de mecanismos e dispositivos que favorecem o desenvolvimento de
lógicas e valores de mercado, mas que não são rigorosamente mercado”. (AFONSO, 2010, 1144-1145).
37
ainda que sejam, às vezes, sobremaneira contestadas e, frequentemente, contraditórias”
(BALL, 2010, p. 44).
As quantificações raramente admitem contradição em seus descritores, e a
educação se vê na tarefa de se reduzir para se adaptar ao processo de regulação ao
quase-mercado. Os sujeitos também são adequados a esta lógica:
Profissionalidade é substituída por responsabilização, coleguismo por
competição e comparação inter-pessoal de performances. Essas são
formas de poder que são concebidas e reproduzidas por intermédio da
interação social, na vida cotidiana das instituições. (BALL, 2006, p.
15).
A construção dos índices utilizados pelo Sinaes obedece a esta lógica. Sigamos a
sequência lógica dos índices atuais23: do desempenho dos estudantes concluintes dos
cursos de graduação produz-se o Enade contínuo e seu equivalente qualitativo, o
conceito Enade, em uma escala estatisticamente padronizada e posteriormente
categorizada em valores que variam de 1 a 5. Posteriormente, o desempenho dos
estudantes ingressantes de cada curso no ENEM é utilizado para produzir o indicador de
diferença entre o desempenho esperado e observado, o IDD. Estes dois índices são
utilizados na elaboração do CPC, com pesos relativos24 de 20% para o Enade e 35%
para o IDD. Os demais 45% dos pesos do CPC ficam distribuídos entre o percentual de
mestres (7,5%), doutores (15%), docentes em tempo integral (7,5%) e pelas notas
atribuídas pelos alunos aos equipamentos disponíveis para aulas práticas (7,5%) e
completude dos planos de ensino (7,5%). Observa-se a importância do Enade no CPC:
70% do computo é derivado do exame25, desempenho e opinião dos alunos. Segue-se ao
CPC o IGC, a partir da média ponderada dos CPCs dos cursos da IES somado ao
conceito Capes dos cursos de pós-graduação stricto sensu. A regulação prevê que cursos
com CPC maior ou igual a 3 ficam dispensados da avaliação in loco, caso queiram, e as
IESs com IGC maior ou igual a 3 também ficam dispensadas da ACG.
Em outras palavras, o desempenho dos estudantes no Enade determina se uma
avaliação geral da IES é necessária ou não, um exemplo do que Ball descreve como
23
Preferiu-se aqui recorrer à forma atual de composição do índice, que se utiliza do desempenho dos
ingressantes no Enem para o cálculo do IDD.
24
Nota-se a modificação dos pesos na composição atual do CPC em relação àquela utilizada até 2010.
25
Um aumento de 10% do peso em relação ao que foi estudado neste trabalho, significando uma
centralização ainda maior no exame após 2010.
38
“ferramentas de monitoramento da performance” (BALL, 2012, p. 28). Performance26
passa a ser a condição principal para a qualidade educacional, explicitado no documento
oficial do MEC intitulado “Manual dos indicadores de qualidade” em que se descreve
os algoritmos computacionais destes índices (BRASIL, 2011).
Outra característica que emerge da construção dos índices é seu refinamento
computacional, inteligível a poucos da área educacional, apontando para um
desenvolvimento típico das tecnologias associadas ao que Ball define como fabricação.
De fato, examinemos a seguinte afirmação:
Entretanto, o trabalho da fabricação aponta para um segundo
paradoxo. Tecnologias e cálculos que se apresentam como meios para
tornar as organizações do setor público mais transparentes podem, na
verdade, torná-las mais opacas, uma vez que artefatos
representacionais são construídos com cada vez mais deliberação e
sofisticação. (BALL, 2010, p. 45).
A afirmação nos remete à construção do CPC e IGC que, sob a ótica da
transparência, em que a avaliação é realizada por meio de insumos claramente
identificados na equação do índice, o que temos é um artefato representacional
sofisticado, balizado por meio de uma equação de regressão linear múltipla, mas que
nada indica da qualidade dos cursos de pós-graduação que fazem parte do índice, nem
da qualidade do docente em tempo integral da instituição ou da qualidade dos planos de
ensino opinada pelo aluno, para dar alguns exemplos acerca dos insumos utilizados na
construção destes índices.
Avançando no processo, tem-se a publicação dos índices como estratégia final
de atendimento à lógica do quase mercado. Um exemplo disto pode ser visto no
cadastro nacional das Instituições de Educação Superior, disponibilizado no site do eMEC (http://emec.mec.gov.br/), que não realiza ranqueamento entre as IESs, mas
disponibiliza os resultados dos cursos e das IESs em termos dos índices aqui discutidos,
sem obviamente fazer qualquer referência ao processo de autoavaliação da IES,
considerado pelo governo como um processo interno e de responsabilidade da IES em
termos de sua divulgação à comunidade.
26
Performance na acepção de Ball (2010, p.38): “desempenhos de sujeitos individuais ou de
organizações que servem de parâmetros de produtividade ou de resultado, ou servem ainda como
demonstrações de “qualidade” ou “momentos” de promoção ou inspeção”.
39
Em resumo, em dez anos de operacionalização do Sinaes, o Enade tomou a
frente às demais modalidades, tanto por sua dimensão quanto sua característica técnicoinstrumental. Na distribuição de esforços, pesou em muito o fato de que o universo da
Avalies é de cerca de 2.500 IES, a ACG com 12.000 cursos e o Enade, a cada ano,
quase 200.000 concluintes. Além disso, o principio cartesiano-positivista da
neutralidade não é respeitado na Avalies, na qual avaliador e avaliado se confundem;
nem na ACG, na qual o avaliador externo é par do avaliado, enquanto que no Enade, o
desempenho do aluno é considerado medida neutra e suficientemente distante na
composição do desempenho institucional. Além disso, o desempenho é um produto
mensurável do processo, mais simples de ser apreendido pelo público não especializado
do que os juízos de valor.
Este exame da interrelação das modalidades do Sinaes permite estabelecer as
seguintes conclusões acerca do percurso do sistema e da centralidade do Enade frente às
demais modalidades:

A proposta inicial de articulação das três modalidades que constituem o Sinaes
não foi efetivada, devido principalmente à dimensão do Enade em relação às
demais e sua natureza técnico-instrumental.

A complexidade do processo avaliativo foi reduzida a verificação do
performance do curso e da IES, computadas a partir do desempenho do aluno no
Enade.

O Enade tornou-se central no processo regulatório, constituindo-se na
modalidade geradora do principal índice de regulação, o Conceito Preliminar do
Curso – CPC.

As demais modalidades, ACG e Avalies, aprimoraram-se em graus menores do
que o Enade, e a Avalies não foi considerada no processo de regulação.

A utilização de índices de desempenho priorizou a dimensão quantitativa do
processo avaliativo.

Os índices derivados no Enade foram se complexando nos dez anos de
operacionalização do sistema, tornando-se de difícil compreensão para o público
não especializado.
40

A construção e publicação dos índices relativos ao curso e a IES e suas
consequências atendem uma lógica de produção em larga escala, nivelando o
processo educacional a produção material.
O próximo movimento dedica-se a um exame do Sinaes visto externamente, em
um contraste com o processo de acreditação de ciclos realizado em Portugal, por meio
da Agência de Avaliação e Acreditação do Ensino Superior de Portugal – A3ES, no
qual inexiste o exame de desempenho.
41
2. SEGUNDO MOVIMENTO – O SISTEMA DE GARANTIA DA QUALIDADE
DO ENSINO SUPERIOR DE PORTUGAL E O SISTEMA NACIONAL DE
AVALIAÇÃO DA EDUCAÇÃO SUPERIOR DO BRASIL: uma perspectiva
comparada
Examinou-se aqui a evolução e a situação atual de Portugal no contexto europeu
da regulação do ensino superior, com vistas a estabelecer uma perspectiva comparada
com o sistema nacional brasileiro. Caracterizou-se especificamente o fenômeno
europeu, investigando a evolução da situação portuguesa até os dias atuais. A partir daí
foram estabelecidas análises comparativas entre o sistema de avaliação português,
operacionalizado pela A3ES e o Sistema Nacional de Avaliação da Educação Superior
brasileiro – Sinaes, conduzido pela Comissão Nacional de Avaliação da Educação
Superior (Conaes) pela Secretaria de Regulação da Educação Superior (Seres) e
Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (Inep), identificando as
similaridades e especificidades em ambos os sistemas.
Os sistemas de avaliação europeus existentes no Ensino Superior têm suas
origens na implantação da universidade moderna ao final do século dezenove, quando o
Estado assume um papel central, e atua “como regulador único do sistema de ensino
superior recorrendo aos mecanismos tradicionais de regulação pública” (AMARAL e
MAGALHÃES, p. 9). Segundo Neave (2001, p. 215), pertence à Suécia o título de
primeiro país europeu a estabelecer um sistema unificado de educação superior. A partir
daí, a década de 1980, sobretudo nos seus anos finais, marca o estabelecimento concreto
de sistemas de avaliação com fins regulatórios, com destaque nos Estados Unidos e
Reino Unido (em seguida os demais países da comunidade britânica), mas com
dispositivos legislativos específicos criados em países europeus como a França,
Holanda, Alemanha e Itália e, mais tardiamente, Espanha e Portugal. Este movimento,
configurado no que se denominou de “Estado Avaliador” 27 , apresenta características
que o distinguem do que até então existia: sua dimensão técnica associada à
produtividade, seus indicadores e suas medidas de referência, isto é, seus padrões
estandardizados e seus critérios mínimos de qualidade.
27
Segundo Neave, o Estado avaliador seria uma reconfiguração das funções e poderes do Estado em
relação à Educação Superior, em um movimento do centro para a periferia. O Estado, no centro,
conservaria seu poder sistêmico e global com um mínimo de sistemas políticos de controle, e delegaria
a instâncias intermediárias a operacionalização dos demais processos relacionados à regulação do
ensino superior. (NEAVE, 1988. p.7).
42
No caso específico da Europa, o desenvolvimento do “Estado Avaliador” e seus
desdobramentos a posteriori tiveram como principais impulsionadores: o crescente
número de estudantes no ensino superior, a insuficiência de fundos públicos e a gradual
e constante integração econômica e política da região (NEAVE, 2001, p.32). No
primeiro, transformações qualitativas acompanharam o aumento quantitativo: o perfil
etário dos estudantes foi se diversificando, tanto pela entrada de mais jovens quanto de
mais velhos, estes últimos devido ao surgimento do que foi rotulado como educação
continuada para a vida. Além disto, a duração dos cursos superiores sofreu redução,
com ciclos mais curtos e cursos modulares. Este processo foi acompanhado por uma
diversificação de áreas de estudo, com a entrada de novas áreas de conhecimento,
notadamente aquelas ligadas à tecnologia das engenharias, informação e comunicação,
ao mesmo tempo em que a formação genérica passou a ser desejada nos ciclos mais
curtos para uma (suposta) absorção mais ampla pelo mercado profissional. Por fim, o
espaço educativo no ensino superior se transformou com o surgimento da educação a
distância, das universidades on-line. Tal cenário também se observou no Brasil, com
cerca de dez anos de diferença em relação à Europa.
Esta ampliação do ensino superior não foi acompanhada pelo aumento do
financiamento público. Restou à própria instituição prospectar na iniciativa privada e no
mercado consumidor, o estudante, a complementação necessária a sua sobrevivência.
Semelhante ao que ocorre em qualquer empresa, as instituições de ensino superior
públicas (e mais notadamente as universidades, dotadas de infraestrutura física,
organizacional e humana em maior escala) se viram na tarefa de diversificar suas fontes
de financiamento, antes atreladas somente ao Estado, o que resultou em uma
minimização da fronteira entre ensino público e privado. Aliado a isto se ampliou a
competição entre instituições, não tanto pela excelência do conhecimento produzido e
propagado por estas, mas por sua eficiência em promover as parcerias mais vantajosas.
A integração econômica e política da comunidade europeia se constituiu no
terceiro fator promotor da atual política de regulação do ensino superior. Antes
caracterizadas por sua estreita relação com o conhecimento humano, as universidades se
veem agora mais próximas das atividades produtivas (descrito anteriormente no
segundo fator) e, portanto, da dinâmica econômica dos países. À medida que a
economia europeia (e mundial) integra-se cada vez mais em um mercado comum, e os
movimentos políticos se ajustam a essa integração econômica (e vice-versa, mas a meu
43
ver, com predominância da economia nesta relação), o ensino superior tem seu principal
“produto” transformado do conhecimento puro para o imediatamente útil à sociedade.
Isto ocorre em uma sociedade cuja relação com o conhecimento tem seu
desenvolvimento caracterizado por duas facetas: uma gradual dependência humana dos
dispositivos tecnológicos e a consequente padronização do seu uso. Assim, tornou-se
imperativo a existência de mecanismos capazes de acompanhar (e regular) as
performances das instituições no alcance dos objetivos a que se propõem, de forma a
que se possam aplicar tais mecanismos indistintamente da localização ou contexto
regional em que se insere a instituição. Estabelece-se a tríade mercado consumidorsuporte financeiro-integração regional e global, como fato para o desenvolvimento de
sistemas de avaliação da qualidade do ensino superior em escala europeia.
Ambos, Portugal e Brasil incluem-se neste processo maior de estruturação dos
sistemas de avaliação para regulação do Ensino Superior. O Estado português, como se
verá mais adiante, alinha-se aos processos de acreditação posteriormente a maioria dos
países da comunidade europeia, à exceção talvez de Espanha. De fato, sua agência
avaliadora e acreditadora, a A3ES, é uma das mais novas agências na comunidade 28. O
Sinaes, por sua vez, como já observado anteriormente, foi estabelecido dez anos depois
de um movimento que poderia ter se configurado em um sistema de avaliação
autogerado pelas instituições de ensino nacionais, o Programa de Avaliação das
Universidades Brasileiras – PAIUB (BRASIL, 1993; 1994). De forma similar ao
contexto português, o Estado brasileiro se viu diante da crescente expansão da educação
superior na década de 1990 e da consequente necessidade de regulação das entradas e
saídas deste novo processo.
Considerando que os sistemas de avaliação brasileiro e português podem ser
investigados dentro do fenômeno mundial de reconfiguração das funções do Ensino
Superior, percebeu-se a necessidade de uma ampliação da visão do sistema brasileiro
realizada no primeiro movimento da tese, de forma a captar o Sinaes como um todo e
não analiticamente em suas partes. Nesta fase, tornou-se necessário o exame comparado
deste com outro sistema de avaliação em um contexto que seja suficientemente próximo
28
Das 41 agências (membros ou associadas) da European Association for Quality Assurance in Higher Education
- ENQA, somente cinco foram criadas após a A3ES, conforme a informação divulgada no sítio da
ENQA, ver http://www.enqa.eu/.
44
ao brasileiro para que se possam investigar processos com raízes em comum, mesmo
que com operacionalizações distintas.
Este movimento, portanto, teve como objetivo comparar os sistemas de
avaliação e regulação de Portugal e do Brasil, além de investigar a percepção de
pesquisadores portugueses da área de avaliação do Ensino Superior com relação a tais
sistemas. Para tanto, foi realizada uma pesquisa bibliográfica para captar a evolução dos
movimentos relacionados ao Ensino Superior de Portugal, e mais especificamente suas
teorias e práticas avaliativas até culminar com a presença da agência de avaliação e
acreditação, investigando os principais êxitos e desafios que o sistema português tem
apresentado. Além disto, a pesquisa captou a percepção dos especialistas em relação aos
processos de avaliação do ensino superior português e brasileiro. Pretendeu-se com esta
pesquisa fornecer informações qualitativas como subsídio para a meta-avaliação do
Sinaes, que em dez anos de existência necessita de revisões críticas no que se refere a
sua operacionalização.
Cabe ressaltar que, desde 2012, existe um projeto de lei brasileiro que modifica
sua atual configuração 29 , pelo qual os processos de regulação, hoje conduzidos pela
Seres, seriam transferidos para uma autarquia do MEC denominada Instituto Nacional
de Supervisão e Avaliação da Educação Superior (INSAES), a exemplo do que já ocorre
com os processos de avaliação conduzidos pelo Inep.
A decisão de se utilizar o sistema português como um elemento comparativo na
meta-avaliação do Sinaes se fundamenta na semelhança das trajetórias de avaliação
entre os dois países, ambos inseridos tardiamente no contexto de regulação do ensino
superior mundial30, com experiências realizadas na avaliação sob inspiração do modelo
holandês 31 e, como citado anteriormente, na produção científica conjunta na área de
avaliação. Assim, também se tornou relevante investigar a percepção dos pesquisadores
portugueses em relação à experiência obtida nos ciclos de avaliação anteriores, quanto
nos conduzidos pela A3ES, pois, apesar do Brasil ainda não ter estabelecidas políticas
29
O projeto de lei PL 4372 de 2012 foi aprovado em 12 de junho de 2013 na Comissão de Educação e
Cultura da Câmara dos Deputados e aguarda parecer favorável do Relator na Comissão de Constituição
e Justiça e de Cidadania (CCJC).
30
Considerou-se esta “entrada” a criação, em 2004, do Sinaes no Brasil e da A3ES, em 2007, no caso
português.
31
A primeira experiência portuguesa em um sistema de regulação teve como inspiração o modelo
holandês de avaliação, como ser verá adiante. O Sinaes faz, em sua proposta original, referência
específica a este modelo de avaliação (ver BRASIL, 2004, pag. 16).
45
específicas de acreditação32, segue a tendência de outros países da América Latina nesta
direção (CATANI, 2009, p.578), e estes, por sua vez, têm suas “políticas de avaliação e
acreditação [...] afetadas pela agenda internacional” (LEITE; GENRO, 2012, p. 778).
Tal percepção não seria possível de ser coletada em outro contexto que não o português,
visto que a realidade brasileira em relação às políticas para o Ensino Superior é mais
bem conhecida pelos pesquisadores portugueses do que a de outras nacionalidades.
Este breve exame da situação portuguesa em relação à avaliação do Ensino
Superior permite perceber sua utilidade em lançar luz sobre o momento atual de
reconfiguração do Sinaes brasileiro, tanto por sua inspiração no modelo holandês de
avaliação quanto por sua operacionalização de cunho racional-tecnológico. Com isso,
espera-se compreender suficientemente a dinâmica portuguesa e seus processos de
avaliação e regulação, ampliando a visão destes em relação à situação brasileira e desta
forma aprimorando as discussões e proposições a serem estabelecidas nesta tese.
2.1 Percurso metodológico
Este movimento foi desenvolvido essencialmente por meio de uma abordagem
qualitativa, considerando-se duas atividades de recolha de dados: a primeira consistiu
em uma pesquisa bibliográfica documental da produção técnica e acadêmica acerca da
avaliação portuguesa do ensino superior, e sua contextualização no panorama do Ensino
Superior português. Para tanto buscaram-se as principais revistas portuguesas da área,
além das publicações dos pesquisadores portugueses em publicações de outros países, e
particularmente no Brasil. A segunda, de cunho empírico, consistiu na elaboração,
aplicação e análise de uma entrevista semiestruturada feita a quatro especialistas
portugueses em ensino superior, com intuito de captar suas percepções com relação ao
momento português de avaliação sob a égide da A3ES, a agência nacional de
acreditação, além de coletar opiniões, quando possível, acerca do sistema brasileiro de
avaliação e sua atual operacionalização. A escolha dos pesquisadores justificou-se por
sua qualificação na área de Políticas do Ensino Superior, e sua familiaridade com o
32
Apesar da ausência de uma politica específica de acreditação o país participa do sistema ARCU-SUL,
no âmbito do Mercosul, que realiza acreditação de cursos de graduação nas áreas de Arquitetura,
Agronomia, Enfermagem, Engenharia, Medicina, Odontologia e Veterinária. Segundo Barreyro, Laboria
e Hizume (2015, p. 65), dos quatro países participantes até 2012, a Argentina é aquele com mais cursos
acreditados (37), seguido pelo Paraguai com 18 cursos e Uruguai com 11 cursos. O Brasil realizou em
2015 processos de avaliação em cursos de Odontologia, sendo convidados somente cursos com CPC 4 ou
5, mas os resultados da acreditação ainda não foram publicados.
46
desenvolvimento do sistema de regulação brasileiro. Dois entrevistados pertencem ao
Centro de Investigações de Políticas de Ensino Superior (Cipes) de Portugal.
As entrevistas semiestruturadas tiveram como suporte um roteiro (Apêndice A)
que estabeleceu questões relativas aos sistemas português e brasileiro. As questões
sobre Portugal tiveram como foco o papel da agência na regulação do Ensino Superior,
suas práticas e seu alinhamento com a política europeia para o Ensino Superior. Quanto
ao Sinaes, a entrevista procurou investigar a percepção dos pesquisadores em relação
aos princípios adotados pelo sistema e sua prática distinta em relação a Portugal: a
presença de uma autoavaliação institucional e de um exame de desempenho do
estudante. As entrevistas foram realizadas nos meses de novembro e dezembro de 2014,
nos locais de trabalho dos entrevistados, transcritas e editadas para posterior análise.
Na análise das entrevistas, as categorias de análise foram estabelecidas de forma
preliminar por meio da análise documental prévia, e, após, a partir de análise de
conteúdo aplicada às entrevistas, conforme preconizado por Bardin (2011). Apesar das
categorias de análise terem sido estabelecidas a priori, de acordo com o desenho
comparativo derivado da análise documental prévia, procurou-se construir outras
categorias de acordo com os conteúdos encontrados na entrevista, tendo em vista que o
caráter semiestruturado desta possibilitou a expressão livre do entrevistado acerca de
outros temas relacionados ao principal tema do estudo. Assim o quadro final das
categorias foi concluído levando-se em consideração as duas fontes de dados.
Tal metodologia se mostrou indispensável para ampliar a compreensão acerca do
objeto de estudo, analisado quantitativamente no terceiro movimento desta tese.
47
2.2 A Educação Superior em Portugal
A Educação Superior em Portugal pode ser caracterizada em três fases distintas,
a revolução de 1974 como um divisor de águas entre a primeira e segunda fase. Antes
da revolução o período foi marcado pela exclusividade da Universidade de Coimbra,
única até o advento da República, e pelas universidades de Lisboa e Porto, fundadas em
1911. Esta fase foi caracterizada pelo estabelecimento da Constituição Universitária de
1911,
que
concedia
às
universidades
autonomia
econômica
e
acadêmica
(MAGALHÃES E SANTIAGO, 2012, p. 228). O Reitor era apontado pelo governo a
partir de uma lista tríplice escolhida pelo Senado Universitário, autoridade máxima do
governo universitário, composto ainda pela Assembleia Geral Universitária e pelos
conselhos das faculdades e das escolas, compostos por acadêmicos e estudantes.
Em 1926 estabelece-se o governo ditatorial em Portugal, e com isso aprofundase a dependência das universidades em relação à estrutura e aos processos do Estado
Novo, tornando as universidades semelhantes a mais um setor do Estado. Esse processo
teve seu fim em 1970, quando se inicia a reforma Veiga Simão do Ensino Superior, com
a criação de novas universidades com autonomia administrativa e pedagógica
(MAGALHÃES E SANTIAGO, 2012, p. 230). A reforma Veiga Simão não chegou a
ser implantada devido à Revolução de Abril de 1974, mas introduziu o conceito de
democracia em um regime nacionalista e conservador, lançando as bases para a reforma
universitária que veio em seguida.
A partir do restabelecimento do Estado democrático em Portugal, em 1974, a
Educação Superior volta a apresentar configurações de cunho mais participativo com
ênfase na atuação dos corpos acadêmico e discente, sob a forma de colegiados
(MAGALHÃES E SANTIAGO, 2012, p. 231). Esta segunda fase, após um período pósrevolucionário nos dois primeiros anos com grandes transformações no modo
operacional das instituições, passa por um período de normalização que dura até meados
dos anos 1980. A partir desta decáda surgem novas instituições de Ensino Superior: as
chamadas Universidades Novas, tais como a Universidade do Minho e a Universidade
de Aveiro, os Institutos Politécnicos (Vila Real, Covilhã, Porto e outros), que
promovem um aumento no número efetivo de alunos do ensino superior nos anos de
1973/74 e 1976/77 (SEIXAS, 2003, p. 70), integrando-se às universidades públicas já
existentes, além da Universidade Católica, criada em 1971, configurando o atual sistema
48
binário do Ensino Superior de Portugal. Também nesta fase, em 1979, é criado o
Conselho de Reitores das Universidades Portuguesas (CRUP), como estrutura
associativa das universidades públicas portuguesas (além da universidade católica), que
permitiu uma descentralização das atividades até então centradas no Ministério da
Educação no que diz respeito ao Ensino Superior.
Esta fase também foi caracterizada por uma limitação do acesso ao ensino
superior visto que “a necessidade de preservar a qualidade do ensino e de planear o
desenvolvimento do ensino superior de acordo com as necessidades do País, aparecem
como a principal justificação de medidas de política educativas conducentes a limitação
do acesso ao ensino superior” (SEIXAS, 2003, p.73). Esta situação irá perdurar até o
final da década de 1980, quando “o sistema de ensino português registrará uma
verdadeira explosão dos seus efectivos” (SEIXAS, 2003, p. 77), com o desenvolvimento
do setor privado.
A década de 1980 registrou a entrada da iniciativa privada no ensino superior,
em 1986, e estabeleceu marcos legislativos tais como a Lei de Bases do Sistema
Educativo (1986), o Ato da Autonomia universitária (1988) 33 e a lei que concede
autonomia (em menor grau que às universidades) aos Institutos Politécnicos (1990). A
partir de 1990 e durante a década que se segue, a participação das instituições privadas
no Ensino Superior tendeu a aumentar, e como consequência, ocorreu o aumento
exponencial nas matrículas: de 106.472 alunos inscritos em 1986 para 313.495 em
1996, um aumento relativo de 194% nestes dez anos. A participação da iniciativa
privada passou de 14% para um máximo de 37% ao final de 1996 34 (CERDEIRA,
2013). Uma das principais causas foi a abolição da prova geral de acesso e consequente
nota mínima:
a abolição da nota mínima de acesso contribui para um aumento do
número de candidatos ao ensino superior e está sem dúvida na base da
verdadeira explosão do ensino superior privado e também do forte
crescimento do ensino superior politécnico público, num contexto de
restrições formais no acesso ao ensino superior (SEIXAS, 2003, p.
77).
33
Elaborado a partir de uma iniciativa do CRUP em 1982, e não do Estado, uma distinção do processo
português em relação a outros países europeus (MAGALHÃES; SANTIAGO, 2012, p. 236).
34
A partir deste ano dá-se um movimento contrário com gradativa queda de participação até 22% em
2011.
49
A entrada do Ensino Superior privado em Portugal merece uma atenção especial.
A começar pela dificuldade na distinção do caráter público ou privado da instituição de
ensino baseada tão somente em sua natureza jurídica35. Tal dificuldade alia-se à figura
da universidade católica que por sua existência torna tênue a fronteira entre público e
privado, ou de bem público e bem privado. A entrada do Ensino Superior privado em
Portugal dá-se primeiramente por essa via, e pode-se reconhecer nesta uma similaridade
com o modelo apontado por Levy (1986) para a realidade latino-americana, que aponta
três fases na entrada do setor privado no Ensino Superior: o ensino religioso, o ensino
de elite e o ensino de massas36.
Os fatores principais que intervieram no crescimento do Ensino Superior privado
foram, por um lado, a incapacidade do setor público (e da universidade católica) de
responder à crescente demanda iniciada na década de 1980. Como apontado por Seixas,
“desde 1980 o volume de candidaturas ao ensino superior tem sido sempre superior ao
número de vagas, registrando-se mesmo uma descida da oferta do ensino superior
público na primeira metade da década de 1980” (SEIXAS, 2003, p. 80), devido à
limitação dos números de vagas das universidades públicas, o numerus clausus. Por
outro lado, a abolição de uma nota mínima de acesso se conjugou com a oferta limitada
do setor público, propiciando um espaço para crescimento do setor privado. Estes
fatores se associam à situação geral do país, já comentada no item anterior, de
impossibilidade de aumentar os gastos públicos no setor; o contrário se verifica: queda
no financiamento público das universidades e nos honorários acadêmicos, sustentado
pelo discurso político da necessidade de maior eficiência e eficácia no setor:
De 1992 a 1995, na segunda fase de governação do Primeiro Ministro
Cavaco Silva, os Ministros da Educação reforçam o discurso político
que acentua a relação da educação com a competitividade económica,
entendida como processo incontornável no percurso para a
modernização do país. Uma gestão orientada para a eficácia do
sistema e centrada nos resultados é o mote dos discursos políticos
deste período governamental. (TEODORO; ANIBAL, 2007 p. 21).
35
Deve-se salientar que essa complexidade na distinção entre público e privado também ocorre no Brasil,
culminando com a publicação da Lei das comunitárias (Lei nº 12.881, de 12 de novembro de 2013,
BRASIL, 2013), que estabelece três categorias administrativas para as IES brasileiras: públicas,
privadas e comunitárias.
36
Apesar de Portugal corresponder a este processo apontado por Levy, o caso brasileiro é mais
paradigmático. A correspondência é perfeita quando se analisa o contexto das universidades católicas (e
mais recentemente das evangélicas), das escolas de elite tais como a Fundação Getúlio Vargas e outras,
e das instituições particulares de ensino superior. A semelhança de Portugal com o padrão latinoamericano talvez reforce a ideia de “país periférico” no contexto europeu.
50
Tal contexto dá margem a este rápido crescimento do setor privado. A partir de
1995 esse fenômeno deixa de existir e inicia-se um lento decréscimo, parte deste devido
à tendência negativa da evolução demográfica no país, parte devido à reintrodução de
critérios mínimos para o acesso (SEIXAS, 2003, p. 83). Esse declínio afetou mais
pronunciadamente o ensino superior privado, visto que a oferta de vagas no ensino
público dos politécnicos cresceu no período, deslocando parte das candidaturas do setor
privado para o público. Aliado a isto, a crescente dificuldade da população em financiar
seus estudos devido à crise financeira do país foram os fatores que levaram à queda no
crescimento deste setor.
O crescimento do setor educacional e as dificuldades decorrentes geradas por
este em relação à alocação e distribuição dos fundos estatais em um sistema cada vez
maior e mais complexo constituíram os principais fatores para a implantação de
sistemas de controle da qualidade do Ensino Superior, inaugurando um novo
movimento no papel do Estado em suas políticas, que a partir do final dos anos 1990
introduz diversos decretos-lei que visam estimular a procura de financiamento não
estatal para as atividades do Ensino Superior. As políticas educacionais passam a
emular os conceitos já estabelecidos na economia, tais como qualidade total,
racionalização, eficiência e eficácia:
[...] os sistemas de avaliação da qualidade, implícitos e informais,
assumem agora uma forma explícita e formal, necessária para a
acreditação das novas instituições e informação dos estudantes quanto
a qualidade das instituições (SEIXAS, 2003, p.182).
A transformação de sistemas elitistas de ensino superior em sistemas de massas,
associada ao aparecimento de novas instituições e ao crescimento das já existentes e a
uma diversificação do sistema (SEIXAS, 2003, p.182) impõe ao governo a elaboração
de um padrão para a qualidade do ensino, já que um padrão individual é impossível de
ser comparável. Alia-se a isto o contexto financeiro restritivo dos Estados, a mobilidade
de estudantes entre instituições, a adequação do ensino superior à tendência tecnológica
do mercado e à natureza espacialmente difusa deste, o que traz a necessidade de mão de
obra dispersa espacialmente. Isso faz como que os padrões de qualidade de formação de
mão de obra sejam mais eficazes caso possam ser aplicados fora do contexto nacional. É
tal panorama que leva ao estabelecimento de sistemas de avaliação e regulação para o
setor educacional na Europa, e, como se verá mais adiante, em Portugal.
51
2.3 A avaliação e a regulação do Ensino Superior em Portugal
Expansão, diversificação e recursos financeiros: palavras-chave na compreensão
da necessidade de avaliação e regulação da qualidade do Ensino Superior. O
desenvolvimento de sistemas de garantia de qualidade na década de 1980 em diversos
países no mundo veio em resposta a esta necessidade, que tornou imprescindível a
regulação pelo Estado do Ensino Superior como uma forma de prestação de contas das
atividades de ensino. Em Portugal, antes da década de 1980, as primeiras questões
levantadas acerca da avaliação da qualidade do Ensino Superior dispostas na legislação
ocorrem pós-revolução de 1974, com destaque ao artigo 76 da Constituição da
República Portuguesa. Mas é em 1986, com a Lei de Bases do Sistema Educativo, que
as questões relativas à garantia de qualidade e uso de indicadores estatísticos para
avaliação são dispostas em artigos específicos na legislação (ROSA; SARRICO, 2012,
p. 250). A publicação da Lei da Autonomia Universitária em 1988 reforça a necessidade
de avaliação das universidades portuguesas, e em 1990, esta necessidade aparece na Lei
da Autonomia para os Institutos Politécnicos. Tais legislações não estavam totalmente
implantadas no contexto educacional português quando o CRUP decidiu promover um
amplo debate acerca do tema da avaliação do Ensino Superior com vistas a estabelecer
um sistema de avaliação para o país. Em 1992 é realizado um seminário internacional
promovido pelo CRUP, cujo resultado final consistiu em uma proposta deste sistema,
fortemente relacionado ao modelo holandês de avaliação, tendo em vista suas
características compatíveis com a Lei da Autonomia Universitária. Tal vinculação
decorre da forte componente autoavaliativa no modelo holandês, mais voltado para a
melhoria da qualidade do que para a certificação de programas.
Em 1994 é criado o sistema nacional de avaliação, sob a Lei nº 38, de 21 de
novembro, (PORTUGAL, 1994) e, em 1998, o Conselho Nacional de Avaliação do
Ensino Superior – CNAVES, por meio do Decreto-Lei n.º 205/98, de 11 de julho
(PORTUGAL, 1998). Operacionalmente, o CNAVES cria quatro conselhos de
avaliação, de acordo com as combinações entre os tipos de organização: universidade
ou politécnico e a categoria administrativa: pública ou privada. O primeiro ciclo
avaliativo, experimental, é finalizado em 1999 com a participação somente das
universidades públicas e da universidade católica. Este ciclo foi caracterizado por seu
foco na melhoria da qualidade do ensino e no desenvolvimento de uma cultura de
autoavaliação, ao invés da produção de classificações de instituições ou cursos. Sua
52
principal contribuição consistiu em fornecer subsídios para a elaboração de guias37 para
o segundo ciclo, que foi realizado entre 2000 e 2005, e abrangeu todas as instituições de
Ensino Superior.
No segundo ciclo avaliativo pode ser observado um esforço em aproximar o
sistema português da tendência europeia, com a adoção de alguns elementos de
accountability e participação de avaliadores internacionais nas equipes de avaliação,
tentativa dificultada por questões financeiras e pelo “uso da língua portuguesa como
língua de trabalho” (ROSA; SARRICO, 2012, p. 255). Alguns pontos fracos podem ser
apontados nesta primeira tentativa de um sistema nacional de avaliação do Ensino
Superior português, conforme descrito por Rosa e Sarrico (2012, p. 256):

Insuficiência na preparação dos avaliadores externos, tendo como
consequência uma diversidade na qualidade dos relatórios de avaliação,
impedindo sua comparabilidade;

Excessivo custo do sistema, principalmente no que se referiu ao
pagamento dos avaliadores;

Ausência de uniformidade de processos, procedimentos e critérios nos
ciclos avaliativos;

Ausência de resultados visíveis do sistema de ensino superior.
Dentre estes fatores, o fato dos resultados dos ciclos avaliativos não terem
produzido consequências – nomeadamente “não tinham produzido um único resultado
negativo, visível, com eliminação de cursos sem qualidade aceitável” (A3ES, 2013, p.
4) –, acabou por induzir o governo a encomendar uma meta-avaliação do sistema pela
ENQA (European Network for Quality Assurance in Higher Education), que em seu
relatório (ENQA, 2006, p. 34) destacou cinco pontos frágeis do sistema:
1. Ausência de independência da entidade coordenadora da avaliação, o CNAVES,
em relação aos avaliados, ou seja, as Instituições de Ensino Superior. Por ser
uma emanação das próprias IESs, aliado à baixa atenção dada ao processo pelo
governo, contribuem para uma imagem acrítica do CNAVES, cujos resultados
não parecem acrescentar valor à qualidade do Ensino Superior.
37
Em Portugal o termo é guião. Utilizei o termo guia para adequação da linguagem utilizada no Brasil.
53
2. Variabilidade e inconsistência nos objetivos, procedimentos e relatórios dos
avaliadores, advindos provavelmente de uma deficiência no treinamento destes,
mas também devido à natureza altamente descentralizada do CNAVES, o que
dificulta o estabelecimento de um corpo robusto de avaliadores;
3. Alta dependência entre os avaliadores, tendo em vista a dimensão relativamente
pequena do universo de instituições a ser avaliado no país por avaliadores
egressos destas mesmas instituições, o que compromete a objetividade e
independência da avaliação;
4. Ausência visível de consequências e meta-avaliação do sistema, tanto por parte
do governo quanto do próprio CNAVES, que não promove espaços de discussão
dos relatórios e das ações institucionais deles decorrentes;
5. Fraca evidência de que os processos, publicações e encontros promovidos pelo
CNAVES promovam o que em outros países é compreendido como melhoria da
qualidade, ou seja, um processo de identificação, comunicação e implementação
de “boas práticas” nos currículos, ensino e aprendizagem e garantia da qualidade
do Ensino Superior.
Além destes pontos, os critérios adotados pelo sistema não eram compatíveis com os
indicadores de qualidade passíveis de serem incorporados em um sistema de
distribuição de recursos. A recomendação final da ENQA, a criação de uma agência de
avaliação nos moldes de outras já estabelecidas no espaço europeu, é acatada pelo
governo português; em 2007, o sistema é formalmente extinto e cede lugar à Agência de
Avaliação e Acreditação - A3ES (Lei 369/2007, Portugal, 2007) que atualmente
coordena as etapas de avaliação com o apoio dos órgãos e conselhos representativos,
tais como o CRUP junto com o CNAVES – Conselho Nacional de Avaliação da
Educação Superior e a DGES – Direcção Geral do Ensino Superior.
Nestes quase dez anos de atuação da A3ES, as discussões acerca do atual modelo de
regulação de Educação Superior versam sobre seu estabelecimento em um momento
histórico de Portugal distinto de países europeus vizinhos, o que acabou por causar uma
“natureza mista entre autorregulação e regulação estatal” (vide MAGALHÃES, 2001, p.
138; AFONSO, 2001, p. 25), esta por sua vez estabelecida sob os princípios da
declaração de Bolonha, cujo texto “[...] não se revela nada enigmático quanto à opção
pelo princípio da competitividade em termos não só de emulação, de eficiência e de
financiamento, mas também de lógica mercantil” (LIMA, AZEVEDO E CATANI,
54
2008, p.10). Neste contexto, o Ensino Superior português, sob a A3ES, sofre
transformações que tornam “as universidades, e as instituições do ensino superior em
geral, [...] cada vez mais claramente administradas e geridas como organizações, e cada
vez menos como instituições educativas na sua especificidade”. (MAGALHÃES, 2006,
p. 31). No desafio de tornar as IESs mais eficientes em sua função de prestação de
serviços, corre-se o risco de minimizar cada vez mais a necessária liberdade acadêmica
para o exercício da formação humana. Há um risco que se corre quando os processos
são uniformizados na procura de máxima eficiência e esse risco é visível quando se
observa a dimensão que a organização administrativa tem assumido nas instituições de
ensino, e no aparente retorno de tecnologias pedagógicas já utilizadas em décadas
passadas, com vistas à organização e comparação de conteúdos programáticos entre
instituições. Esta é uma preocupação em ampla medida:
“O processo de Bolonha na educação superior europeia tem sido
bastante analisado em termos de alta racionalização desde o
protagonismo da racionalidade a priori que se manifesta na seleção de
resultados da aprendizagem e no recurso a princípios típicos das
pedagogias cientificas e por objetivos, à contabilização rigorosa e
estandardizada de créditos, passando pela arquitetura do sistema de
ciclos conferentes de graus acadêmicos, bem como pelos sistemas de
acreditação e avaliação, reconhecidos à escala europeia” (LIMA,
2012a, p. 149).
A pressão sofrida por Portugal para se conformar ao padrão estabelecido em
outros países europeus produziu e ainda produz movimentos em sua dinâmica
regulatória, tornando mais presente a problemática associada a formas nascentes de
accountabilty (AFONSO, 2003; AFONSO, 2009). Neste movimento, os processos de
autoavaliação submergem diante daqueles descritos por Afonso: “a atuação dos peritos
e das agências (nacionais e internacionais), os dispositivos de monitorização,
coordenação e seguimento das políticas, e as características das auditorias” (AFONSO,
2013a, p. 24). Este panorama aproxima o Brasil de Portugal quanto ao uso de “critérios
uniformes e estandartizados” (LIMA, 2012b. P. 70), bem como ao papel do Estado
(CABRITO, 2004) e das agências financiadoras na Educação, como apontado por
Jezine e colaboradores (2011): “existem convergências e divergências entre os países no
que se refere ao acesso ao ensino superior. Das convergências destaca-se a orientação ao
mercado e ingerência de agências financiadoras” (p. 75), em um percurso apontado por
Afonso como “modelos tecnocráticos mais preocupados com os meios do que com os
fins da educação” (AFONSO, 2000, p. 47). Este mesmo autor sugere que a crescente
55
modularização, padronização e ampliação da oferta do Ensino Superior por grandes
redes de ensino em sistemas de franquia sinalizam uma nova fase para o papel do
Estado no âmbito da avaliação (AFONSO, 2013b, p. 278).
Santiago e Carvalho, (2011, p. 408) ao analisarem as novas condições impostas à
educação pelo crescente “gerencialismo” da Educação Superior, resumem:
Essa tecno-orientação, ou a imposição de princípios de racionalidade
econômica e utilitária na produção de conhecimento, constitui uma
tentativa profunda de reconfigurar o paradigma tradicional de ciência.
A autonomia de decisão sobre o que investigar, o controle do
desenvolvimento da pesquisa e a avaliação por pares deixaram de ser
uma prerrogativa exclusiva dos acadêmicos. Exigem-se resultados a
curto prazo e se impõe, externamente, uma hierarquia do
conhecimento crescentemente baseada na pertinência social e
econômica da “resolução de problemas”.
Apesar do temor da mercantilização e homogeneização do ensino, ainda se
acredita em uma recondução dos processos de avaliação a modelos mais globais e
autônomos, como pode ser percebido na avaliação de Teodoro e Aníbal (2007, p. 25)
acerca do caráter híbrido das atuais políticas educativas portuguesas:
A especificidade portuguesa não pode ser entendida, pois, como
característica de um estadio intermédio mundial, mas resultado de
heterogeneidades que se articulam e geram sentidos próprios e
estruturas concordantes. Nesta construção social o modelo global da
modernização só produzirá significado se recontextualizado. É com
este argumento que parece poder defender-se, como o fazem alguns, a
possibilidade de uma política educativa que não se atenha
prevalentemente a processos de “racionalização da educação” e que
permita uma escola, produto de sujeitos globais e locais, “espaço
público de experimentação gerido de um modo dialógico”
É neste contexto complexo que a A3ES tem realizado seu papel regulador em
Portugal. No próximo item sua operacionalização é investigada e comparada com o
modo de operação que o sistema nacional brasileiro tem utilizado em seus dez anos de
existência.
2.4 Os sistemas português e brasileiro de avaliação
A comparação entre os sistemas de avaliação e regulação foi estruturada em
duas partes. Na primeira é realizada a comparação dos sistemas a partir da análise
documental. Na segunda é descrita e discutida a percepção dos pesquisadores
portugueses entrevistados, como forma complementar à análise documental.
56
2.4.1 Comparativo entre os sistemas de avaliação do Brasil e Portugal
No início da década de 1990, eram vários os países da Europa que dispunham de
agências dedicadas à avaliação e/ou acreditação de cursos e instituições de ensino
superior: Suécia, Holanda, França, Alemanha, Dinamarca, Reino Unido e outros. Com a
crescente integração econômica dos países ligados à Comunidade Europeia, iniciam-se
os primeiros movimentos interinstitucionais entre estes países em relação à qualidade do
Ensino Superior, “acompanhando de perto a evolução dos sistemas de avaliação nos
países membros da União Europeia e inserindo-se num processo de internacionalização
da avaliação” (SANTOS, 2011, p.17). Tais experiências, promovidas pelas próprias
instituições de ensino e investigação, tiveram como fatores desencadeadores a crescente
mobilidade estudantil entre os países, mas principalmente o reconhecimento de títulos
profissionais em um espaço de trabalho cada vez mais integrado. Destas experiências,
aquela de que mais países participaram foi o projeto “Quality Assessment in the Field of
Higher Education” que, entre 1994 e 1995, envolveu 17 países europeus e 46
instituições de Ensino Superior, duas destas portuguesas, o Instituto Superior Técnico e
o Instituto Politécnico do Porto (SANTOS, 2011, p.18). Este projeto teve repercussões
que culminaram, no ano de 2000, com a criação da “European Network for Quality
Assurance in Higher Education” – ENQA, que integrou inicialmente sete38 agências de
avaliação e acreditação de cinco países: Dinamarca, Alemanha, Finlândia, Espanha e
Reino Unido, além de representantes dos ministérios da educação e organizações
representativas de diversos outros países. Cinco anos após a criação da ENQA, 18
agências de dez países já a integravam como membros plenos. Em 2007, ano em que é
criada a A3ES portuguesa, 21 agências europeias eram membros plenos da ENQA39.
As agências de avaliação e acreditação europeias não são homogêneas, apesar de
compartilharem as mesmas diretrizes e procedimentos advindos da ENQA. Como
existem diferentes dinâmicas envolvidas nos processos destas agências, torna-se
necessária sua contextualização para que se entenda a atuação da A3ES no panorama do
38
Danish Evaluation Institut - EVA (Dinamarca); Central Agency for Evaluation and Accreditation ZeVA e German Accreditation Council - GAC (Alemanha); Finnish Education Evaluation Council FINNEC (Finlândia); Catalan University Quality Assurance Agency, Barcelona -AQU e Andalusian
Agency of Knowledge, Department of Evaluation and Accreditation, Córdoba -AAC-DEVA (Espanha);
Quality Assurance Agency for Higher Education - QAA (Reino Unido).
39
A A3ES tornou-se membro associado à ENQA em 2009, membro afiliado em 2011 e em junho de 2014
tornou-se membro pleno.
57
Ensino Superior em Portugal e no contexto do espaço europeu. Grosso modo, podemos
situar as agências europeias em três “categorias” de processos: avaliação externa,
acreditação e auditoria. O primeiro destes refere-se à melhoria da qualidade das
atividades relacionadas à educação40 superior; o segundo está circunscrito a certificação
de determinada instituição ou curso por meio de critérios mínimos estabelecidos a
priori; o terceiro diz respeito à monitoração externa dos dois primeiros, quando
conduzidos pela própria instituição (autorregulação). As agências europeias se
diferenciam quanto à operacionalização destes processos. A maior parte das agências
realizam os processos de avaliação e acreditação, parte delas somente em nível de
cursos e outras também em nível institucional, ocorrendo variação conforme o país
observado. Há poucas agências que somente realizam auditorias, e destas a maior parte
refere-se à auditoria em nível institucional (SANTOS, 2011, p.22). Tais distinções
também ocorrem em relação às categorias de instituições que são avaliadas, pois cerca
de metade das agências incidem sobre um tipo específico de organização acadêmica: as
universidades (SANTOS, 2011, p. 24). Ao que parece, existe um desenvolvimento
gradual em torno dos três tipos de processos existentes com vistas a um tipo ideal: na
medida em que o processo de avaliação interna é institucionalizado ao ponto de se criar
um sistema interno de qualidade robusto, este se torna capaz de apoiar um processo
interno de acreditação de cursos. Nesta perspectiva, a avaliação e acreditação externas
se tornam desnecessárias, e a auditoria do sistema de garantia de qualidade da
instituição passa a ser o único alvo da avaliação externa.
No caso específico de Portugal, a A3ES está configurada41 como uma agência
que realiza procedimentos de avaliação e acreditação de cursos, e em alguns casos com
processos de certificação de sistemas internos de garantia da qualidade (auditoria), ainda
em caráter experimental, ou seja, a certificação ainda não substitui o processo de
acreditação dos cursos. São realizadas avaliações e acreditações para cursos dos três
ciclos do Ensino Superior: licenciaturas, mestrados e doutorados Para todos, tanto ciclos
já em funcionamento quanto novos ciclos, o início do processo se dá por meio da
autoavaliação dos cursos, não ocorrendo uma avaliação institucional geral. Um guia de
procedimentos para a autoavaliação é disponibilizado para as instituições que devem
40
Utilizei o termo educação ao invés de ensino para ratificar a dimensão ampla em que a avaliação
trabalha.
41
A descrição que se segue tem como base o Manual de Avaliação disponibilizado no sítio da A3ES.
Disponível em http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao.
58
proceder à autoavaliação conforme suas disposições. Segue-se a elaboração de um
relatório de autoavaliação (em língua portuguesa e inglesa) que é postado em plataforma
eletrônica para a próxima fase: a avaliação externa. Nesta é formado um painel de
avaliação por peritos independentes, sem relação com a instituição de ensino superior
avaliada, composto por três a cinco membros, um dos quais, pelo menos, estrangeiro. A
estes peritos é disponibilizado o relatório de autoavaliação para leitura prévia. Durante a
visita da Comissão de Avaliação Externa são examinados os espaços físicos, ouvidos os
representantes da comunidade acadêmica e representantes de associações profissionais.
Ao final da visita é realizada uma reunião final com as autoridades acadêmicas do curso
em avaliação e apresentado o relatório oral. A partir da finalização da visita a comissão
tem um prazo para a emissão do relatório final da avaliação externa. Este é submetido à
instituição que poderá contrapor as conclusões efetuadas pela comissão. Uma vez
aprovado, o relatório é encaminhado para parecer final pela A3ES que publica o
resultado da acreditação em área específica do seu sítio, com a decisão de acreditar,
acreditar preliminarmente ou não acreditar. Os resultados são publicados pela A3ES,
discriminando-se as universidades e centros politécnicos, públicos e privados. A
certificação tem um prazo máximo de seis anos e no ano anterior à caducidade deste
prazo a instituição deverá solicitar a renovação da acreditação.
A A3ES já realizou dois ciclos de avaliação, um entre 1995 e 2000, com a
participação das universidades públicas e outro entre 2000 e 2005, que abarcou todas as
Instituições de Ensino Superior, a partir do qual se estabeleceu um processo transitório
de acreditação preliminar conduzido pela A3ES, que culminou no fechamento de um
primeiro ciclo em 2011. Atualmente um segundo ciclo encontra-se em processo.
Um exame dos guias existentes na A3ES revela seu alinhamento com as diretrizes
apontadas pela ENQA, a agência europeia. São estes standards e guidelines
estabelecidos pela ENQA, em torno das ideias de garantia da qualidade versus melhoria
da qualidade, que são, nos dias atuais, objeto de constantes debates na comunidade da
área educacional. Fala-se aqui a respeito de indicadores estabelecidos que versem sobre
os presumíveis inputs para o ensino de qualidade, ou para os processos relacionados à
aprendizagem, ou para os outputs, mais especificamente os exames de desempenho dos
estudantes ao final do curso, ou seu estabelecimento no mercado laboral. As agências
têm modificado e testado tais mudanças em seus indicadores, ao mesmo tempo em que
cumprem os requisitos estabelecidos pela ENQA. Essas preocupações foram objeto de
59
um projeto específico – Quality Assurance for the Higher Education Change Agenda
(QAHECA) –, promovido pela Associação das Universidades Europeias (EUA), que em
2009 publicou um relatório final (EUA, 2009), resumindo suas considerações em sete
pontos:
1. Os processos de garantia de qualidade devem ser contextualizados, ou seja,
respeitar a cultura identitária institucional e nacional.
2. Os processos internos de garantia de qualidade devem assumir uma abordagem
de desenvolvimento.
3. O processo precisa envolver toda a comunidade acadêmica.
4. Os atores-chave no processo devem estar efetivamente engajados e serem
capacitados para tal.
5. Os processos precisam ser intercolaborativos tanto entre agências como entre
instituições, de forma que cada instituição possa se valer de uma abordagem
crítica de uma experiência externa, e não somente copiar a experiência.
6. Os processos precisam ser proativos, e com isso assumir riscos, mesmo que
novas propostas não sejam um sucesso. Deve assumir o insucesso, não proibindo
o risco.
7. O compartilhamento das experiências é fundamental para o desenvolvimento
futuro da garantia de qualidade.
Nestas recomendações é interessante notar a menção ao respeito à identidade
institucional (recomendação 1) e à assunção de riscos (recomendação 6), duas
propostas que vão em direção contrária ao atual modo de operação da regulação do
Ensino Superior europeu. De fato, o respeito à cultura identitária institucional não se
compatibiliza com a necessidade de procedimentos estandardizados que possibilitem
a comparação de instituições. Também não é crível que as instituições assumam
riscos “desnecessários” em seus processos acadêmicos quando a avaliação externa
tem como resultado final a acreditação ou não de determinado curso ou sistema
interno de garantia de qualidade. Assim o que se tem é uma contradição entre
contextos: o do texto e o da prática. Como pontuado por Licínio Lima, (2011, p. 75).
[...] esta filosofia avaliativa, mais orientada para a confirmação ou a
informação do que para a descoberta, ou seja, mais contábil ou
calculativa do que heurística e interpretativa, tende a conferir menor
protagonismo à avaliação dos processos e as dimensões programáticas
60
e políticas, e maior centralidade a avaliação dos produtos ou
resultados, a quantificação, a comparação e hierarquização.
Tais contradições também podem ser encontradas no sistema de avaliação brasileiro,
o Sinaes, conforme já discutido. O Quadro 1 sumariza a análise que foi realizada entre
os sistemas e suas agências operacionalizadoras. A comparação de ambos mostrou que
tanto o sistema português quanto o brasileiro demonstram certa contradição entre os
princípios e objetivos em que se baseiam ou propõem, e seu modo de operacionalização.
Em seu documento oficial (BRASIL, 2004), o Sinaes estabelece princípios como
respeito à identidade institucional e o reconhecimento da diversidade do sistema
educacional brasileiro, similar ao que se tem na legislação portuguesa. No entanto, a
operacionalização do Sinaes não tem ido ao encontro deste princípio, notadamente no
que ser refere à adoção de indicadores de qualidade aferidos a partir do exame de
desempenho dos estudantes, o Enade, construídos independentemente do contexto em
que a IES se insere. No caso português, o sistema binário do Ensino Superior, dividido
entre universidades e institutos politécnicos, é contemplado por meio dos guias
específicos a cada um destes tipos de organização acadêmica. Ao observar os demais
princípios e características dos dois sistemas, percebe-se similaridade no que se refere à
universalidade e periodicidade do processo avaliativo e regulatório, e ao papel da
avaliação na melhoria da qualidade. Como distinção, percebe-se que as características
assumidas pelo sistema português são mais objetivadas do que os princípios adotados
pelo Sinaes, cujo texto é mais amplo e genérico. Na legislação portuguesa 42 , faz-se
menção específica à adoção dos padrões firmados no processo de Bolonha, na
possibilidade do contraditório e recurso pela IES no processo de acreditação, na
participação de peritos estrangeiros, estudantes, na utilização do processo regulatório
para orientação da oferta do Ensino Superior e na publicação da avaliação. Algumas
destas características não estão explicitadas no Sinaes em seu documento original, mas
também integram o sistema: a possibilidade de recurso, a avaliação por pares sem
vínculo com o contexto em que a IES avaliada se insere, e a publicidade dos resultados
da avaliação. Outras, tais como a utilização dos resultados para regulação da oferta,
encontram-se nos objetivos do sistema: “orientar a expansão da oferta” 43 . Outra
distinção que se nota é que no Sinaes há menção específica sobre identificar mérito e
42
43
Refiro-me ao decreto-lei número 369/2007.
Os objetivos do Sinaes encontram-se publicados no sítio do Inep, ver http://portal.inep.gov.br/superiorsinaes-objetivos
61
valor das atividades de ensino, pesquisa, extensão, gestão e formação nas IESs; na
legislação da A3ES não há tal especificidade, somente se faz referência ao
“desempenho das instituições de ensino superior e dos seus ciclos de estudo”. Já
características como orientação da avaliação em relação ao mercado de trabalho,
divulgação do desempenho das IESs e internacionalização do processo de avaliação são
explicitadas na A3ES, e não constam no Sinaes. Um destaque da A3ES frente ao Sinaes
é a participação dos estudantes no processo. Enquanto que no Sinaes não existe de fato
uma participação compulsória dos estudantes no processo de avaliação, na A3ES está
“em curso um exercício experimental de participação dos estudantes como membros de
pleno direito das Comissões de Avaliação Externa, nos casos em que as instituições
aceitarem essa participação dos alunos”.44.
Em relação à forma de estruturação e universalidade dos sistemas (ver itens:
agência, modalidades, abrangência e uso na distribuição de recursos financeiros no
Quadro 1), há correspondência parcial na maior parte dos aspectos e correspondência
total no que ser refere à abrangência na estrutura acadêmica, ambos atuando no nível da
IES e no nível dos cursos. Quanto ao uso na distribuição de recursos, no Sinaes este se
limita à vinculação de editais e sistemas de bolsas de estudo como o ProUni e ProIES 45
disponíveis para instituições não públicas, ao desempenho aferido por meio do CPC, o
conceito preliminar de curso. No caso português não há vinculação com a distribuição
de recursos públicos para as unidades de ensino e investigação, que é realizada pela
Fundação para a Ciência e Tecnologia, do Ministério da Educação, que dispõe de guia
próprio para seus painéis de avaliação 46 tanto para projetos de pesquisa quanto para
bolsas de doutoramento. Em relação à abrangência no grau acadêmico, o Sinaes regula
somente o nível de graduação, enquanto que a A3ES trabalha com todos os níveis, da
graduação ao doutorado. Em relação à IES, o Sinaes não é obrigatório para as IESs
vinculadas aos sistemas estaduais de ensino, enquanto que a A3ES é universal no
sistema de ensino português. No entanto, na prática o Sinaes tem sido utilizado para
todas as IESs brasileiras.
44
Ver em http://www.a3es.pt/pt/o-que-e-a3es/plano-de-atividades.
Programa Universidade para Todos (Prouni), instituído Lei nº 11.096, de 13 de janeiro de 2005, e
Programa de Estímulo à Reestruturação e ao Fortalecimento das Instituições de Ensino Superior
(Proies), instituído pela Lei nº 12.688, de 18 de julho de 2012.
46
Ver http://www.fct.pt/apoios/projectos/guioes.phtml.pt.
45
62
Quanto às modalidades de avaliação dos sistemas, o Sinaes conta com três tipos:
Avalies, ACG e Enade. A primeira, a Avalies, não tem correspondência direta com o
modo de operação da A3ES. A Avalies estabelece dois modos de avaliação
institucional: a autoavaliação institucional, promovida por comissões internas de
avaliação, a Comissão Própria de Avaliação – CPA, e a avaliação externa da IES,
realizada por pares, que realiza credenciamento ou recredenciamento institucional. Ao
contrário do Sinaes, em Portugal não existe o processo de autoavaliação institucional,
mas ocorre a autoavaliação do curso, como fase prévia à avaliação externa. No Brasil, a
autoavaliação tem como produto final um relatório de autoavaliação 47 . A avaliação
institucional externa, com fins de credenciamento ou recredenciamento, tem
periodicidade idêntica à regulação de cursos, três anos, podendo ocorrer dispensa de
recredenciamento pela avaliação externa conforme o Índice Geral de Cursos – IGC da
IES, o índice institucional derivado dos CPCs dos cursos da IES. Este mecanismo é
similar àquele existente para os cursos de graduação.
Quanto aos exames de desempenho, Portugal não conta com uma modalidade deste
tipo para apoiar a regulação do ensino superior. Existe um projeto em desenvolvimento
de abrangência europeia, o projeto AHELO48, promovido pela OCDE, em fase inicial de
estudo.
Com relação à avaliação externa, a operacionalização da A3ES é muito similar
àquela realizada pelo Inep para a modalidade ACG – avaliação dos cursos de graduação,
constante do Sinaes. Nesta, a principal diferença é a ausência de um processo de
autoavaliação do curso prévio à avaliação externa. No que se refere aos demais
procedimentos, ambas ocorrem tanto para novas ofertas quanto para os cursos já em
funcionamento. A distinção do Sinaes é que a avaliação externa de cursos já existentes
pode ser dispensada conforme o CPC do curso proveniente em grande parte do Enade.
A composição da comissão de avaliação é similar em número à da A3ES, contando com
um membro estrangeiro, enquanto que no Brasil os membros não podem pertencer à
IES do mesmo Estado que a IES avaliada. A agenda de visita in loco segue o mesmo
padrão para os dois sistemas, assim como a elaboração do relatório de avaliação. O
47
a partir de 2014 o relatório final passou a ter periodicidade trienal, compatibilizando-se com a vigência
da regulação efetuada pela ACG e Enade.
48
Assessment of Higher Education Learning Outcomes, ver no sítio da OCDE a íntegra do projeto:
http://www.oecd.org/edu/skills-beyondschool/testingstudentanduniversityperformancegloballyoecdsahelo.htm.
63
período de vigência da certificação é de três anos no Sinaes e de três a seis anos,
conforme a deliberação da A3ES.
Ocorre correspondência parcial entre os sistemas no que se refere ao instrumento de
avaliação, tanto nos critérios quanto na escala. Um exame das grandes categorias de
análise dos instrumentos mostra que na A3ES a avaliação tende a ser mais abrangente
que no Sinaes nos aspectos do corpo não docente e parcerias no curso. No Sinaes os
critérios de análise em relação ao acervo são quantitativos, ao contrário do instrumento
da A3ES; a avaliação do coordenador do curso possui diversos critérios, enquanto que
na A3ES a avaliação consta de um único critério: “Docente(s) responsável(eis) pela
coordenação do ciclo de estudos: tem o perfil adequado/não tem o perfil adequado”. De
forma geral, ambos os instrumentos abrangem suficientemente os aspectos pedagógicos,
de infraestrutura e corpos docente e discente. Na atribuição de valores, a escala utilizada
pela A3ES é mais simples: ou binária do tipo adequado/não adequado, ou em três
níveis: sim/não/em parte. No Sinaes a escala possui cinco níveis, de insuficiente a
excelente, exceto no cumprimento de requisitos legais em que a escala é idêntica à da
A3ES para esses aspectos: cumpre/não cumpre. Em vários critérios o Sinaes atribui
quantidades aos diferentes níveis da escala, como no caso da carga horária de
coordenação de curso em que os extremos da escala (1-insuficiente a 5-excelente)
correspondem a “quando a carga horária prevista/implantada para o (a) coordenador (a)
for menor que 10 horas” e “quando a carga horária prevista/implantada para o (a)
coordenador (a) do curso for maior ou igual a 25 horas semanais dedicadas totalmente à
coordenação” respectivamente. No guia da A3ES os critérios sempre se constituem em
indicações de caráter mais qualitativo, que dependem em maior grau da interpretação
dos peritos da comissão. Destaca-se que no Sinaes a escala dos instrumentos de
avaliação (também nos processos de credenciamento e recredenciamento institucionais)
é idêntica numericamente à escala do Enade, de 1 a 5, em que 1 corresponde à condição
insuficiente, 5, à excelente e o ponto médio 3, à condição de suficiência, considerada no
sistema o mínimo exigido para funcionamento da IES ou do curso de graduação. Isso
permite comparações quantitativas nas avaliações realizadas por ambas as modalidades:
o Enade e a ACG.
64
Quadro 1 – Análise comparativa entre os sistemas de avaliação da Educação Superior no Brasil e em Portugal
Dimensão
Princípios/Características
Objetivos
Brasil
Portugal
Sistema
1. Universalidade, obrigatoriedade e
periodicidade.
1. A responsabilidade social com a
2. Multidimensionalidade do objeto de avaliação.
qualidade da educação superior
3. Adoção dos padrões firmados no
2. O reconhecimento da diversidade do desenvolvimento do Processo de Bolonha
sistema
4. Reconhecimento da avaliação nas atividades
3. O respeito à identidade, à missão e à de investigação científica e de desenvolvimento.
história das instituições.
5. Possibilidade do contraditório nos processos
4. A globalidade, isto é, compreensão
de avaliação e pela recorribilidade das decisões
de que a instituição deve ser avaliada a neles tomadas.
partir de um conjunto amplo e
6. Participação de peritos estrangeiros no
significativo de indicadores de
processo de avaliação.
qualidade, vistos em sua relação
7. Participação dos estudantes
orgânica e não de forma isolada.
8. Publicidade da avaliação
5. A continuidade do processo
9. Orientação em direção a fins de implantação
avaliativo.
das instituições de ensino superior no panorama
internacional, na vida da comunidade e no
mercado de trabalho.
1. Identificar mérito e valor das
1. Concretizar os critérios de avaliação, de modo
instituições, áreas, cursos e programas, a obter a tradução dos seus resultados em
nas dimensões de ensino, pesquisa,
apreciações qualitativas;
extensão, gestão e formação;
2. Definir as consequências da avaliação efetuada
2. Melhorar a qualidade da educação
para o funcionamento das instituições e dos seus
superior, orientar a expansão da oferta; ciclos de estudos;
3. Promover a responsabilidade social 3. Desenvolver a avaliação da qualidade de
das IESs, respeitando a identidade
desempenho das instituições de ensino superior e
Correspondência
Em parte
Em parte
65
Dimensão
Agência/Órgão
Tipo de modalidades
Abrangência regional
Brasil
institucional e a autonomia.
Conaes – Conselho Nacional de
Avaliação da Educação Superior
Seres – Secretaria de Regulação da
Educação Superior
Inep – Instituto Nacional de Pesquisas
Educacionais Anísio Teixeira
Avalies: autoavaliação institucional
realizada pela CPA – Comissão
Própria e avaliação externa da IES
ACG: Avaliação dos cursos de
graduação, processos de
reconhecimento e renovação de
reconhecimento de curso.
Enade: Exame Nacional do
Desempenho dos Estudantes
Somente Brasil. Existe outro sistema,
o ARCU-SUL, que tem abrangência
no MERCOSUL, do qual o Brasil faz
parte.
Portugal
dos seus ciclos de estudos;
4. Promover a acreditação de ciclos de estudos e
instituições, tendo em vista a garantia de
cumprimento dos requisitos legais do seu
reconhecimento;
5. Promover a divulgação fundamentada à
sociedade sobre a qualidade do desempenho das
instituições de ensino superior;
6. Promover a internacionalização do processo de
avaliação.
Correspondência
A3ES – Agência de Avaliação e Acreditação do
Ensino Superior
Em parte
Acreditação prévia de novos ciclos (equivale a
reconhecimento de curso)
Avaliação e acreditação de ciclos em
funcionamento (equivale a renovação de
reconhecimento de curso)
Auditoria de sistemas internos de garantia de
qualidade (em nível institucional)
Em parte
A A3ES é membro pleno da ENQA (European
Agency of Quality Assurance) de abrangência
europeia, com 42 agências nacionais de 25
países, além de membros associados.
Em parte
66
Dimensão
Abrangência do universo das
IESs
Abrangência do grau acadêmico
Abrangência na estrutura
acadêmica
Uso na distribuição de recursos
financeiros
Brasil
Todas pertencentes ao sistema federal
e à maioria dos sistemas estaduais
Somente graduação. Demais graus são
avaliados pela CAPES. – Coordenação
de Aperfeiçoamento do Pessoal de
Nível Superior
Nível institucional na Avalies, para
credenciamento e recredenciamento
institucional.
Nível de curso na ACG, para
reconhecimento e renovação de
reconhecimento de curso de
graduação.
Portugal
Todas: universidades e institutos politécnicos,
públicos e privados.
Nível institucional nos processos de auditoria de
sistemas de garantia de qualidade
Nível de curso na acreditação dos ciclos.
Sim
Sim
Sim
Sim
Autoavaliação de curso
Não existe
Autoavaliação institucional
Exame de desempenho
Sim
Sim
Existência
Tipos de Guia/Instrumento de
avaliação
Critérios do Guia/Instrumento de
avaliação
Todos os ciclos: licenciaturas, mestrados e
doutorados.
Sim. Fase obrigatória e prévia à avaliação
externa
Não existe
Não existe
Avaliação Externa
Sempre para novos cursos
Dispensável na renovação de curso
conforme o conceito preliminar de
curso – CPC, obtido via Enade.
ACG: Reconhecimento e renovação de
reconhecimento de curso
Organização didático-pedagógica,
corpo docente e infraestrutura.
Sempre ocorre
Guia para novos ciclos e para ciclos em
funcionamento
Estrutura curricular e planos de estudos,
organização interna, recursos materiais e
parcerias, pessoal docente e não docente,
Correspondência
Em parte
Em parte
Não
Não
Não
Em parte
Sim
Em parte
67
Dimensão
Escalas do Guia/Instrumento de
avaliação
Via procedimental
Comissão de avaliação externa
Vista in loco
Relatório de avaliação
Período de vigência do processo
Brasil
Cinco níveis: não existente,
insuficiente, suficiente, muito bom e
excelente
Plataforma eletrônica
Três membros para regulação de IES
Dois membros para regulação de curso
Os membros não podem ser recrutados
no Estado em que atuam como
profissionais
Visita a instalações e agenda com a
comunidade acadêmica
A comissão não emite parecer
conclusivo ao final da visita
Postado pela comissão na plataforma
eletrônica, com possibilidade de
recurso.
De três anos, prorrogáveis
automaticamente conforme o CPC.
Portugal
estudantes e ambientes de ensino aprendizagem,
avaliação da aprendizagem
Correspondência
Dois (sim/não) ou três (sim/não/em parte) níveis
Em parte
Plataforma eletrônica
Três a cinco membros em todos os casos, sendo
um necessariamente estrangeiro.
Visita a instalações e agenda com a comunidade
acadêmica
A comissão não emite parecer conclusivo ao
final da visita
Enviado para a IES pela Comissão de Avaliação
que poderá solicitar revisão ou aprovar para
envio a A3ES
De três a seis anos conforme deliberação da
A3ES
Sim
Em parte
Sim
Em parte
Em parte
Fonte: o autor
68
De forma geral, os sistemas se caracterizam por grande similaridade com relação à
adequação dos instrumentos para a comparabilidade do objeto de avaliação, seja a IES,
seja o curso de graduação. Ambos os sistemas tendem à convergência de critérios
mínimos para o funcionamento da IES e à atribuição de quantidades que permitam
hierarquização qualitativa, apesar de que ainda nenhum dos dois sistemas possua uma
carteira de indicadores quantitativos que permita uma classificação sistemática e
automática das IESs. Apesar disso, estudos têm sido desenvolvidos na A3ES 49 com
vistas à adoção deste tipo de avaliação como apoio à avaliação externa; no Sinaes a
elaboração dos índices de qualidade CPC e IGC tendem cada vez mais a compor
indicadores deste tipo para a classificação das IESs. O que se nota é que para ambos os
casos é adequada à conclusão:
Daqui resulta uma concepção de avaliação de tipo tecnocrático e
gerencial, predominantemente externa e quantitativa, estandardizada,
centrada na comparação entre produtos e, em geral, recusando
processos de autoavaliação conduzidos livremente por critérios
próprios, fruto da autonomia acadêmica e da capacidade de
autogoverno. (LIMA; AZEVEDO; CATANI, 2008, p.18).
Tal característica pode ser confirmada no Sinaes quando se percebe a inocuidade
dos relatórios de autoavaliação promovidos pelas IESs, sem expressão no processo de
regulação, ao mesmo tempo em que a crescente quantificação de aspectos relativos à
IES permite uma “normalização” do desempenho das IESs, ampliando o poder
comparador e generalizador da avaliação:
Estaremos perante a uma convergência normativa indispensável à
integração das instituições, mas logo orientada para a divergência
competitiva e diferenciadora, baseada na rivalidade institucional.
(LIMA; AZEVEDO; CATANI, 2008, p.14).
O fenômeno da divergência competitiva é mais notório quando se examina a
publicação e as consequências do Índice Geral de Cursos – o IGC, no Brasil. As
instituições acabam por ser classificadas na escala de 1 a 5 do IGC
50
,
independentemente de suas características organizacionais, se universidade ou centro
universitário ou faculdade. Para o público em geral, uma IES classificada como quatro
(4) é melhor que uma classificada como três (3), mesmo que a primeira seja um Centro
Universitário e a segunda seja uma Universidade, com oportunidades de pesquisa e
49
Ver o documento Indicadores de Desempenho para Apoiar os Processos de Avaliação e Acreditação de
Cursos, disponível em< http://www.a3es.pt/sites/default/files/Estudo_IndicadoresDesempenho.pdf.->
50
Conforme discutido anteriormente.
69
extensão que o primeiro não dispõe. Devido à presença destes índices de curso, o CPC,
e de instituições, o IGC, a classificação e hierarquização das IESs são explícitas no
Sinaes, enquanto que no processo de regulação português a certificação do curso ou IES
não leva diretamente a sua classificação hierárquica. É importante destacar que a
presença destes índices no Sinaes só é possível devido à existência de um exame de
desempenho, inexistente em Portugal. Sem este exame, a regulação no Sinaes estaria
conformada à avaliação externa, que também culmina em índices, o conceito de curso –
CC e o conceito institucional CI, mas que não são atualmente publicados da mesma
forma que o CPC e o IGC51.
É de se notar que ambos os sistemas tiveram sua origem associada ao modelo
holandês de avaliação. O sistema português teve sua origem nas discussões promovidas
pelo CRUP quando da criação do primeiro sistema de avaliação do Ensino Superior
português, discutido anteriormente, no qual o modelo holandês foi privilegiado como
modelo a ser adotado para o novo sistema. Com relação ao Sinaes, em seu documento
original há referência explícita ao modelo holandês (BRASIL, 2004, p. 16) e ao PAIUB
(BRASIL, 2004, p.19) que também tem inspiração neste modelo, cuja característica
distintiva é a forte presença da componente autoavaliativa. Em suas estruturas, tanto em
Portugal quanto no Brasil, a autoavaliação faz parte do processo avaliativo: na A3ES a
autoavaliação é uma fase obrigatória e prévia à avaliação externa dos pares e ocorre no
âmbito do curso avaliado. No Sinaes, a autoavaliação é uma modalidade distinta das
outras duas (a ACG, a avaliação externa dos pares e o Enade, o exame de desempenho
dos estudantes) e ocorre no âmbito da instituição. Assim, à primeira vista, a componente
autoavaliativa está assegurada em ambos os sistemas de regulação, até mesmo destacada
no texto original do Sinaes (negrito na citação original):
Os instrumentos em vigor, que sejam considerados válidos, devem ser
preservados e aperfeiçoados, porém integrados a uma outra lógica que
seja capaz de construir um sistema nacional de avaliação da
educação superior, articulando regulação e avaliação educativa
(BRASIL, 2004, p. 22).
No entanto, esta componente não está integrada ao processo regulatório em nenhum
dos dois sistemas. Na A3ES, sua existência é vinculada fortemente ao guia da avaliação
externa, com critérios estabelecidos a priori nos quais a instituição não tem autonomia
51
Conforme detalhado no primeiro movimento.
70
para propor quaisquer adequações ao contexto institucional ou regional, nem propor
outros critérios que sejam específicos de sua atuação. No Sinaes, o processo de
autoavaliação conduzido pela CPA culmina em um relatório que não é utilizado em
profundidade pela avaliação externa; ao contrário disto, a avaliação externa se utiliza de
um indicador chamado “relato institucional”, que é elaborado pela CPA para o
instrumento de avaliação externa.
A dificuldade em integrar o processo de autoavaliação às demais práticas avaliativas
– a avaliação externa no caso da A3ES e ainda o exame de desempenho no caso do
Sinaes – reside em dois pontos centrais: a não neutralidade dos envolvidos e a não
padronização advinda de critérios contextualizados, o que conforma o processo
avaliativo a uma prática adequada ao conceito que Lima (1997, p. 55) denominou de
Educação Contábil:
Revalorizando concepções mecanicistas das organizações e da
administração educativas, a educação contábil tende a centrar-se no
cálculo e na mensuração dos resultados (desvalorizando os processos
e os resultados mais difíceis de contabilizar), favorece a padronização
(em prejuízo da diversidade), apoia-se em regras burocráticas e em
tecnologias estáveis e rotineiras, promove a decomposição e
fragmentação dos processos educativos em unidades elementares e
mais simples, passíveis de “mercadorização”.
De fato, os resultados alcançados pela autoavaliação não poderiam ser padronizados
e nem mensurados em toda a sua extensão, de forma a tornar todo o processo
comparável entre IESs. Quanto à ausência de neutralidade, condição sine qua non na
autoavaliação, devido à presença de sujeitos que são avaliadores e avaliados
simultaneamente, esta vai de encontro à avaliação externa, que tem como princípio a
neutralidade dos envolvidos, a partir de sua exterioridade em relação ao objeto avaliado.
Assim, como referido por Lima e colaboradores quando investigam o projeto de criação
da A3ES: “exterioriedade e heteroavaliação surgem, naquele documento, como garantia
da independência, do rigor e da objetividade do processo de avaliação” (LIMA;
AZEVEDO; CATANI, 2008, p.18). Ao contrário disto, o processo de autoavaliação se
configura em ”uma situação em que o conhecimento mútuo das pessoas e dos contextos
é considerado um obstáculo à avaliação” (LIMA; AZEVEDO; CATANI, 2008, p.19).
Neste aspecto, o Sinaes compartilha do mesmo dilema que a A3ES, na tentativa
frustrada de integrar a autoavaliação ao processo maior de avaliação. Ambos os
sistemas acabam por dar prioridade a processos que permitam comparabilidade, seja na
71
adoção de instrumentos de avaliação externa que não permitam autonomia, mesmo que
relativa ou circunscrita, às IESs; seja, no caso do Sinaes, de índices derivados do exame
de desempenho que não admitam em sua construção especificidades oriundas quer das
formas de organização acadêmicas, de sua natureza administrativa, quer do contexto
regional em que a IES se insere.
Complementando as análises realizadas nesta perspectiva comparada, no próximo
item as similaridades e distinções entre os sistemas são discutidos a partir dos resultados
oriundos da análise de conteúdo aplicada às entrevistas realizadas.
2.4.2 A percepção de pesquisadores portugueses.
O Quadro 1 apresentado no item anterior, derivado da análise documental realizada,
permitiu estabelecer as seguintes categorias para a análise das entrevistas, quais sejam:

Princípios, características e objetivos do sistema.

Estrutura e abrangência do sistema.

Autoavaliação.

Exame de desempenho.

Avaliação externa.

Consequências da avaliação externa.
A análise de conteúdo aplicada às quatro entrevistas 52 reorganizou as categorias
estabelecidas a priori pela análise documental, configurando o quadro final de
categorias dos sistemas de avaliação e regulação:

Referenciais, pressupostos e características dos sistemas de avaliação.

Processo de autoavaliação.

Exame de desempenho.

Consequências da regulação.
Estas categorias foram utilizadas na discussão realizada a seguir, na qual as citações
literais dos entrevistados foram identificadas a partir do uso do recuo de texto, utilização
dos códigos “E1” a “E4” e fonte de texto distinta.
52
As entrevistas foram realizadas no meses de novembro e dezembro de 2014 pelo autor.
72
2.4.2.1 Referenciais, pressupostos e características dos sistemas de avaliação.
Nos documentos oficiais de ambos os países, a missão e os objetivos visam
garantir e melhorar a qualidade da educação superior. O conceito de qualidade no
âmbito do ensino é complexo, polissêmico e por vezes circunstancial:
As noções de qualidade da educação superior têm muito a ver com os
lugares relativos dos indivíduos, os compromissos dos grupos numa
dada formação social, as concepções de mundo e, particularmente, os
papéis que os atores atribuem à educação superior. Dada a
heterogeneidade das concepções de mundo e tendo em vista as
contradições de toda formação social, dificilmente se construirá
unanimidade a respeito do que é e deve ser uma educação superior de
qualidade (DIAS SOBRINHO, 2010, p. 1228).
`
Assim, procurou-se investigar que outros conceitos, segundo a percepção dos
pesquisadores, estão associados às práticas dos sistemas de regulação. Com relação a
A3ES, o exame das entrevistas permitiu destacar conceitos vinculados à qualidade
conforme o ponto de vista empresarial, da formação de produtos de consumo, como
pode ser visto nas transcrições abaixo:
O referencial tornou-se mais tecnocrático, positivista, centrado
em uma lógica de regulação delegada pelo Estado para
instâncias que o Estado delega e este se torna mais um estado
supervisor, gestionário dizem outros, enfim, metarregulador.
(E1)
Há aqui um conceito de qualidade que, provavelmente,
privilegia uma perspectiva mais tecnocrática, mais produtivista
do Ensino Superior; isto por meio dos indicadores que eles
utilizam. (E3)
Neste caso foi um conceito calcado nas experiências
empresariais, na indústria, em fábricas como a Toyota e outras,
e depois passou para a Europa, depois da revolução “neoconservadora” do anos 1980; essa noção então começa a surgir
no serviço público, e é transposta ao Ensino Superior (E4)
A quantificação e uniformização e, como consequência a comparabilidade de
indicadores, condição prévia para a hierarquização de instituições discutida no item
anterior, também aparecem como palavras-chave na regulação:
Portanto a diferenciação é esta, a avaliação, os rankings, a
reputação das instituições etc. Ou seja, nós não podemos
73
comparar maçãs com laranjas. A primeira década do processo
de Bolonha foi transformar tudo em laranjas para permitir a
comparação, a performatividade competitiva. E hoje ela é
induzida porque nós temos um sistema de harmonização, e
hoje é possível a comparação. (E1)
É para aumentar a qualidade, sem dúvida, mas que depois
acaba por conduzir a elaboração, mais ou menos distorcidas, de
rankings. Mesmo antes na outra avaliação em que havia letras,
isso acaba por levar, de facto, a uma lógica de certa
homogeneidade, uma uniformidade; estamos sendo todos
classificados na mesma lógica. (E3)
Temos também a uniformização. Não chegamos ainda aos
standards, aos padrões de outros países, mas inquestionável
que toda a avaliação externa é um momento de padronização.
(E1)
Esse processo pode trazer também algum isomorfismo, isto é,
não trazer na intenção do processo de avaliação, mas nas suas
consequências. Isto é, se aqueles são bem sucedidos e fazem
assim nós também vamos fazer. (E2)
[...] leva a que os currículos sejam alinhados aos critérios da
agência reguladora, neste caso a agência de acreditação, o que,
por sua vez, leva a uma homogeneização dos currículos. (E4)
Ainda em relação à padronização, um dos entrevistados manifestou sua
preocupação na incorporação pelas próprias IESs do que hoje está sendo induzido pelo
processo de regulação:
[...] mas para o pior, pois nós criamos nossos instrumentos de
padronização para nós próprios. E, portanto o que isto
significa? Que nós temos hoje uma vida de gestão pedagógica
uniformizada por uma plataforma eletrônica. (E1)
Nas seguintes falas fica expressa a preocupação em relação à ênfase dada aos
indicadores quantitativos:
Quando se trata de avaliar no sentido de colocar numa escala
quem está acima e quem está abaixo, já tenho mais dúvidas,
porque de facto o respeito pela contextualização e pela
diversidade dilui-se nessa volúpia “quantitativista”, que
promove claramente condições de quase mercado para as
instituições, mesmo as públicas. Esses instrumentos promovem
a curto e médio prazo o ranking das instituições. (E2)
74
Só conta para a avaliação o que se deixa contar. Esta avaliação
tem horror ao incomensurável. Tudo que é incomensurável,
que é uma das dimensões mais importantes do processo
educativo, tem que ser desprezado por esse paradigma de
avaliação. (E1)
A assunção de critérios mínimos advinda da padronização de indicadores é
exposta nesta entrevista:
A avaliação hoje é um instrumento de categorias que tendem a
se tornar universais e que estão vinculadas a outras categorias
que tendem também a se tornar universais, por exemplo:
benchmarks, melhores práticas, boas práticas. (E1)
E este pesquisador manifestou sua preocupação na adoção destes padrões na área
do ensino:
É um conceito importante, mas difícil para a área do Ensino,
pois se é fácil para uma indústria medir a qualidade dos
produtos que produz que necessitam de um padrão préestabelecido específico, para as instituições de ensino isso é
mais complicado. (E4)
A problemática associada ao conceito de neutralidade na avaliação pelos pares
foi abordada por um dos entrevistados:
Mas nós estamos em um sistema de avaliação que quanto mais
distante e olímpico melhor [...] não podendo ser olímpica ela
tem que ser feita por indivíduos que são distantes, de
preferência não falam a língua do país, não conhecem nada do
país, vem cá estranhando a realidade e fazendo juízos
objetivos. E por objetividade entenda-se neutralidade, o
desconhecimento da realidade, o desconhecimento da história
do país, da cultura e da língua. (E1)
Basicamente a argumentação é esta: são todos acadêmicos, o
país é um país pequeno e, portanto, não há distância crítica
suficiente. E por isso é necessário um sistema mais distante, um
sistema diferenciado. (E1)
Torna-se claro que, na percepção dos entrevistados, o conceito de “qualidade”
praticado pela A3ES está associado àquele praticado no âmbito empresarial, no qual a
mensuração de características previamente selecionadas pela agência, idênticas em sua
formulação e independentes do contexto da instituição, é utilizado para definir a
qualidade do ensino, por meio de valores de corte mínimos que possibilitem a adoção de
75
medidas “corretivas” nos casos em que o mínimo exigido não seja cumprido pelo curso
ou instituição, além de possibilitar critérios uniformes nos casos de distribuição de
recursos e estimular a competitividade entre as instituições tendo como padrão o
mercado de trabalho. Estes últimos aspectos aparecem em duas das quatro entrevistas
realizadas: “[...] a comparação é competitiva e que tem a ver com a performance
competitiva que depois tem consequências na distribuição dos recursos”.(E1).
A lógica da eficiência e também eficácia dos sistemas em
relação ao externo: empregabilidade, mercado de trabalho é
mais acentuada do que propriamente a qualidade em relação
ao ensino-aprendizagem. (E3)
Estes efeitos também podem ser observados neste tipo de
lógica de prestação de contas posterior, associado aos
financiamentos, como um sistema de accountability de alto
risco, pois se corre o risco de não sermos acreditados. (E3)
Além disso, neste processo, a distância entre avaliado e avaliador é preferida ao
conhecimento prévio da realidade do objeto a ser avaliado. Tais conceitos associados à
qualidade do ensino superior, percebidas pelos pesquisadores portugueses em relação ao
seu sistema de regulação, encontram eco na percepção dos pesquisadores brasileiros em
relação ao Sinaes, notadamente ao uso de indicadores para o ranqueamento de
instituições, que no caso do Sinaes é mais conspícuo que na A3ES, tendo em vista que o
primeiro dispõe de indicadores quantitativos como o CPC e o IGC, derivados do Enade,
que permitem uma classificação direta de cursos e instituições:
A ênfase dada à variável “desempenho do estudante”, nos resultados
obtidos pelas IESs, finda por transformar a proposta do Sinaes de
avaliação como processo formativo em simples avaliação de
resultados, com privilegiamento, portanto, da tônica tecnológica
(WEBER, 2010, p. 1264).
Neste sentido, o Sinaes, privilegiando o desempenho do estudante como
principal fonte de indicadores de qualidade do ensino superior 53, assume uma vertente
quantitativista e produtivista tão ou mais perceptível que a A3ES, pois promove a
classificação direta das IESs por meio de seus índices, cuja uniformidade é universal,
tendo em vista que não consideram quaisquer especificidades nas IESs, sejam elas de
cunho administrativo, organizacional ou local no contexto regional do país.
53
Notar que, em 2011, a nota técnica com o cálculo destes indicadores de desempenho foi publicada pelo
Inep sob o título “Manual dos indicadores de qualidade”. Ver
http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/manual_indicadores_qualida
de_2011_sem_logo.pdf
76
2.4.2.2 Processo de autoavaliação
A percepção dos pesquisadores em relação ao processo de autoavaliação de
curso empreendido do âmbito da A3ES e sua distinção do processo de autoavaliação
institucional existente no Sinaes mostra unanimidade em relação à importância do
processo. Em todas as entrevistas aparece menção a isto, seja no sentido geral do
processo de autoavaliação, independentemente de sua realização no nível do curso ou da
instituição,
[...] um exercício reflexivo acerca da nossa realidade. Neste
sentido eu sou muito favorável a este tipo de avaliação” (E2)
ou pela indicação de que um processo no nível institucional é necessário mesmo
com a existência deste no nível de curso:
Portanto esta questão de ser uma avaliação institucional
diferenciada daquela por curso, eu julgo que seria interessante
no sentido de uma autoavaliação institucional e uma avaliação
institucional externa que ao existir prescinda da avaliação dos
cursos. (E3)
Eu tenho alguma preferência, digamos, pelo sistema brasileiro,
pois uma coisa que está relativamente pouco desenvolvida aqui
em Portugal é a autoavaliação institucional. Ela existe
implicitamente, na avaliação dos cursos, mas não é uma coisa
como uma autoavaliação institucional que mexe com a
instituição como um todo, que de certa forma obriga as suas
diferentes unidades a se articularem melhor. (E4)
Já a autoavaliação de curso existente na A3ES é contestada por um dos
entrevistados, devido a sua relação direta com a avaliação externa:
Eu prefiro uma autoavaliação que seja realizada segundo os
referenciais que nós autonomamente construímos e
mantemos, do que seja uma pretensa autoavaliação
subordinada quando não esmagada pelos referenciais externos.
Acho que nós temos que falar em avaliação interna e não
autoavaliação. Eu acho que nós não fazemos autoavaliação dos
cursos nas universidades portuguesas. Nós fazemos uma
avaliação interna preparatória para a externa e só nos quesitos
e referenciais que nos são apresentados para a avaliação
externa. Portanto ela é subordinada, submissa, orientada por
referenciais externos. Eu não chamo isso de autoavaliação
porque autoavaliação é autonomia. (E1)
77
No caso do Sinaes, a problemática reside na importância do processo de
autoavaliação institucional para os processos regulatórios do sistema, visto não se
dispor de uma autoavaliação no nível do curso54. Ainda não foi possível desenvolver no
sistema uma estratégia que envolva o processo de autoavaliação no processo maior de
avaliação empreendido pelo Sinaes, englobando as outras duas modalidades, a avaliação
externa e o exame de desempenho. A autoavaliação institucional continua, após dez
anos de implantação do sistema, como a modalidade mais frágil e sem consequências no
processo regulatório55.
Conclui-se que a diferença entre os sistemas em relação à autoavaliação esbatese ao se considerar o papel deste processo em relação à regulação; nos dois sistemas, a
autoavaliação ainda não se configura um importante componente do processo maior. Ao
contrário disto, ou parece ser subordinada aos critérios da avaliação externa, no caso da
A3ES, ou não é considerada no processo de regulação, que se utiliza da avaliação
externa e para a maioria dos cursos, do exame de desempenho do estudante, no caso do
Sinaes. No entanto, um dos entrevistados aponta para uma possibilidade de
incorporação de um processo de autoavaliação que goze de uma autonomia relativa:
A autoavaliação para mim implica sempre no mínimo uma
negociação de referenciais. E que eu possa fazer uma avaliação
interna que possa ser utilizada pela avaliação externa ou não, e
eventualmente com referenciais distintos em um caso ou em
outro. Eu ainda sou adepto por uma situação intermédia, que
seria uma autoavaliação negociada com o avaliador externo; do
ponto de vista em que a autoavaliação conteria todos os
elementos exigidos para a avaliação externa, mas poderia ir
completamente para além daí, não podendo ser uma avaliação
absolutamente autônoma, independente ou desligada; nós
teríamos um compromisso e nós passaríamos a que a avaliação
externa tivesse que necessariamente levar em consideração os
elementos da autoavaliação que não só os impostos pela
própria agência. (E1)
Uma possível evolução na prática da A3ES consistiria na incorporação de
critérios autóctones da IES, que possibilitassem ao avaliador externo o exame de
indicadores contextuais. No Sinaes a autoavaliação de curso poderia ser um elemento a
54
Apesar de existir um momento em que o curso preenche um formulário eletrônico, onde descreve
aspectos do curso como perfil, currículo, organização pedagógica e outros, não existe necessariamente
um juízo de valor emitido, de forma a caracterizar uma autoavaliação.
55
Este aspecto foi discutido pormenorizadamente no primeiro movimento.
78
ser considerado no aprimoramento do sistema, enquanto que a autoavaliação
institucional poderia ser considerada juntamente com as demais modalidades, e passível
de meta-avaliação pelos pares. Como expresso por um dos entrevistados, a busca pela
melhoria de qualidade poderia voltar a ser o foco do processo de avaliação, ao invés do
aspecto produtivista e eficientista:
Nós podemos nos avaliar no contexto da própria instituição, no
contexto da realização das próprias práticas educativas ou da
investigação, seja o que for. Nós podemos comparar nossa
performance com a performance que tivemos anteriormente e
que vamos ter no futuro. Não ter que ser necessariamente uma
performatividade competitiva. É esta performatividade
competitiva que de certa forma envenena todo o exercício
avaliativo. (E1)
2.4.2.3 Exame de desempenho
A adoção de exames de desempenho pelo sistema hoje existente em Portugal, à
semelhança do que já existe no Brasil, por meio do Enade, foi descartada por todos os
entrevistados. Justificaram sua percepção negativa em relação a este tipo de modalidade
com base no argumento de que não é possível avaliar um processo por meio de um
resultado mensurado ao final deste, além de suas implicações em relação à prática
docente. Com relação ao primeiro aspecto, um dos entrevistados assim se manifestou:
Isso para mim é complicado. Como se vê isso em um curso
como Medicina? Engenharia pode até ser, mas evidentemente
os conceitos teóricos que o Engenheiro detém podem não
atender aquilo que o mobiliza para as práticas. Portanto aí há
algumas áreas em que eu não percebo como é possível avaliar
os conhecimentos a partir de um teste. Sem contar com o
conhecimento tácito, que não podem ser avaliados por um
teste. (E4)
A preocupação em relação à modificação da prática docente é manifestada por
dois entrevistados:
E vai implicar que o professor começa a preparar os seus alunos
para o desempenho à saída, porque é claro que isso depois vai
ter implicações na procura social pelas instituições, e vai ter
implicações na reputação, no status relativamente às
instituições, às faculdades, aos cursos. (E1)
79
O exame, a partir do momento em que me define o que o aluno
deve saber, que conteúdos e competências que ele deve saber
relativamente a uma área temática, eu fico com uma margem
de manobra muito mais reduzida. Portanto eu tenho algum
receio neste tipo de avaliações e seus efeitos. (E3)
O outro entrevistado manifestou preocupação em relação a que este tipo de
prática responde:
Evidentemente que o regulador tem que ter informação acerca
do sistema. Mas transformar isto em sistemas de medição de
desempenho dos cursos, dos estudantes, ou mesmo das
instituições... temos que procurar o sentido deste projeto em
um contexto mais amplo do que estes instrumentos políticos se
enquadram. (E2)
Tais percepções encontram eco nas discussões entre pesquisadores brasileiros
com relação ao Sinaes. Desde a implantação do Enade, as críticas ao exame centram-se
na adoção dos índices dele derivados:
Porém, no meio do processo de implantação do Sinaes, novos
resultados simplificados (índices) e novos rankings foram
implantados, em 2008, numa tentativa de retorno das
concepções de avaliação de resultados. (ROTHEN; E BARREYRO,
2011 p. 286)
Uma das críticas que se impõe ao sistema atual se baseia na ênfase dada ao
desempenho dos estudantes na avaliação geral da instituição. Weber explicita esta
preocupação ao expor que esta característica “... finda por transformar a proposta do
Sinaes de avaliação como processo formativo em simples avaliação de resultados”
(WEBER, 2010, p. 1264).
Peixoto analisou os resultados das universidades que obtiveram conceitos gerais
mais elevados no período 2008-2009 e concluiu que: “[...] as universidades analisadas
não são homogêneas no que se refere à capacidade de produção de conhecimento, à
abrangência e qualidade da sua pós-graduação e na composição de seu corpo docente”
(PEIXOTO, 2011, p.32) e conclui acerca dos conceitos atribuídos às IESs:
É mais provável que, se existe algum subsídio a ser retirado desses
resultados, seja exatamente o contrário: a pouco significativa
contribuição que o processo trouxe para produzir conhecimento acerca
da qualidade da educação superior brasileira de hoje e para o
aprimoramento das instituições avaliadas (PEIXOTO, 2011, p. 33).
80
Tais discussões mostram a insatisfação em relação à utilização do Enade como
componente principal dos índices utilizados nos processos regulatórios dos cursos de
graduação.
2.4.2.4 Consequências da regulação
As consequências advindas do sistema de avaliação de acreditação conduzido
pela A3ES foram o assunto mais recorrente nas entrevistas. Nestas, todos os
pesquisadores apontaram efeitos positivos para o sistema de ensino, como se pode ver
nas falas a seguir:
[...] para o melhor porque se faz o trabalho de casa; porque
depois utiliza estas aquisições como marketing. (E1)
Em termos de fundo, ela desempenha também uma forma do
sistema corrigir seus excessos e seus déficits. Por exemplo,
muitas instituições, na expectativa, ou conhecendo as linhas de
orientação e os guiões de avaliação da A3ES fecharam muitos
cursos, assumindo que não teriam cabimento de serem
acreditados. (E2)
Ao que parece existe alguns efeitos positivos na atuação da
A3ES, principalmente na autorregulação da oferta de
determinados cursos. Isto já aconteceu e continua a acontecer.
Isso me parece positivo, porque de facto tínhamos um sistema
que cresceu de forma exponencial sem grande controlo do que
se ofertava e a A3ES introduz alguma “ordem” no campo. (E3)
[...] também tem tido um papel muito útil de afastar o trigo do
joio, sobretudo aqueles programas curriculares ou de ensino
que de facto não tinham viabilidade, não estavam sustentados
do ponto de vista da fundação, das pessoas que dependiam
dele. (E4)
No entanto, um dos pesquisadores questionou este efeito regulador sobre a oferta
de cursos, tendo em vista que as avaliações da A3ES são pagas pelas IESs:
Há instituições que se perguntam se vale a pena pagar; porque
estas avaliações são pagas. Portanto a agência foi dotada de
um capital inicial pelo Estado, mas o Estado não paga mais a
agência, quem paga são as instituições. Portanto hoje as
instituições vão fazer contas: vale a pena pagar para um curso
que não tem alunos ou que nós achamos pode ter algumas
debilidades, isto é muito bem visto pela agência. A agência vê
81
isto como uma autorregulação das instituições. É discutível.
(E1)
Este ainda mencionou o fato de que há casos em que esse procedimento
institucional, visto como uma autorregulação benéfica pela A3ES, muitas vezes se
baseia em critérios outros que não a qualidade do curso em questão:
[...] avaliação externa é vista por muitos cursos e pelas IESs
como uma potencial ameaça, e embora ela tenha agido com
alguma cautela até hoje, a sua existência foi um fator de
inibição de cursos, muitas instituições terminaram seus cursos
ou já nem sequer propuseram sua avaliação. E não apenas por
uma questão de qualidade, mas muitas vezes por questões
como o número de doutores, outras vezes por questões que
envolvem a empregabilidade, que é um movimento que se fala
cada vez mais. E é um movimento que eu penso que é
claramente um fator de regulação pelo mercado. (E1)
Os entrevistados manifestaram sua preocupação em relação a outros aspectos. O
aumento das atividades administrativas frente às pedagógicas foi um destes:
Começou por ter um impacto do ponto de vista administrativo,
no desenvolvimento de gabinetes específicos de qualidade,
além dos docentes despenderem grande parte do seu tempo
na administração, em tarefas de cariz administrativo: no
preenchimento de protocolos e instrumentos. Penso que isto
foi diferente nas instituições. (E3)
Um efeito negativo que não será devastador, mas é poderoso,
é o acréscimo de atividades de administração, de atividades
burocráticas que foram implícitas e que de facto retiram aos
professores e investigadores uma boa parte do seu tempo:
preparar um processo de acreditação é uma tarefa, não digo a
tempo inteiro, mas por parte dos diretores, toma um tempo
considerável. Este é outro efeito colateral. (E2)
Além disto, possíveis mudanças nas práticas pedagógicas foram citadas:
[...] mas estamos a induzir uma nova pedagogia científica
racionalizadora com um conjunto a priori e que depois a prática
da disciplina deve se adaptar e não ao contrário. Somos nós
que temos que nos adaptar à gestão da disciplina. (E1)
[...] um excessivo controlo do processo, quer de conteúdos,
quer de metodologias e aquela tendência que já comentei
sobre a autoavaliação de se privilegiar mais o processo
administrativo que o ensino-aprendizagem e põe em causa, às
82
vezes, certa autonomia do trabalho do professor, uma vez que
temos que colocar todos os conteúdos, as formas como os
damos e isso depois será avaliado. (E3)
Nunca se viu a avaliação externa adaptar-se à prática
pedagógica e sim o contrário. Até que ponto isto está a
sobredeterminar nossa prática? (E1)
Outro aspecto apontado foi o perigo das instituições criarem representações de si
mesmas para efeito do processo de acreditação. Este fenômeno, denominado por Ball de
fabricação, é por ele assim descrito:
As fabricações que organizações (e indivíduos) produzem são seleções
dentre várias possíveis representações – ou versões – da organização
ou da pessoa. Organizações complexas como escolas e universidades
são diversas e multifacetadas, ainda que sejam, às vezes, sobremaneira
contestadas e, frequentemente, contraditórias. Claramente,
determinados grupos ou indivíduos serão capazes de privilegiar
representações particulares. Entretanto, essas seleções e escolhas não
são feitas dentro de um vácuo político. Elas são derivadas das
prioridades, dos limites e dos climas preparados pelo ambiente das
políticas. (BALL, 2010, p.44)
Tais representações, nas quais “a veracidade não é a questão; o que importa é a
efetividade das fabricações no mercado ou para a inspeção” (BALL, 2010, p.44),
aparecem em duas entrevistas:
Na medida em que as instituições públicas dependem em
grande parte do financiamento público, embora muitas delas já
tenham formas de criar seu próprio rendimento [...] as
instituições, através de suas instâncias pedagógicas e
científicas, começaram a “posar” para a avaliação, para o
processo de acreditação, e digamos, a cantar de acordo com a
melodia que está sendo disseminada, esta nova gramática. (E2)
Uma das coisas típicas desta avaliação, por ser baseada em
resultados, é isto: as pessoas defenderem-se. Muitas vezes há o
discurso oficial, o pro forma, e uma prática interna diferente,
que é escondida do exterior. No limite, pode haver o discurso
para o exterior de que nesta instituição há colaboração, uma
articulação entre as diferentes unidades, mas pode haver a
prática escondida. (E4)
É interessante notar que no caso brasileiro, o Sinaes e mais especificamente o
Enade, que por meio das portarias que regulam os conteúdos que serão abordados no
exame, e dos índices derivados deste exame, parece ter mais efetividade que o sistema
português em dois dos aspectos mencionados pelos pesquisadores portugueses: a
83
mudança na prática pedagógica docente e as fabricações. Com relação ao primeiro
aspecto, as IESs brasileiras têm se valido de várias estratégias para aumentar o
desempenho dos seus estudantes frente ao Enade: seminários, simulados e até seleção
de concluintes56 para participar do exame. No segundo caso, a construção dos índices
derivados do exame: a nota Enade, a nota IDD, o CPC e o IGC, e seu refinamento
computacional, apontam para a fabricação57. Deve-se novamente frisar que estes índices
não só têm consequências para os cursos de graduação em seus processos de renovação,
mas incidem sobre a autonomia das universidades em propor novos cursos de
graduação, já que o IGC é utilizado como índice regulador para tal.
Conclui-se destas entrevistas que as principais preocupações derivadas da atuação
da A3ES no Ensino Superior em Portugal já se encontram algum tempo efetivadas no
sistema de regulação brasileiro, a maior parte delas derivada da aplicação do exame de
desempenho aos estudantes e outra parte advinda do modo de operação da avaliação
externa.
Neste segundo movimento da pesquisa, investigou-se o processo de avaliação do
ensino superior português, no qual o exame de desempenho é ausente. As conclusões
advindas da comparação entre o sistema português e o Sinaes foram:

A avaliação externa do sistema português, análoga a ACG brasileira, é central no
processo de regulação, ambas com características mais similares do que
distintas, com destaque a distância entre avaliado e avaliador, que permite uma
suposta neutralidade do juízo de valor sobre o curso ou a IES avaliada.

A maior diferença da avaliação externa do sistema português consiste na
presença de uma avaliação interna de curso, prévia a avaliação in loco, processo
inexistente no sistema brasileiro.

O Sinaes dispõe de uma autoavaliação institucional, que não ocorre no sistema
português. No entanto, em Portugal está em desenvolvimento um processo de
auditoria de sistemas internos de garantia de qualidade do ensino superior,
inexistente no Brasil.
56
A seleção de estudantes promovida pela Universidade Paulista - UNIP foi motivo de matéria
jornalística em 2012. Ver http://educacao.estadao.com.br/noticias/geral,unip-e-acusada-de-turbinarnotas-do-enade-e-mec-cobra-explicacoes,843262.
57
Conforme discutido anteriormente (ver páginas 36 a 38)
84

Os sistemas compartilham características técnico-instrumentais: a adoção de
indicadores mensuráveis e critérios mínimos, que permitem a comparabilidade
dos cursos e das IES.

Em ambos os processos regulatórios há consequências na administração
acadêmica e distribuição de recursos financeiros.

Em ambos os sistemas foi estabelecido um processo de autoavaliação. No
entanto ou este processo está subordinado a avaliação externa (o caso português)
ou não é considerado nos resultados do sistema (o caso brasileiro).

A percepção dos pesquisadores portugueses em relação aos sistemas corroboram
as conclusões da comparação realizada, destacando-se o conceito de qualidade
associado à mensuração, produtividade, comparabilidade e diferenciação
competitiva.

O processo de autoavaliação foi considerado muito importante para a avaliação,
mas reduzido ou inexistente no contexto atual português, devido a sua
subordinação a avaliação externa.

A existência de um exame de desempenho no sistema de avaliação foi
considerada imprópria, devido a sua natureza reducional do processo educativo.

As principais consequências do processo de regulação apontadas foram a
autorregulação no oferecimento de novos cursos, o aumento das atividades
administrativas na IES e o risco de representações de si mesmas para a avaliação
externa.
O terceiro movimento dedica-se a examinar os resultados de um triênio do Enade a
fim de avaliar o quão justificável é seu papel central no sistema.
85
3. TERCEIRO MOVIMENTO - CARACTERIZAÇÃO DA ESTRUTURA DAS
RELAÇÕES ENTRE OS INDICADORES DO ENADE 2008-2010
Nos dois primeiros movimentos examinou-se o Sinaes interna e externamente,
por meio da análise de suas modalidades e da comparação do sistema com outro sistema
de avaliação no qual o exame de desempenho inexiste. Esta diferença fundamental do
Sinaes é aqui examinada neste terceiro movimento, no qual se procurou responder o
quão justificável é o papel central do Enade no Sinaes e quão generalizável é o seu
principal índice, o Conceito Preliminar de Curso – CPC, como indicador de qualidade
dos cursos de graduação. Para tanto foram investigadas as relações entre os indicadores
presentes na composição do CPC no triênio 2008-2010 para as diversas áreas
abrangidas pelo exame. Inicia-se com uma caracterização sumária do exame, na qual se
descrevem o referencial e a metodologia adotada na pesquisa das relações para então
caracterizá-las. Ao final são realizadas sínteses acerca da estrutura de relações
estabelecida para os índices de desempenho estudados.
3.1 O Exame Nacional de Desempenho dos Estudantes
O Enade58 consiste em um exame dividido em duas provas: Formação Geral e
Componente Específico, além de um questionário socioeconômico de 54 questões que o
estudante responde on-line antes de realizar a prova. A prova de formação geral consiste
em dez questões, oito de múltipla escolha, com 60% do peso da prova e duas
dissertativas, com 40% do peso da prova. A prova do componente específico contém 30
questões, 27 de múltipla escolha, que compõem 85% do peso da prova e as três últimas
questões dissertativas, com 15% do peso da prova. O desempenho dos estudantes, tanto
ingressantes 59 quanto concluintes, chamado “nota Enade” ou “Enade contínuo”, é
calculado com base nestas duas provas, com peso de 75% para a prova de componente
específico e 25% para a de formação geral.
58
A descrição aqui realizada refere-se à forma como o exame era realizado e os índices eram construídos
até 2010.
59
A partir de 2011 a nota dos ingressantes não foi mais computada.
86
A partir da nota final calculada 60 , constrói-se, para cada curso das áreas que
foram avaliadas no exame, outro indicador: O IDD – indicador de diferença entre o
desempenho esperado e o observado. Este é construído a partir de uma equação linear
que tem como variáveis: a nota do Enade, a proporção de estudantes ingressantes cujo
pai e/ou a mãe tem nível superior de escolaridade, a razão entre o número de concluintes
e o número de ingressantes, a proporção de docentes com título mínimo de doutor,
proporção de docentes com título mínimo de mestre, a proporção de docentes com
regime de trabalho integral ou parcial, a proporção de alunos que avaliaram
positivamente um aspecto da infraestrutura do curso e a proporção de alunos que
avaliaram positivamente um aspecto da organização didático-pedagógica do curso.
Tanto o Enade contínuo quanto o IDD contínuo são convertidos em faixas que variam
de 1 a 5, os chamados conceito Enade e IDD.
Os dois índices contínuos são utilizados para construção do Conceito Preliminar
do Curso – CPC. Este é calculado a partir da seguinte fórmula61:
CPC = (0,20 ∗ NPD) + (0,05 ∗ NPM) + (0,05 ∗ NPR) + (0,05 ∗ NI) + (0,05 ∗ NO)
+ (0,30 ∗ NIDD) + (0,15 ∗ NIng) + (0,15 ∗ NConc)
Os insumos utilizados para o cálculo são:
NPD, NPM e NPR62 se referem aos percentuais de doutores, mestres e docentes
em regime de tempo integral ou parcial, provenientes do Censo da Educação Superior.
As notas referentes à infraestrutura (NF) e organização didático-pedagógica são obtidas
no questionário socioeconômico preenchido pelo estudante que presta o Enade.
O percentual de respostas satisfatórias na pergunta referente à infraestrutura,
padronizada (NI). A pergunta do questionário do Enade63 sobre infraestrutura utilizada é
60
A partir de 2008 somente a nota dos concluintes foi utilizada para calcular o Enade contínuo.
Com algumas modificações na notação das variáveis para melhor compreensão do leitor.
62 As três notas referem-se a notas padronizadas por meio de uma transformação estatística conhecida
como normal reduzida, realizada a partir dos percentuais encontrados para cada IES em relação às
médias e desvios-padrões de todos os cursos do Brasil para uma dada área.
63
Transcreve-se aqui literalmente o que prescrevia a nota técnica do Inep que tratava do CPC referente ao
Enade 2008. Essa mesma transcrição foi realizada para o indicador relativo aos planos de ensino. Notar
que para o resultado do Enade de 2011 o cálculo das notas destes dois indicadores foi modificado,
passando-se a utilizar pesos para cada alternativa de cada uma das questões.
61
87
a seguinte: “Aulas práticas: os equipamentos disponíveis são suficientes para todos os
alunos?”64
O percentual de respostas satisfatórias na pergunta referente aos planos de
ensino, padronizada (NO). A pergunta do questionário do Enade sobre a organização
didático-pedagógica utilizada é a seguinte: “Os planos de ensino contêm todos os
seguintes aspectos: objetivos; procedimentos de ensino e avaliação; conteúdos e
bibliografia da disciplina?” 65 . A partir desta pergunta, considerou-se como tendo
avaliado positivamente a organização didático-pedagógica os alunos que responderam
que todos os planos de ensino contêm esses aspectos.
Os demais insumos são aqueles derivados do Enade, já mencionados
anteriormente: NIDD, o IDD contínuo; NIng, a nota dos ingressantes e NConc, a nota
dos concluintes, também padronizados como as demais variáveis. A construção destes
índices é detalhada nas notas técnicas conceito Enade 2010 e CPC 2010 que se
encontram nos anexos A e B.
A fórmula do CPC expõe a lógica de sua construção: o conceito de um curso
deriva em parte da qualidade do seu corpo docente (30% da nota), aqui expressa pelos
percentuais de mestres e doutores e pelo regime de trabalho em tempo parcial e integral,
relativizados em desvios da média derivados da transformação normal, pela opinião dos
estudantes que responderam ao questionário socioeconômico do Enade (10% da nota),
duas das 54 questões do formulário, e majoritariamente do desempenho expresso pelos
Enade e IDD contínuos (60% da nota).
Observa-se a heterogeneidade das variáveis que compõem o CPC como seus
insumos: as primeiras delas consistem em dados objetivos informados pela própria IES.
Contrário a isto, NI e NO advêm da opinião dos estudantes em relação a somente duas
questões do questionário, que pretendem dar indicação acerca da qualidade da
infraestrutura e da organização didático pedagógica do curso. Em síntese: O CPC, que
consiste hoje no principal índice da “qualidade” de um curso utilizado para a regulação
da Educação Superior brasileira, “revela” esta “qualidade” por meio de suas duas
64
As alternativas de resposta são: (A) = Sim, em todas elas. / (B) = Sim, na maior parte delas. / (C) =
Sim, mas apenas na metade delas. / (D) = Sim, mas em menos da metade delas. / (E) = Não, em
nenhuma. A partir desta pergunta, considerou-se como tendo avaliado positivamente a infraestrutura os
alunos que responderam (A) ou (B).
65
A) = Sim, todos contêm. / (B) = Sim, a maior parte contém. / (C) = Sim, mas apenas cerca da metade
contém. / (D) = Sim, mas apenas menos da metade contém. / (E) = Não, nenhum contém.
88
“pontas”, quais sejam, a entrada: qualificação docente (NPM e NPD), regime docente
(NR), infraestrutura (NI) e organização didático-pedagógica (NO) do curso; e a saída:
desempenho discente aferido por meio do seu desempenho em dois momentos (NIng e
NConc) e pela diferença de desempenho agregada (NIDD).
Note-se que o conceito exposto nesta equação, que é utilizada de forma geral por
todas as áreas avaliadas pelo Enade, em todo o território nacional, traduz uma relação
única estabelecida entre a “entrada” e a “saída”. O CPC parte da afirmação de que
podemos aferir a qualidade de um curso por meio destas variáveis, pois elas constituem
variáveis mensuráveis do processo de formação do estudante, de tal forma que outras
variáveis não produzem modificação suficiente do produto (o desempenho) para que
mascarem o efeito das primeiras. E mais, este processo de entrada e saída tem
similaridade nas áreas avaliadas, independente, ou pelo menos, com pouca influência,
de fatores como o contexto regional em que a IES está inserida, sua forma de
organização e sua relação com a geração dos recursos necessários para sua existência.
Estas premissas são o objeto de estudo da caracterização a seguir realizada.
3.2 O referencial metodológico
A metodologia utilizada se apoiou na ideia de que a avaliação da qualidade de
ensino de uma instituição deve se pautar na articulação entre os pressupostos
epistemológicos que a fundamentam, o exame de indicadores que expressam esta
qualidade e as interrelações subjetivas que a caracterizam. Considera-se necessária a
utilização de medidas, desde que estas não sejam o final do processo avaliativo, pois,
como aponta Dias Sobrinho, “não basta, portanto, apenas conhecer a estrutura aparente
e enumerar os produtos de uma instituição” (DIAS SOBRINHO, 2000, p. 95). É
necessário que se faça uma avaliação qualitativa dos resultados provindos dos
indicadores quantitativos, para que se possa conhecer a complexidade de relações pelas
quais tais indicadores somente revelam recortes, ou “pontas de icebergs” da verdadeira
estrutura institucional.
Quanto ao conjunto de dados utilizado para a pesquisa, de acordo com o exposto
em Laville e Dione (1999), uma pesquisa pode ser classificada como “pesquisa com
dados existentes” quando utiliza como fonte de dados informações já publicadas.
89
Considerando-se um dos objetivos desta pesquisa o de examinar relações entre variáveis
quantitativas, o estudo pode ser identificado como um survey interseccional, assim
definido:
Num survey interseccional , dados são colhidos, num certo momento,
de uma amostra selecionada para descrever alguma população maior
na mesma ocasião. Tal survey pode ser usado não só para descrever,
mas também para determinar relações entre variáveis na época do
estudo. (BABBIE, 1999, p.101)
A pesquisa também foi considerada como uma pesquisa de abordagem mista de
dupla fase, de cunho incorporado qualitativo (CRESWELL, 2010), tendo em vista que o
processo inicia-se um uma primeira fase com a análise de indicadores quantitativos, por
meio de técnicas apropriadas a esta, e amplia-se para um âmbito qualitativo, com juízos
de valor sobre a estrutura quantitativa estabelecida na primeira fase.
3.3 Delineamento da investigação
O universo da pesquisa foi delimitado com base nos resultados publicados pelo
Instituto Nacional de Pesquisa e Estudos Educacionais Anísio Teixeira (Inep) referente
ao Enade para as IESs brasileiras, constantes nas planilhas de conceito preliminar dos
cursos (CPC) denominadas “CPC decomposto”. O universo foi delimitado pelo triênio
2008-2010, com o intuito de possibilitar a análise de todas as áreas submetidas ao
exame, tendo em vista a natureza trienal do Enade. A escolha de 2010 como o ano final
deveu-se à modificação do cálculo do IDD a partir de 2011, quando o desempenho dos
estudantes ingressantes no ENEM, e não no Enade, foi utilizado para a construção do
índice. Assim o mesmo modelo de cálculo foi mantido para o ciclo trienal. Procurou-se
utilizar a mesma notação das notas técnicas publicadas pelo Inep 66 . As variáveis
coletadas na planilha foram os insumos:
66

Nota de Professores Doutores (ND)

Nota de Professores Mestres (NM)

Nota de Professores com Regime de Dedicação Integral ou Parcial (NR)

Nota referente à Infraestrutura (NI)

Nota referente à Organização Didático-Pedagógica (NO)
Conforme as notas técnicas presentes nos anexos A e B, com algumas modificações na notação das
variáveis, disponíveis em http://portal.inep.gov.br/notas-tecnicas.
90
E os índices de desempenho:

Nota do Enade ou Enade contínuo (NEnade)

Nota do IDD ou IDD contínuo (NIDD)
Como ocorreram modificações nas denominações das variáveis nos três anos de
estudo, estas foram padronizadas. Como exemplo, em 2008 as IESs eram classificadas,
segundo sua categoria administrativa, em federais, estaduais, municipais e privadas. A
partir de 2009 a classificação foi reduzida para apenas públicas e privadas. Devido a isto
os dados de 2008 foram recategorizados, de forma que apareceram em 2009 e 2010
distribuídos em instituições públicas e privadas. Esse procedimento de padronização foi
feito sempre que necessário. Um segundo passo foi a retirada de registros de acordo
com os seguintes critérios de exclusão:

Registros que não contivessem valores para todas as variáveis de estudo. Assim
foram eliminados registros sem CPC, registros que constassem “sem conceito” e
insumos com valores em branco. Alguns registros apresentavam CPC, mas
continham um campo branco em algum insumo. Tais registros também foram
eliminados.

Registros com nota zero nas variáveis NI e NO. Como o cálculo demonstrado na
Nota Técnica considera nota zero caso nenhum estudante tenha respondido ao
questionário socioeconômico 67 , tais notas zero podem corresponder a duas
categorias de resposta: alunos que não responderam e alunos que efetivamente
atribuíram valor correspondente a zero na questão do questionário. Por isso
optou-se pela eliminação dos registros que contivessem esse dado ambíguo.
No exame das variáveis não foram observadas as subáreas e por isso os resultados
apresentados referem-se somente às áreas. Por exemplo, a área de Comunicação Social
foi tratada como uma só, e não foram consideradas suas subáreas, tais como Jornalismo,
Publicidade e Propaganda, etc.
67
De acordo com a nota “caso nenhum aluno tenha respondido ao questionário socioeconômico, o curso
terá a nota referente à infraestrutura (NF) computada como 0 (zero) para o cálculo do CPC.” O
tratamento é idêntico para a nota referente à organização didático-pedagógica (NO).
91
Das 71 áreas constantes nos três anos avaliados, optou-se por desconsiderar aquelas
em que o número de cursos avaliados em todo o Brasil fosse igual ou inferior a 3068
(DEVORE, 2012, p. 210), visto que os dados se referiam a uma amostra dos cursos
brasileiros, pois nem todos são avaliados e os métodos de análise foram baseados na
suposição de distribuição normal. As áreas e respectivo número de cursos são mostrados
no Apêndice B. Com o critério de exclusão foram mantidas 55 das 71 áreas para a
análise de dados.
No modelo de análise, as variáveis insumos: ND, NM, NR, NI e NO foram
consideradas variáveis independentes, e NEnade e NIDD variáveis dependentes.
Previamente à escolha do método analítico, procedeu-se à averiguação da normalidade69
da distribuição das variáveis dependentes, para cada uma das 55 áreas avaliadas. Os
dados foram considerados normais e os resultados estão apresentados no Apêndice C.
A relação entre os insumos (variáveis independentes) e desempenho (variáveis
dependentes) foi examinada por meio de regressão linear múltipla (HAIR, 2005, p.
131), com a realização de duas análises: uma entre os insumos e o Enade contínuo e
outra para o IDD contínuo. Esta técnica tem como fundamento o exame de correlações
lineares entre os dois tipos de variáveis. A correlação é positiva quando o sentido da
variação da variável independente é o mesmo sentido da variação da variável
dependente. Exemplo: à medida que o percentual de doutores aumenta, aumenta o
desempenho dos estudantes. A correlação é negativa quando os sentidos da variação são
distintos. Exemplo: à medida que o percentual de mestres aumenta, diminui o
desempenho dos estudantes.
O exame destas correlações verifica sua significância, ou seja, a probabilidade de
que a relação encontrada tenha sido obtida ao acaso. Para a análise foi adotado o nível
de significância de 0,05, ou 5%. Probabilidades menores que o nível de significância
indicam relação significativa. O modelo é considerado múltiplo dado que possui mais
de uma variável independente, como mostrado no esquema da Figura 1. O esquema
mostra o sentido da relação: da variável independente, considerada como uma possível
“causa” para a variável dependente, o possível “efeito”. O exame da significância das
68
De acordo com a teoria das grandes amostras, considerou-se mais apropriada a análise com grandes
amostras, igual ou maior que 30, devido à impossibilidade do conhecimento da normalidade da
distribuição dos dados populacionais.
69
Esta análise foi feita exclusivamente para completude do método, visto os dados serem tratados
previamente pelo Inep.
92
correlações permite inferir quais das variáveis independentes estão mais relacionadas
com a variável dependente, e por isso, com maior influência sobre esta.
Figura 1 – Modelo regressivo múltiplo entre os insumos e desempenho.
NI
NM
NO
NEnade
ND
NR
Notas:
ND: Nota de Professores Doutores; NM: Nota de Professores Mestres; NR: Nota de Professores com
Regime de Dedicação Integral ou Parcial; NI: Nota referente à Infraestrutura; NO: Nota referente à
Organização Didático-Pedagógica.
O mesmo modelo é valido para NIDD (nota do indicador de diferença entre desempenho esperado e
observado).
Fonte: o autor
Além disso, a técnica permite o exame de multicolinearidades, ou seja,
correlações significativas entre variáveis independentes (Figura 2). Tal fato pode
caracterizar confusão na análise dos dados: caso uma variável independente esteja
correlacionada com outra, não se saberá a qual variável independente é devido o efeito
sobre a variável dependente. Para eliminar esse efeito indesejável, a técnica de regressão
examina as colinearidades e retira este efeito. Desta forma, o efeito de cada variável
93
independente sobre a dependente pode ser examinado de forma isolada, ou efeito único.
No exame das correlações, este efeito único pode ser demonstrado por meio da
correlação semiparcial, ou seja, aquela correlação dada somente pela relação exclusiva
de um insumo sobre o desempenho avaliado.
Figura 2 – Modelo regressivo múltiplo indicando a multicolinearidade, as relações
significativas entre os insumos.
NI
NM
Enade
IDD
NO
ND
NR
Notas:
ND: Nota de Professores Doutores; NM: Nota de Professores Mestres; NR: Nota de Professores com
Regime de Dedicação Integral ou Parcial; NI: Nota referente à Infraestrutura; NO: Nota referente à
Organização Didático-Pedagógica.
O mesmo modelo é válido para NIDD (nota do indicador de diferença entre desempenho esperado e
observado).
Fonte: o autor
A elaboração dos modelos regressivos foi precedida pela observação de diferenças
em três estratos: a região federativa, a organização acadêmica e a categoria
administrativa. A codificação das regiões federativas obedeceu às siglas utilizadas pelo
94
Instituto Brasileiro de Geografia e Estatística – IBGE: Norte – N; Nordeste – NE,
Centro-Oeste – CO; Sudeste – SE e Sul – S. A combinação entre organização
acadêmica (Centro Federal de Educação Tecnológica, Universidade, Centro
Universitário, Faculdade, Faculdades Integradas, Instituto Superior ou Escola Superior e
Faculdade de Tecnologia) e categoria administrativa (Pública ou Privada) foi necessária,
tendo em vista que nem todos os quatorze pares potenciais advindos da combinação
entre estas duas variáveis existem no Brasil ou, no mínimo, não existiram no país neste
ciclo do Enade, como, por exemplo, Centro Tecnológico Privado ou Faculdade
Integrada Pública. A combinação gerou dez pares, assim codificados:

UniPu – Universidade Pública

CeTPu – Centro Tecnológico Público

UniPr – Universidade Privada

CeUPr – Centro Universitário Privado

CeUPu – Centro Universitário Público

FacPu – Faculdade Pública

FacPr – Faculdade Privada

FaIPr – Faculdade Integrada Privada

InsPr – Instituto Superior ou Escola Superior Privada

FaTPr – Faculdade de Tecnologia Privada
A análise destes estratos foi possível por já estarem disponibilizados nas planilhas
utilizadas como fonte de dados. A adição destas variáveis na análise se justifica pelo
fato de que os indicadores de desempenho discente, Enade e IDD contínuos, possam
variar de acordo com algum dos estratos mencionados, e neste caso a correlação
significativa poderia ocorrer devido a esta diferença e não pela relação entre o insumo e
o desempenho. Um exemplo: Universidades Públicas têm os maiores índices de
doutores para uma determinada área, mas também têm os melhores desempenhos no
Enade contínuo. Assim a correlação positiva entre ND (Nota de Doutores) e Enade pode
ser devida ao estrato, não a ND. Temos aqui uma relação de determinação do tipo
Organização/Categoria->ND->Enade. Quando isso ocorrer, a análise das relações deve
ser feita para cada nível do estrato em separado e não para a amostra geral dos cursos da
área. Os Gráficos 1 e 2 demonstram o exemplo citado. No Gráfico 1 observa-se o
95
desempenho dos estudantes da área de Engenharia do grupo VII 70 de acordo com a
combinação entre organização acadêmica e categoria administrativa. Percebe-se que o
desempenho (a nota Enade, ou NEnade) é significativamente maior71 nas Universidades
Públicas (UniPu) do que nas demais combinações; o mesmo acontece com os Centros
Universitários Tecnológicos Públicos (CeTPu).
70
Segue a discriminação dos grupos das engenharias: Grupo I: Engenharia Cartográfica, Engenharia
Civil, Engenharia de Agrimensura, Engenharia de Recursos Hídricos e Engenharia Sanitária; II –
Engenharia - Grupo II: Engenharia da Computação, Engenharia de Comunicações, Engenharia de
Controle e Automação, Engenharia de Redes de Comunicação, Engenharia de Telecomunicações,
Engenharia Elétrica, Engenharia Eletrônica, Engenharia Eletrotécnica, Engenharia Industrial Elétrica e
Engenharia Mecatrônica;III - Engenharia - Grupo III: Engenharia Aeroespacial, Engenharia
Aeronáutica, Engenharia Automotiva, Engenharia Industrial Mecânica, Engenharia Mecânica e
Engenharia Naval; IV – Engenharia - Grupo IV: Engenharia Bioquímica, Engenharia de Alimentos,
Engenharia de Biotecnologia, Engenharia Industrial Química, Engenharia Química e Engenharia
Têxtil;V – Engenharia - Grupo V: Engenharia de Materiais e suas ênfases e/ou habilitações, Engenharia
Física, Engenharia Metalúrgica e Engenharia de Fundição;VI - Engenharia - Grupo VI: Engenharia de
Produção e suas ênfases;
VII - Engenharia - Grupo VII: Engenharia, Engenharia Ambiental, Engenharia de Minas, Engenharia de
Petróleo e Engenharia Industrial Madeireira; III - Engenharia - Grupo VIII: Engenharia Agrícola,
Engenharia Florestal e Engenharia de Pesca.
71
Para esta conclusão a técnica de Análise de Variância é aplicada aos dados, como forma de determinar
a significância da diferença. Caso a probabilidade resultante do teste seja menor que o nível de
significância (0.05), a diferença entre os estratos não pode ser atribuída ao acaso. No caso p=0,0203 e,
portanto, significativa.
96
Gráfico 1 – Média (linha central), erro-padrão (caixa) e intervalo de confiança
(extremos) da nota Enade (NEnade) da área de Engenharia do grupo VII de acordo com
a combinação entre Organização Acadêmica e Categoria Administrativa das IESs
brasileiras
3,2
3,0
NEnade
2,8
2,6
2,4
2,2
2,0
1,8
UniPu
UniPr
CeUPu
FacPu
FacPr
CeUPr
FaIPr
CeTPu
InsPr
FaTPr
Combinação Organização Acadêmica e Categoria Administrativa
Nota: UniPu - Universidade Pública; UniPr – Universidade Privada; CeUPu - Centro Universitário Público;
FacPu - Faculdade Pública; FacPr - Faculdade Privada; CeUPr - Centro Universitário Privado; FaIPr Faculdade Integrada Privada; CeTPu - Centro Tecnológico Público; InsPr - Instituto Superior Privado.
Fonte: o autor
Para que este resultado não afete o exame das relações entre a nota de Doutores
e a nota Enade, o ideal é que em todos os estratos, inclusive nas Universidades Públicas,
tenhamos uma razoável variação na nota dos Doutores. No entanto, ao observarmos a
relação da nota de Doutores e a nota Enade, mostrada no Gráfico 2, percebe-se que tal
variação não ocorreu. Neste observa-se que os cursos das Universidades Públicas para a
área de Engenharia do grupo VII estão mais concentrados na área sinalizada: maior nota
de Doutores e maior nota do Enade. Devido a isso não podemos inferir que o maior
desempenho é devido a maior nota de Doutores ou ao fato de que os cursos são de
Universidades Públicas. Neste último caso, vários outros fatores relacionados às
Universidades Públicas poderiam influenciar o desempenho e não somente a nota dos
Doutores. Nestes casos a análise foi feita dentro de cada estrato, ou seja, uma análise
97
para cada combinação de organização acadêmica e categoria administrativa. A mesma
regra foi adotada para o estrato das regiões federativas.
Gráfico 2 – Correlação positiva entre a nota de Doutores (ND) e desempenho no Enade
(NEnade) na área de Engenharia do grupo VII.
6
UniPu
5
UniPu
UniPu
UniPu
4
UniPu
UniPu
UniPu
UniPu
NEnade
UniPu
UniPu
UniPu
3
UniPu
UniPu
UniPu
UniPu
UniPu
UniPu
2
UniPu
UniPu
UniPu
UniPu
1
UniPu
0
-1
-1
0
1
2
3
4
5
6
ND
Nota: os rótulos relativos às demais combinações entre organização acadêmica e categoria
administrativa foram omitidos para melhor visualização. UniPu: Universidades Públicas. A
reta vermelha refere-se ao ajuste linear da correlação simples, conforme descrito no
decorrer do texto.
Fonte: o autor
A descrição das estruturas foi realizada por meio de representações gráficas
apropriadas, expressas nos gráficos 1 e 2; diagramas de caixa foram aplicados nos
exames de diferenças de médias entre estratos e diagramas de dispersão para as relações
entre insumos e desempenho. Nestes últimos foram demonstradas as relações lineares a
partir da inserção de retas ajustadas da correlação linear72. Também foram empregados
quadros e tabelas para sumarização dos resultados, de acordo com a norma tabular do
Instituto Brasileiro de Geografia e Estatística (IBGE, 1993). Os aplicativos
computacionais utilizados para a análise e descrição dos resultados foram o
STATISTICA v. 8 (STATSOFT, 2008) e o Microsoft Excel 2007 (MICROSOFT, 2006).
72
Trata-se do coeficiente de correlação linear de Pearson, que mede a força de uma relação supostamente
linear entre duas variáveis. Em todos os gráficos em que aparecem retas ajustadas é o coeficiente de
Pearson que está sendo representado.
98
3.4 Caracterização das relações entre insumos e desempenho
A Tabela 1 mostra os números totais de cursos avaliados que obtiveram notas
Enade e IDD de acordo com a região para as duas variáveis de estudo, demonstrando a
concentração de cursos nas regiões Sudeste e Sul, responsáveis por quase 70% dos
cursos. Tal fato deve ser levado em consideração no exame das correlações entre os
insumos e as variáveis Enade e IDD, pois é esperada frequência maior de correlações
significativas em estratos com mais cursos avaliados. Entende-se que a técnica
estatística baseada na distribuição normal dos dados é dependente do número de pontos
que se tem para a avaliação. Assim, quanto mais cursos determinada área ou região
federativa ou combinação entre organização e categoria possuir, maiores chances a
técnica possui de detectar relações significativas.
Tabela 1 - Número e percentual de cursos com notas Enade e IDD de acordo com a
região federativa das 55 áreas avaliadas no estudo.
Região
Sudeste
Sul
Nordeste
Centro-Oeste
Norte
Total
Número de cursos
Enade
5605
2529
1923
1194
698
11949
%
46,9
21,2
16,1
10,0
5,8
100,0
Número de cursos
IDD
5164
2341
1780
1091
628
11004
%
46,9
21,3
16,2
9,9
5,7
100,0
Fonte: o autor
A Tabela 2 sumariza os totais de cursos de acordo com a combinação entre
organização acadêmica e categoria administrativa, ordenando decrescentemente de
acordo com o percentual de cursos em cada estrato. Os primeiros três estratos detiveram
quase 80% dos cursos avaliados no triênio, esperando-se assim maior frequência de
correlações nestes estratos, conforme já exposto. Torna-se muito importante levar em
conta que a técnica aplicada terá menos “poder” para encontrar relações significativas
em estratos com poucos cursos, como as Faculdades Tecnológicas Privadas (FaTPr) da
Tabela 2.
99
Tabela 2 – Número e percentual de cursos com notas Enade e IDD de acordo com a
combinação entre organização acadêmica e categoria administrativa das 55 áreas
avaliadas no estudo.
Combinação
FacPr
UniPr
UniPu
CeUPr
FaIPr
FacPu
InsPr
CeTPu
CeUPu
FaTPr
Total
Número de cursos
Enade
3806
3143
2577
1622
245
211
175
72
52
46
11949
%
31,9
26,3
21,6
13,6
2,1
1,8
1,5
0,6
0,4
0,4
100,0
Número de cursos
IDD
3415
2855
2463
1487
245
200
174
72
47
46
11004
%
31,0
25,9
22,4
13,5
2,2
1,8
1,6
0,7
0,4
0,4
100,0
Nota: as siglas que aparecem na coluna indicadora são, na ordem, FacPr: Faculdade Privada; UniPr:
Universidade Privada; UniPu: Universidade Pública; CeUPr: Centro Universitário Privado; FaIPr:
Faculdade Integrada Privada; FacPu: Faculdade Pública; InsPr: Instituto Superior Privado; CeTPu: Centro
Tecnológico Público; CeUPu: Centro Universitário Público; FaTPr: Faculdade Tecnológica Privada.
Fonte: o autor
A seguir são caracterizadas as relações encontradas para cada uma das duas
variáveis dependentes do estudo, Enade contínuo e IDD contínuo.
3.4.1 Enade contínuo (nota Enade)
A análise das diferenças do desempenho entre as áreas de acordo com o estrato
resultou em quatro grupos: diferenças entre as regiões, diferenças entre as combinações
de organização e categoria, diferenças em ambos os estratos e áreas sem diferenças nos
estratos. Para o Enade contínuo as 55 áreas foram agrupadas da seguinte forma:
Grupo I – seis áreas apresentaram diferenças significativas entre as regiões federativas:
Ciências Econômicas, Filosofia, Física, Geografia, Secretariado e Zootecnia.
Grupo II – 17 áreas apresentaram diferenças significativas entre as combinações de
organização e categoria: Agronomia, Biomedicina, Educação Física, Enfermagem,
Engenharia do grupo III, Engenharia do grupo VI, Engenharia do grupo VII, Farmácia,
Fisioterapia, Medicina Veterinária, Nutrição, Química, Relações Internacionais, Serviço
100
Social, Tecnologia em Automação Industrial, Tecnologia em Gastronomia e Tecnologia
em Redes de Computadores.
Grupo III – 23 áreas apresentaram diferenças significativas entre ambos os estratos:
Administração, Arquitetura, Biologia, Ciências Contábeis, Computação e Informática,
Comunicação Social, Design, Direito, Engenharia do grupo I, Engenharia do grupo II,
Engenharia do grupo IV, Fonoaudiologia, História, Letras, Matemática, Medicina,
Odontologia, Pedagogia, Psicologia, Tecnologia em Análise e Desenvolvimento de
Sistemas, Tecnologia em Gestão Ambiental, Tecnologia em Radiologia e Turismo.
Grupo IV – nove áreas não apresentaram diferenças significativas nos dois estratos:
Ciências Sociais, Engenharia do grupo VIII, Música, Teatro, Tecnologia em Gestão de
Processos Gerenciais, Tecnologia em Gestão de Recursos Humanos, Tecnologia em
Gestão Financeira, Tecnologia em Marketing e Tecnologia em Moda.
As relações entre os insumos e o Enade contínuo (NEnade) foram obtidas de
acordo com o grupo formado, isto é, áreas que apresentaram diferenças significativas
entre as regiões foram analisadas considerando-se cada região em separado e da mesma
forma para os demais grupos.
Tendo em vista o grande número de áreas avaliadas, os resultados gráficos
apresentados a seguir consideraram áreas “tipo”, ou seja, aquelas que apresentaram
maiores correlações para determinado insumo analisado. As demais áreas estarão
referidas no texto. Para a escolha das áreas “tipo” foi examinada a colinearidade entre as
variáveis independentes, e selecionadas aquelas áreas com as maiores correlações
semiparciais. Uma análise geral dos resultados obtidos identificou os insumos com
maior frequência de relações significativas. O insumo que apresentou maior frequência
de correlações semiparciais entre as áreas foi a nota da Infraestrutura (28 das 55 áreas
avaliadas), seguido pela nota dos Doutores (26 áreas), nota da Organização DidáticoPedagógica (23 áreas), nota do Regime de Trabalho (22 áreas) e nota de Mestres com 20
áreas. O resultado foi considerado coerente com o esperado, tendo em vista a
colinearidade entre os insumos. As notas de Mestres, Doutores e Regime de Trabalho
apresentam tendência de correlação positiva entre si, visto que as IESs com maior
percentual de mestres e doutores são aquelas com os maiores percentuais de docentes
em regime parcial e integral. Também são esperadas correlações positivas entre NI e
NO, pois ambos provêm do questionário socioeconômico do Enade.
101
Grupo I: Ciências Econômicas, Filosofia, Física, Geografia, Secretariado e Zootecnia.
Das seis áreas, os insumos que apresentaram correlações semiparciais
significativas em mais áreas foram: a nota do Regime de Trabalho, com correlações em
Ciências Econômicas, Geografia, Filosofia e Física e a nota de Doutores, com
correlações em Ciências Econômicas, Geografia, Filosofia e Secretariado. A área de
Ciências Econômicas apresentou o maior número de correlações significativas. A
relação entre a nota do Regime de Trabalho e a nota Enade para esta área está mostrada
no Gráfico 3. Os valores73 foram de 65,4% para a Região Centro-Oeste, 57,9% para a
Região Norte, 45,7% para a Região Sul, 67,4% para a Região Sudeste e 58,4% para a
Região Nordeste. As correlações se mantêm caso eliminemos as notas Enade (Enade
contínuo) iguais a cinco (5). Este procedimento foi utilizado em outros resultados cujo
número de valores iguais a zero (0) ou cinco (5) foi alto. Percebe-se no gráfico uma
relação positiva mais forte na relação entre o insumo e o desempenho para a Região
Centro-Oeste. No entanto, observadas as correlações semiparciais mantêm-se
significativas aquelas para as regiões Nordeste e Sul, com, respectivamente, 38% e
37,6%. Este insumo também mostrou significância para a área de Geografia na Região
Nordeste (38,7%), Física na Região Norte (-70,4%) e Filosofia (-39,7%) na Região
Sudeste.
73
Como citado na metodologia, os valores referem-se às correlações lineares simples e não às correlações
semiparciais obtidas da técnica de regressão múltipla.
102
Gráfico 3 – Correlações entre a nota do Regime de Trabalho (NR) e o Enade contínuo
(NEnade) para a área de Ciências Econômicas de acordo com a região federativa.
5,5
5,0
4,5
4,0
NEnade
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
-1
0
1
2
3
4
5
6
Norte
Nordeste
Centro-Oeste
Sudeste
Sul
NR
Fonte: o autor
No Gráfico 4, as correlações entre a nota de Doutores e nota Enade foram de
70% para o Sudeste, 61% para o Centro-Oeste, 57% para o Nordeste, e 46% para o Sul.
A Região Norte não apresentou correlação significativa. O Sudeste é a única região que
manteve significativa a correlação semiparcial (30,2%). O insumo ainda mostrou
significância para as áreas de Geografia (-27,9% no Sudeste), Secretariado (66,1% no
Centro-Oeste) e Filosofia (38,3% no Sudeste).
103
Gráfico 4 – Correlações entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Ciências Econômicas de acordo com a região federativa.
5,5
5,0
4,5
4,0
NEnade
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
-1
0
1
2
3
4
5
6
Nordeste
Centro-Oeste
Sudeste
Sul
ND
Fonte: o autor
Dos demais insumos, Geografia apresentou correlações semiparciais para NO
(44% no Centro-Oeste) e NM (25,8% no Sudeste). A área de Física para NI mostrou
correlação na Região Nordeste (47,5%) e Norte (71,6%) e NO na Região Norte
(46,7%). Filosofia apresentou correlações significativas com NM (-30,5%), além das já
citadas e Secretariado Executivo com NO para a Região Sul (-46,4%). A área de
Zootecnia não apresentou correlações semiparciais significativas em qualquer insumo.
Em relação ao estrato, a Região Sudeste apresentou o maior número de
correlações, sete, como esperado, tendo em vista que esta é a região com maior número
de cursos nas áreas avaliadas (46,9% do total de cursos), seguida pela Região Nordeste
(quatro), Norte (três) Centro-Oeste e Sul, cada uma com somente duas correlações
significativas. Percebe-se que apesar da Região Sul ser a segunda em termos de número
de cursos, com 21,2% dos cursos avaliados, não apresentou o número esperado da
mesma forma que a Região Sudeste.
104
Os resultados demonstram que as relações entre os insumos e o desempenho
variam de acordo com a área e com o estrato, não permitindo uma generalização para o
universo de áreas avaliado pelo exame. No entanto, pode-se afirmar que as áreas que
apresentaram diferenças no desempenho de acordo com a região federativa tiveram, em
parte, maior frequência de relações entre as notas da Infraestrutura e Doutores.
Grupo II: Agronomia, Biomedicina, Educação Física, Enfermagem, Engenharia do
grupo III, Engenharia do grupo VI, Engenharia do grupo VII, Farmácia, Fisioterapia,
Medicina Veterinária, Nutrição, Química, Relações Internacionais, Serviço Social,
Tecnologia em Automação Industrial, Tecnologia em Gastronomia e Tecnologia em
Redes de Computadores.
Neste grupo, a nota da Infraestrutura apresentou correlações em nove das 17
áreas, seguida pela nota de Doutores (seis áreas), Regime de Trabalho (cinco) e Mestres
e Organização Didático-Pedagógica com quatro áreas. A Infraestrutura também foi o
insumo com mais correlações (onze) seguindo pelo Regime de Trabalho (oito), doutores
(seis), Organização Didático-Pedagógica (cinco) e Mestres (quatro). A área de
Enfermagem
apresentou
correlações
em
mais
combinações
entre
categoria
administrativa e organização acadêmica para o insumo Infraestrutura. O Gráfico 5
mostra os resultados das correlações para esta área.
105
Gráfico 5 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo (NEnade)
para a área de Enfermagem de acordo com a combinação entre organização acadêmica e
categoria administrativa.
.
5,5
5,0
4,5
4,0
NEnade
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
UniPr
CeUPr
FacPr
NI
Nota: UniPr: Universidade Privada; CeUPr: Centro Universitário Privado; FacPr: Faculdade Privada.
Fonte: o autor
As correlações foram de 37% para as Universidades Privadas (UniPr), 31% para
as Faculdades Privadas (FacPr) e de 24% para os Centros Universitários Privados
(CeUPr). Quando examinadas as correlações semiparciais, mantém-se a significância
para as três combinações: Universidades Privadas (16,5%), Faculdades Privadas
(22,2%) e Centros Universitários Privados (25,0%). Destacou-se também a área de
Engenharia do grupo III, com correlações nas Universidades Públicas e Privadas de
52% e 40%, respectivamente, (Gráfico 6) e correlação semiparcial significativa para as
primeiras (33,8%).
106
Gráfico 6 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo (NEnade)
para a área de Engenharia do grupo III de acordo com a combinação entre organização
acadêmica e categoria administrativa.
5
4
NEnade
3
2
1
0
-1
-1
0
1
2
3
4
5
6
UniPu
UniPr
NI
Nota: UniPu: Universidade Pública; UniPr: Universidade Privada.
Fonte: o autor
A nota da Infraestrutura ainda apresentou correlações nas áreas de Farmácia
(22% nas Faculdades Privadas), Química (38,4% nas Universidades Privadas),
Medicina Veterinária (30,9% em Universidades Públicas), Relações Internacionais
(48,8% nos Centros Universitários Privados), Educação Física (30,1% nos Centros
Universitários Privados) e Serviço Social (38,1% nas Universidades Privadas).
Quanto à nota de Doutores, a maior parte das correlações significativas ocorreu
nas Universidades, com: Nutrição (32,6%), Engenharia do grupo VI (54,3%) e
Biomedicina (48,8%, negativa) nas Universidades Públicas e Engenharia do grupo VII
(46,1%) nas Privadas. A área de Relações Internacionais mostrou correlação de -36,8%
para os Centros Universitários Privados e Tecnologia em Gastronomia de -59,2% nas
Faculdades Privadas.
107
A nota do Regime de Trabalho apresentou correlações significativas para áreas
ligadas à Saúde, na organização acadêmica Universidade. Exceção feita à área de
Farmácia, que apresentou correlação em três combinações, uma das quais com
correlação negativa (29% para Faculdades Privadas), conforme pode ser visto no
Gráfico 7. As demais áreas da Saúde foram Enfermagem (32,2% nas UniPr), Nutrição
(36,2% nas Universidades Privadas), Educação Física (24,8% nas Universidades
Privadas e 32,8% nos Centros Universitários Privados) e Biomedicina (50,8% nas
Universidades Públicas).
Gráfico 7 – Correlações entre a nota do Regime de Trabalho (NR) e o Enade contínuo
(NEnade) para a área de Farmácia de acordo com a combinação entre organização
acadêmica e categoria administrativa.
5,0
4,5
4,0
3,5
NEnade
3,0
2,5
2,0
1,5
1,0
0,5
0,0
-1
0
1
2
3
4
5
6
UniPu
UniPr
FacPr
NR
Nota: UniPu: Universidade Pública; UniPr: Universidade Privada; FacPr: Faculdade Privada.
Fonte: o autor
A nota da Organização Didático-Pedagógica apresentou a área de Educação
Física com correlações semiparciais significativas entre as combinações (44,1% nas
Universidades Públicas e 30,6% nas Universidades Privadas). O Gráfico 8 mostra as
correlações de 31,8% para as Universidades Privadas e 43% para as Universidades
Públicas. Nota-se neste gráfico o desempenho médio sempre superior das Universidades
108
Públicas frente às Privadas. No entanto, a relação entre nota de Doutores com este
desempenho no Enade permanece similar 74 entre as duas combinações de categorias
administrativas.
Gráfico 8 – Correlações entre a nota da Organização Didático-Pedagógica e o Enade
contínuo (NEnade) para a área de Educação Física de acordo com a combinação entre
organização acadêmica e categoria administrativa.
5,0
4,5
4,0
3,5
NEnade
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
UniPu
UniPr
NO
Nota: UniPu: Universidade Pública; UniPr: Universidade Privada.
Fonte: o autor
As demais áreas que apresentaram correlações significativas foram Nutrição
(26,2% nas Universidades Públicas), Medicina Veterinária (49% nos Centros
Universitários Privados) e Serviço Social (37,5% nas Faculdades Privadas).
A nota de Mestres mostrou correlações significativas para a área de Nutrição
(35,5% nas Faculdades Privadas), Engenharia do grupo III (-35,4% nas Universidades
Públicas), Serviço Social (-27,8% nas Universidades Privadas) e Tecnologia em
Gastronomia (54,5% nas Universidades Privadas).
74
O teste de homogeneidade de coeficientes angulares mostra que a diferença entre as inclinações de reta
não é significativa (p=0,42).
109
Os resultados deste grupo II mostraram que nestas áreas em que o desempenho
variou de acordo com a combinação entre a organização acadêmica e a categoria
administrativa, a nota da Infraestrutura, a nota de Doutores e a nota do Regime de
Trabalho foram os insumos que mais relações tiveram com o desempenho. Nota-se que
os dois primeiros insumos citados também caracterizaram o grupo I; desta forma são
aqueles com o maior número absoluto de correlações significativas nos dois grupos. No
entanto, os resultados são dependentes da área: nestas deste grupo II, apesar da nota da
Infraestrutura ser o insumo com mais correlações, observou-se que para a maior parte
dos cursos ligados à grande área da Saúde, a nota do Regime de Trabalho foi o insumo
que apresentou o maior número de correlações com o desempenho.
Grupo III: Administração, Arquitetura, Biologia, Ciências Contábeis, Computação e
Informática, Comunicação Social, Design, Direito, Engenharia do grupo I, Engenharia
do grupo II, Engenharia do grupo IV, Fonoaudiologia, História, Letras, Matemática,
Medicina, Odontologia, Pedagogia, Psicologia, Tecnologia em Análise e
Desenvolvimento de Sistemas, Tecnologia em Gestão Ambiental, Tecnologia em
Radiologia e Turismo.
Neste grupo a nota da Organização Didático-Pedagógica foi o insumo com mais
áreas que apresentaram correlações significativas: 16 das 23 áreas, e ainda com a maior
frequência de correlações nos estratos (organização acadêmica, categoria administrativa
e região federativa): 32 das 128 de todo o grupo. A nota de Doutores apresentou 15
áreas com 30 correlações. Em seguida apareceu a nota da Infraestrutura, com 15 áreas e
28 correlações, a nota de Mestres com 13 áreas e 20 correlações e, por último, a nota do
Regime de Trabalho com 12 áreas e 18 correlações. Entre as áreas, destacaram-se
aquelas que apresentaram o maior número absoluto de combinações: Administração,
com correlações significativas em 13 combinações quando reunidos todos os insumos e
ajustadas pelo exame das colinearidades, Ciências Contábeis (12), Computação e
Informática (12), Pedagogia e Psicologia, cada qual com 11 correlações. Percebe-se que
o maior número de cursos nestas áreas, como é o caso de Administração, Pedagogia e
Ciências Contábeis, possibilitou a ocorrência de mais correlações significativas, porém,
ponderando-se os números encontrados pelo número de cursos que foram avaliados em
cada área, destacaram-se Psicologia, Odontologia e Turismo como os cursos com
relativamente mais correlações significativas. O Gráfico 9 mostra as relações
encontradas entre a nota da Organização Didático-Pedagógica e o Enade contínuo
110
(NEnade) para a área de Ciências Contábeis. As correlações foram de 54% para
Universidades Públicas da Região Centro-Oeste; 81% para as Universidades Públicas
da Região Sudeste, 61% Universidades Privadas do Sudeste, 46% Faculdades Privadas
do Sudeste, 37% Faculdades Privadas do Centro-Oeste. Somente a correlação
semiparcial das Universidades Públicas do Centro-Oeste não se manteve significativa.
As demais foram de 27,1% nas Faculdades Privadas do Centro-Oeste, de 17% naquelas
do Sudeste, 43,4% nas Universidades Privadas do Sudeste e 64,7% nas Universidades
Públicas do Sudeste.
Gráfico 9 – Correlações entre a nota da Organização Didático-Pedagógica (NO) e o
Enade contínuo (NEnade) para a área de Ciências Contábeis de acordo com a
combinação entre organização acadêmica e categoria administrativa e a região
federativa.
5,5
5,0
4,5
4,0
NEnade
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0
1
2
3
4
5
6
CO, UniPu
CO, FacPr
SE, UniPu
SE, UniPr
SE, FacPr
NO
Nota: UniPu: Universidade Pública; UniPr: Universidade Privada; FacPr: Faculdade Privada. CO: CentroOeste; SE: Sudeste.
Fonte: o autor
O Gráfico 10 mostra a nota da Organização Didático-Pedagógica para
Engenharia do grupo II. As correlações foram de 61% para os Centros Universitários da
Região Sudeste, 61% para as Universidades Privadas da Região Sul e 34% para as
111
Universidades da Região Sudeste. As correlações semiparciais mantiveram-se
significativas: 39,1% para os Centros Universitários Privados do Sudeste, 31,5% para as
Universidades Privadas e 32,5% para as Públicas da Região Sul.
Gráfico 10 – Correlações entre a nota da Organização Didático-Pedagógica (NO) e o
Enade contínuo (NEnade) para a área de Engenharia do grupo II de acordo com a
combinação entre organização acadêmica e categoria administrativa e a região
federativa.
6
5
4
NEnade
3
2
1
0
-1
-1
0
1
2
3
4
5
6
SE, UniPr
SE, CeUPr
S, UniPr
NO
Nota: UniPu: Universidade Pública; UniPr: Universidade Privada; CeUPr: Centro Universitário Privado.
SE: Sudeste; S-Sul.
Fonte: o autor
O Gráfico 11 mostra as relações entre nota da Infraestrutura e Enade contínuo
para a área de Direito: 54,0% nas Universidades Privadas do Sudeste e 79,0% nas do
Centro-Oeste, 38,1% nas Faculdades Privadas do Sudeste, 33,0% nas do Nordeste,
39,6% nas do Sul e 57,1% nas do Centro-Oeste. Esta última e a correlação para as
Universidades Privadas do Centro-Oeste e Faculdades Privadas do Nordeste não se
mantiveram significativas. As demais correlações semiparciais foram de 31,2% nas
Universidades Privadas do Sudeste e as demais para as Faculdades Privadas: 53,3% no
Centro-Oeste, 28,3 no Sul e 21% no Sudeste.
112
Gráfico 11 – Correlações entre a nota da Infraestrutura (NI) e o Enade contínuo
(NEnade) para a área de Direito de acordo com a combinação entre organização
acadêmica e categoria administrativa e a região federativa.
5,0
4,5
4,0
3,5
NEnade
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
NE, FacPr
CO, UniPr
CO, FacPr
SE, UniPr
SE, FacPr
S, FacPr
NI
Nota: UniPu: Universidade Publica; UniPr: Universidade Privada; FacPr: Faculdade Privada. CO: CentroOeste; SE: Sudeste.
Fonte: o autor
O Gráfico 12 mostra a relação entre nota de Doutores e o Enade contínuo para a
área de Pedagogia, que apresentou correlações de 49,0% nas Universidades Públicas do
Centro-Oeste, 44,3% nas do Norte e 43,9% nas do Nordeste; 33,6% nas Universidades
Privadas do Sudeste, 25,9% nos Centros Universitários Privados do Sudeste e 24,0%
nas Faculdades Privadas do Sudeste. Mantêm-se como correlações semiparciais para as
Universidades Públicas do Norte (43,3%) e Nordeste (48,8%), nas Universidades
Privadas do Sudeste (21,8%) e nos Centros Universitários Privados do Sudeste (28,1%).
113
Gráfico 12 – Correlações entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Pedagogia de acordo com a combinação entre organização acadêmica e
categoria administrativa e a região federativa.
5,5
5,0
4,5
4,0
NEnade
3,5
3,0
2,5
2,0
1,5
1,0
0,5
-1
0
1
2
3
4
5
6
N, UniPu
NE, UniPu
CO, UniPu
SE, CeUPr
SE, FacPr
ND
Nota: UniPu: Universidade Publica; CeUPr: Centro Universitário Privado; FacPr: Faculdade Privada. N:
Norte; NE: Nordeste; CO: Centro-Oeste; SE: Sudeste.
Fonte: o autor
A nota de Mestres mostrou mais correlações semiparciais para as áreas de
Psicologia (46,8% nas Faculdades Privadas do Sudeste, 5,6% nas Universidades
Privadas do Centro-Oeste e -76,7% nas Universidades Públicas do Sudeste) e
Computação e Informática (75,2% nos Centros Universitários Privados do Norte, 46,8%
nas Universidades Públicas do Nordeste e -30.2% nas do Sudeste).
A nota do Regime de Trabalho mostrou mais correlações para Ciências
Contábeis: -65,7% nos Centros Universitários do Norte, -26,7% nas Universidades
Privadas do Sul e 61,4% nas Universidades Públicas do Sudeste.
O grupo III foi aquele que reuniu mais áreas: 23 das 55 avaliadas, mostrando que
para estas áreas há diferenças na estrutura de relações entre insumos e desempenho
tanto na região federativa, na organização acadêmica e na categoria administrativa.
Neste grupo o insumo com maior frequência de correlações foi a nota da Organização
114
Didático-Pedagógica, seguido pelo insumo nota de Doutores, este último também
presente nos grupos I e II como um dos mais frequentes.
Grupo IV: Ciências Sociais, Engenharia do grupo VIII, Música, Teatro, Tecnologia em
Gestão de Processos Gerenciais, Tecnologia em Gestão de Recursos Humanos,
Tecnologia em Gestão Financeira, Tecnologia em Marketing e Tecnologia em Moda.
Das nove áreas deste grupo, cinco apresentaram correlações significativas para os
insumos nota de Mestres (Tecnologia em Recursos Humanos), nota de Doutores
(Engenharia do grupo VIII), nota do Regime de Trabalho (Ciências Sociais) e nota da
Infraestrutura (Ciências Sociais e Música). A maior correlação foi encontrada na área de
Engenharia do grupo VIII para nota de Doutores (52,4%, mostrada no Gráfico 13).
Gráfico 13 – Correlação entre a nota de Doutores (ND) e o Enade contínuo (NEnade)
para a área de Engenharia de grupo VIII.
6
5
NEnade
4
3
2
1
0
-1
-1
0
1
2
3
4
5
6
ND
Fonte: o autor
115
A área de Ciências Sociais apresentou a segunda maior correlação entre a nota
da Infraestrutura (40,4%, Gráfico 14) e o desempenho. Ressalta-se que este grupo foi
aquele que reuniu o menor número de cursos no Brasil, o que explica em parte tanto a
ausência de diferenças entre os estratos, quanto a ausência de correlações significativas
em quatro das nove áreas, tendo em vista a limitação da técnica quando o número de
cursos é relativamente pequeno. A justificativa é parcial considerando que há casos em
que ocorrem correlações significativas mesmo com números de cursos inferiores a estes
apresentados para as áreas do grupo IV.
Gráfico 14 – Correlação significativa entre a nota da Infraestrutura (NI) e o ENnade
contínuo (NEnade) para a área de Ciências Sociais.
6
5
NEnade
4
3
2
1
0
-1
0,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
NI
Fonte: o autor
Observou-se neste grupo ausência de correlações significativas entre o insumo
nota da Organização Didático-Pedagógica e o Enade contínuo. Os demais insumos
apresentaram pelo menos uma área com correlação significativa, como citado.
De forma geral, observa-se nestes quatro grupos que os insumos nota de
Doutores e nota da Infraestrutura se destacaram como os mais frequentes, seguidos pela
nota da Organização Didático-Pedagógica nas áreas que apresentaram diferenças no
116
desempenho entre todos os estratos e pela nota do Regime de Trabalho que foi
característica das áreas vinculadas à Saúde. O insumo nota de Mestres foi o mesmo
ocorrente, mas apresentou correlações significativas em áreas como Tecnologia em
Gastronomia nas Universidades Privadas, Psicologia nas Universidades Públicas e
Faculdades Privadas da Região Sudeste e para a área de Tecnologia em Recursos
Humanos, independentemente do estrato. Tem-se assim uma caracterização das áreas
em relação aos insumos e desempenho dos estudantes.
3.4.2 IDD contínuo
A análise do Enade contínuo permitiu a caracterização das relações entre
insumos e desempenho. A análise da nota IDD tem como objetivo caracterizar as
relações entre os mesmos insumos avaliados anteriormente, o que o MEC chama de
“qualidade” do curso, em outras palavras, o “valor agregado” do curso em relação aos
seus estudantes ingressantes. Assim, enquanto que a análise anterior tratou do
desempenho do estudante concluinte como um todo, ou seja, considerando o que o
concluinte já possuía de habilidades e conteúdos antes de realizar seu curso, no IDD há
a tentativa de retirar essa condição prévia do estudante e mensurar somente o efeito do
curso. Sendo assim, a caracterização das relações entre insumos e IDD torna-se
relevante, pois permite identificar os insumos que mais se relacionaram com esta
“qualidade” que o IDD pretende indicar.
Desta forma, similarmente ao que foi elaborado para o Enade contínuo, quatro
grupos de áreas foram discriminados para o IDD: diferenças entre as regiões, diferenças
entre as combinações de organização e categoria, diferenças em ambos os estratos, e
áreas sem diferenças nos estratos, agrupadas da seguinte forma:
Grupo I –14 áreas apresentaram diferenças significativas entre as regiões federativas:
Arquitetura e Urbanismo, Biologia, Comunicação Social, Direito, Engenharia do grupo
III, Engenharia do grupo IV, Engenharia do grupo VII, Física, Geografia, Matemática,
Pedagogia, Psicologia, Tecnologia em Gastronomia e Zootecnia.
Grupo II – oito áreas apresentaram diferenças significativas entre as combinações de
organização e categoria: Biomedicina, Enfermagem, Fonoaudiologia, Medicina
117
Veterinária, Nutrição, Tecnologia em Automação Industrial, Tecnologia em Gestão
Ambiental e Tecnologia em Redes de Computadores.
Grupo III – 17 áreas apresentaram diferenças significativas entre ambos os estratos:
Administração, Agronomia, Ciências Contábeis, Computação e Informática, Design,
Educação Física, Engenharia do grupo I, Engenharia do grupo II, Farmácia, Filosofia,
Fisioterapia, História, Letras, Medicina, Odontologia, Tecnologia em Desenvolvimento
de Sistemas e Turismo.
Grupo IV – 16 áreas não apresentaram diferenças significativas nos dois estratos:
Ciências Econômicas, Ciências Sociais, Engenharia do grupo VI, Engenharia do grupo
VIII, Música, Química, Relações Internacionais, Secretariado, Serviço Social, Teatro,
Tecnologia em Gestão de Recursos Humanos, Tecnologia em Gestão Financeira,
Tecnologia em Marketing, Tecnologia em Moda, Tecnologia em Processos Gerenciais e
Tecnologia em Radiologia.
Observando-se todos os grupos, o insumo que apresentou correlações em mais áreas foi
a nota de Doutores, 20 das 55 áreas analisadas, seguido pela nota de Mestres e nota da
Infraestrutura (20 áreas), nota do Regime de Trabalho (14 áreas) e nota da Organização
Didático-Pedagógica (13 áreas). A nota de Doutores também foi o insumo com maior
número de combinações entre os estratos (27), seguido por nota de Mestres e nota da
Organização Didático-Pedagógica (20), nota da Infraestrutura (18) e nota do Regime de
Trabalho (16).
Grupo I: Arquitetura e Urbanismo, Biologia, Comunicação Social, Direito, Engenharia
do grupo III, Engenharia do grupo IV, Engenharia do grupo VII, Física, Geografia,
Matemática, Pedagogia, Psicologia, Tecnologia em Gastronomia e Zootecnia.
Das 14 áreas, os insumos que apresentaram correlações semiparciais
significativas em mais áreas foram nota de Doutores com nove áreas e 14 combinações
de áreas e regiões federativas, seguido por nota de Mestres com cinco áreas e seis
combinações. Seguem-se nota do Regime de Trabalho (cinco áreas e cinco
combinações) nota da organização didático-pedagógica (três áreas e três combinações) e
nota da Infraestrutura (duas áreas e três combinações). O Gráfico 15 mostra as relações
encontradas para a área de Matemática, com correlações positivas entre nota de
118
Doutores e nota da Infraestrutura para as regiões Nordeste (35,4%), Centro-Oeste
(54,6%), Sudeste (54,2%) e Sul (36,4%). Mantêm-se significativas as correlações
semiparciais para a Região Nordeste (28,8%) e Sudeste (26,1%).
Gráfico 15 – Correlações entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para
a área de Matemática de acordo com a região federativa.
6
5
4
NIDD
3
2
1
0
-1
-1
0
1
2
3
4
5
6
Nordeste
Centro-Oeste
Sudeste
Sul
ND
Fonte: o autor
O Gráfico 16 mostra as correlações para a área de Pedagogia: 34,5% para a
Região Norte, 28,2% para o Nordeste e 24,4% no Sudeste. Todas se mantêm
significativas quando examinadas as correlações semiparciais: 29,2% para o Norte,
25,9% para o Nordeste e 22,3% para o Sudeste.
119
Gráfico 16 – Correlações entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para
a área de Pedagogia de acordo com a região federativa.
6
5
4
NIDD
3
2
1
0
-1
-1
0
1
2
3
4
5
6
Norte
Nordeste
Sudeste
ND
Fonte: o autor
O Gráfico 17 mostra a relação entre a nota de Mestres e o IDD contínuo na área
de Arquitetura e Urbanismo, com 53,8% de correlação positiva na Região Sul e 61,3%
na Região Norte, esta última não significativa devido ao baixo número de cursos na
região. No entanto, ambas as correlações semiparciais são significativas: 35,0% para o
Sul e 26,5% para o Norte, devido ao fato da técnica de regressão múltipla permitir a
visualização da significância quando retirados os efeitos da colinearidade dos demais
insumos e consequentemente aumentando a significância da análise para a Região
Norte.
120
Gráfico 17 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Arquitetura e Urbanismo nas Regiões Norte e Sul.
5,5
5,0
4,5
4,0
3,5
NIDD
3,0
2,5
2,0
1,5
1,0
0,5
0,0
-1
0
1
2
3
4
5
6
Norte
Sul
NM
Fonte: o autor
Para os demais insumos, nota do Regime de Trabalho apresentou cinco
correlações semiparciais significativas: Tecnologia em Gastronomia com 38,9% no
Sudeste, Comunicação Social com 35% no Centro-Oeste, Direito com 32,9%,
Pedagogia com 27,4% e Arquitetura com 16,5%, todas na região Norte. A nota da
Organização Didático-Pedagógica mostrou somente três correlações semiparciais
significativas: 49,9% na área de Arquitetura da Região Norte, 45,3% para Geografia e
12,6% para a área de Pedagogia, ambas na Região Sudeste. A nota da Infraestrutura
apresentou correlações para Arquitetura (-11,4% na Região Norte) e na área de Direito,
conforme mostrado no Gráfico 18, com correlações de 30,5% para o Sudeste e 27,5%
para o Centro-Oeste. Ambas se mantêm significativas nas correlações semiparciais,
26,2% para o Centro-Oeste e 21,7% para o Sudeste.
121
Gráfico 18 – Correlações entre a nota da Infraestrutura (NI) e o IDD contínuo (NIDD)
para a área de Direito de acordo com a região federativa.
6
5
4
NIDD
3
2
1
0
-1
-1
0
1
2
3
4
5
6
Centro-Oeste
Sudeste
NI
Fonte: o autor
Ao observar este primeiro grupo, notam-se duas diferenças entre a nota do IDD
e o desempenho Enade analisado anteriormente. Em primeiro lugar, o número de áreas
em que há diferenças regionais no IDD aumentou, de seis áreas para 14 áreas. Isso
mostra que o IDD é um indicador que discrimina mais as diferenças entre as regiões
federativas que as notas padronizadas dos concluintes. Em segundo lugar, para o IDD,
neste grupo I, a nota dos Mestres passou a ocorrer com frequência, enquanto que na
análise anterior este foi o insumo menos frequente. Neste grupo, a nota de Doutores foi
o insumo mais frequente, seguido pela nota de Mestres. Tendo em vista que os dois
insumos têm tendência à colinearidade, como já citado anteriormente, e a técnica de
regressão múltipla “descontar” esse efeito, o resultado para este grupo torna ainda mais
relevante a presença da nota de Mestres como característica destas áreas.
122
Grupo II: Biomedicina, Enfermagem, Fonoaudiologia, Medicina Veterinária,
Nutrição, Tecnologia em Automação Industrial, Tecnologia em Gestão Ambiental e
Tecnologia em Redes de Computadores
Das oito áreas que compuseram este grupo, em cinco a nota da Infraestrutura
mostrou correlação semiparcial significativa, seguida por nota da Organização DidáticoPedagógica com três áreas. O maior número de combinações entre as áreas com os
estratos de organização acadêmica e categoria administrativa também ocorreram nestes
dois insumos, nota da Infraestrutura e nota da Organização Didático-Pedagógica, com
cinco e quatro combinações respectivamente. Para a nota da Infraestrutura, as
Universidades Públicas foram responsáveis por quatro das cinco áreas: Fonoaudiologia
com 62,8%, Tecnologia em Gestão Ambiental com 62,7%, Biomedicina com 50% e
Medicina Veterinária com 28,7%. A quinta correlação semiparcial significativa foi de
20,3% para Enfermagem nas Faculdades Privadas.
A nota da Organização Didático-Pedagógica também teve a maioria das
correlações no estrato das Universidades Públicas: -57,7% de correlação para
Fonoaudiologia, -32,8% para Tecnologia em Redes de Computadores e 39,2% para
Nutrição. A quarta correlação foi de 44,3% para Tecnologia em Redes de Computadores
nas Faculdades Tecnológicas Privadas.
A nota de Mestres, nota de Doutores e nota do Regime de Trabalho
apresentaram correlação significativa em apenas uma área cada um, a nota de Mestres
com três combinações e a nota de Doutores e a nota do Regime de Trabalho com uma
única combinação, -31,3% entre nota de Doutores e NIDD para Tecnologia em Redes
de Computadores nas Universidades Públicas e 50% entre nota do Regime de Trabalho
e NIDD para Biomedicina nas Universidades Públicas. O Gráfico 19 mostra as relações
entre a nota de Mestres e o IDD para a área de Tecnologia em Redes de Computadores,
com correlações de 47,2% nas Universidades Públicas (não significativa), 43,2% nas
Faculdades Privadas e de 38,7% nas Faculdades Tecnológicas Privadas (p=0,068 e,
portanto, não significativa ao nível de 5%). As correlações semiparciais foram todas
significativas, 41,7% nas Universidades Públicas, 44,7% nas Faculdades Privadas e
43,2% nas Faculdades Tecnológicas Privadas.
123
Gráfico 19 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Tecnologia em Redes de Computadores de acordo com a combinação entre
organização acadêmica e categoria administrativa.
6
5
4
NIDD
3
2
1
0
-1
-0,5
0,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
UniPu
FacPr
FaTPr
NM
Nota: UniPu: Universidade Pública; FacPr: Faculdade Privada; FaTPr: Faculdade Tecnológica Privada.
Fonte: o autor
Observa-se novamente a inversão do padrão apresentado para as áreas com
diferenças na combinação de Organização Acadêmica e Categoria Administrativa do
IDD quando comparado à nota Enade. Enquanto que neste grupo 17 áreas apresentaram
diferenças na combinação, para o IDD, somente oito áreas. Pode-se dizer que enquanto
o desempenho é mais variável entre as IESs conforme sua organização e administração,
e menos variável nas diferentes regiões federativas do Brasil, o “valor agregado” do
curso ao estudante varia mais regionalmente e é menos dependente da forma de
organização e administração da IES. Neste primeiro grupo do IDD, a nota da
Infraestrutura e a nota da Organização Didático-Pedagógica foram os insumos com
correlações mais frequentes, e mais característicos das Universidades Públicas.
124
Grupo III: Administração, Agronomia, Ciências Contábeis, Computação e Informática,
Design, Educação Física, Engenharia do grupo I, Engenharia do grupo II, Farmácia,
Filosofia, Fisioterapia, História, Letras, Medicina, Odontologia, Tecnologia em
Desenvolvimento de Sistemas e Turismo.
Neste grupo a nota de Mestres foi o insumo em que mais áreas (nove)
apresentaram correlações semiparciais significativas, seguido por nota da Organização
Didático-Pedagógica, nota de Doutores e nota do Regime de Trabalho, cada um com
sete áreas e a nota da Infraestrutura com cinco áreas. Nas combinações, a nota da
Organização Didático-Pedagógica apresentou o maior número (13) seguido pela nota de
Mestres (11), nota de Doutores e nota do Regime de Trabalho (nove cada um) e nota da
Infraestrutura com sete combinações. O Gráfico 20 mostra as correlações entre a nota de
Mestres para a área de Administração, a única do grupo a apresentar correlações
semiparciais significativas em três combinações de organização acadêmica, categoria
administrativa e região federativa. As correlações simples foram de -12,7% (p=0,42,
não significativa) para as Faculdades Privadas do Norte, 26,8% para o Nordeste e 62,6% para os Centros Universitários Privados do Centro-Oeste (p=0,07 e, portanto, não
significativa a 5%). Ajustadas, as correlações semiparciais foram de -33,8% para a
Região Norte e 20,4% para o Nordeste nas Faculdades Privadas e -73,1% para a Região
Centro-Oeste.
125
Gráfico 20 – Correlações entre a nota de Mestres (NM) e o IDD contínuo (NIDD) para a
área de Administração de acordo com a combinação entre organização acadêmica,
categoria administrativa e região federativa.
6
5
4
NIDD
3
2
1
0
-1
-1
0
1
2
3
4
5
6
N, FacPr
NE, FacPr
CO, CeUPr
NM
Nota: N: norte; NE: Nordeste; CO: Centro-Oeste; FacPr: Faculdade Privada; CeUPr: Centro Universitário
Privado.
Fonte: o autor
A nota da Organização Didático-Pedagógica teve a área de Ciências Contábeis
como aquela com mais correlações semiparciais significativas. O Gráfico 21 mostra as
correlações simples de 48,4% (p=0,09) para as Universidades Públicas do Centro-Oeste
e de 75,5% para o Sudeste; 40,4% para as Universidades Privadas e 34,7% para os
Centros Universitários Privados, ambos da Região Sudeste. Mantêm-se significativas as
correlações semiparciais para as Universidades Públicas do Centro-Oeste (51%),
Universidades Privadas (30,3%) e Centros Universitários Privados (39.0%) do Sudeste.
126
Gráfico 21 – Correlações entre a nota da Organização Didático-Pedagógica e o IDD
contínuo (NIDD) para a área de Ciências Contábeis de acordo com a combinação entre
organização acadêmica, categoria administrativa e região federativa.
6
5
NIDD
4
3
2
1
0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
CO, UniPu
SE, UniPu
SE, UniPr
SE, CeuPr
NO
Nota: CO: Centro-Oeste; SE: Sudeste; UniPu: Universidade Pública; FacPr: Faculdade Privada; CeUPr:
Centro Universitário Privado.
Fonte: o autor
A nota de Doutores mostrou as áreas de Administração e Odontologia com duas
correlações semiparciais significativas cada uma: para Administração 41,7% nas
Universidades Públicas e 10,2% para as Faculdades Privadas, ambas do Sudeste, e
Odontologia, 53,2% nas Universidades Privadas do Sul e 71,4% nas Universidades
Públicas. Nas demais áreas, três apresentaram correlações nas Universidades Públicas:
Agronomia (60,8 na Região Sul), Ciências Contábeis (-76,6% no Nordeste) e
Engenharia do Grupo II (44,4% no Sudeste). A área de Letras mostrou 43,1% nas
Universidades Privadas da Região Sul e Tecnologia em Análise e Desenvolvimento de
Sistemas, 55,3% nas Faculdades Privadas do Centro-Oeste.
A nota do Regime de Trabalho teve correlações semiparciais significativas em
Administração (68,8% e 24,11% nas Faculdades Públicas e Universidades Públicas do
Sudeste, respectivamente), Computação e Informática (-72,2% nas Universidades
127
Privadas do Centro-Oeste e 49,7% nas Universidades Públicas do Sudeste), Agronomia
(54,4% nas Universidades Privadas do Centro-Oeste), Engenharia do grupo I (43,9%
nas Universidades Públicas do Sul), Filosofia (-52,7% nas Universidades Privadas do
Sudeste), Letras (40,7% nas Universidades Privadas do Sul) e Odontologia (29% nas
Universidades Privadas do Sudeste)
A nota da Infraestrutura mostrou duas correlações para a área de Administração:
60,4% nos Centros Universitários do Centro-Oeste e 18,2% nas Faculdades Privadas do
Sudeste e duas para Computação e Informática: 49,4% para as Faculdades Integradas e
39% para as Universidades Públicas, ambas da Região Sudeste. Demais áreas: Design,
73,1% nas Universidades Privadas do Sudeste, História, 58,7% nas Universidades
Públicas do Sul, e Letras, 65,2% nos Institutos Superiores Privados do Sudeste.
Tem-se como característica neste grupo a maior frequência de correlações para a
nota de Mestres e nota da Organização Didático-Pedagógica. Ambos os insumos
ocorreram em grupos anteriores: a nota dos Mestres no grupo I e a nota da Organização
Didático-Pedagógica no grupo II. Nota-se que, diferentemente do Enade contínuo, o
grupo apresentou poucas correlações significativas para o IDD, corroborando a ideia de
que para este indicador as diferenças regionais são mais características do que a forma
de organização e administração da IES.
Grupo IV: Ciências Econômicas, Ciências Sociais, Engenharia do grupo VI,
Engenharia do grupo VIII, Música, Química, Relações Internacionais, Secretariado,
Serviço Social, Teatro, Tecnologia em Gestão de Recursos Humanos, Tecnologia em
Gestão Financeira, Tecnologia em Marketing, Tecnologia em Moda, Tecnologia em
Processos Gerenciais e Tecnologia em Radiologia.
Das 16 áreas do grupo, 11 não apresentaram correlações significativas para
quaisquer insumos: Engenharias dos grupos VI e VIII, Relações Internacionais,
Secretariado, Teatro, Tecnologia em Gestão de Recursos Humanos, Tecnologia em
Gestão Financeira, Tecnologia em Marketing, Tecnologia em Moda, Tecnologia em
Processos Gerenciais e Tecnologia em Radiologia. Das cinco áreas restantes, a nota da
Infraestrutura mostrou correlações significativas para Ciências Sociais (36,1%), Serviço
Social (16,4%) e Química (16,3%); a nota de Doutores em Música (32,6%), Ciências
Econômicas (20%) e Química (17,9%); e a nota do Regime de Trabalho em Química
128
(27,6%). A nota de Mestres e a nota da Organização Didático-pedagógica não
apresentaram correlações significativas.
O Gráfico 22 mostra a correlação de 47,5%, a maior deste grupo, entre a nota da
Infraestrutura e o IDD contínuo para a área de Ciências Sociais.
Gráfico 22 – Correlação entre a nota da infraestrutura (NI) e o IDD contínuo (NIDD)
para a área de Ciências Sociais.
6
5
4
NIDD
3
2
1
0
-1
0,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
NI
Fonte: o autor
O Gráfico 23 mostra a correlação de 31,9% entre a nota de Doutores e o IDD
contínuo para a área de Música.
129
Gráfico 23 – Correlação entre a nota de Doutores (ND) e o IDD contínuo (NIDD) para a
área de Música.
6
5
4
NIDD
3
2
1
0
-1
-1
0
1
2
3
4
5
6
ND
Fonte: o autor
Este grupo ficou caracterizado por maior frequência dos insumos nota da
Infraestrutura e nota de Doutores.
Um exame dos quatro grupos mostra que, apesar da maior frequência de
correlações nas notas de Doutores e maior presença no insumo nota de Mestres em
relação ao Enade contínuo, os demais insumos também apresentaram correlações
conforme as áreas, diferentemente do Enade contínuo no qual se pode verificar
preponderância de dois insumos em relação aos demais, nota de Doutores e nota da
Infraestrutura. Tem-se assim o IDD como um indicador com mais dificuldade de
generalização do que o Enade contínuo.
130
3.5 Síntese da estrutura das relações nos estratos
A caracterização realizada permitiu avaliar o grau de generalização que podemos
realizar ao observarmos as notas Enade e IDD em relação aos insumos. Os resultados
apontam para uma dependência à área avaliada e aos estratos que foram examinados: a
região federativa e a combinação entre organização acadêmica e categoria
administrativa. Dada a impossibilidade de uma generalização da estrutura de relações
sem que se considere esta especificidade, propõe-se uma síntese desta estrutura,
integrando-se os três estratos avaliados.
3.5.1 Enade contínuo
Neste indicador onze áreas não apresentaram correlações significativas:
Agronomia, Arquitetura, Fisioterapia, Teatro, Tecnologia em Automação, Tecnologia
em Gestão de Processos Gerenciais, Tecnologia em Gestão Financeira, Tecnologia em
Marketing, Tecnologia em Moda, Tecnologia em Redes e Zootecnia. Parte destes
(Automação Industrial, Moda e Teatro) justifica-se pelo baixo número de cursos da área
no Brasil, porém se observa que as demais áreas também não apresentaram as relações
significativas esperadas para um número de cursos superiores a outras que
apresentaram. Pode-se então inferir que para estas áreas não se tem uma relação direta
destes insumos com o desempenho Enade.
A nota da Infraestrutura e a nota de Doutores foram os insumos mais frequentes.
O estrato das regiões mostrou comportamento esperado para as regiões Sudeste e Sul
com mais correlações que as demais, com uma correlação perfeita, observada na Tabela
3, que mostra percentuais muito próximos de número de cursos avaliados e número de
correlações semiparciais significativas.
131
Tabela 3 – Número de cursos e correlações encontradas para o Enade contínuo
de acordo com a região federativa.
Região
Sudeste
Sul
Nordeste
Centro-Oeste
Norte
Total
Número de
cursos
5605
2529
1923
1194
698
11949
%
46,9
21,2
16,1
10,0
5,8
100,0
Número de
correlações
69
32
20
12
12
145
%
47,6
22,1
13,8
8,3
8,3
100,0
Nota: as regiões foram ordenadas decrescentemente de acordo com o total de cursos avaliados.
Fonte: o autor
Quando observadas as combinações entre organização acadêmica e categoria
administrativa (Tabela 4), observa-se que a frequência de correlações para as
Faculdades Privadas foi menor do que a esperada, enquanto que as Universidades
mostraram frequência observada maior do que o esperado, e entre estas, as
Universidades Públicas com maior frequência do que as Privadas75. Isso demonstra que
a relação entre insumos e desempenho tem mais propriedade para as Universidades
Públicas do que para as Faculdades Privadas. O padrão também aparece para as
Faculdades Públicas, que deveriam mostrar correlações significativas. Conclui-se que a
estrutura de relações criada para o Enade contínuo tem maior coerência para o grupo das
Universidades do que para as Faculdades, e dentro das Universidades, mais para as
Públicas do que para as Privadas. Os Institutos Superiores Privados também mostraram
desacordo com o esperado, com mais correlações em comparação com as Faculdades
Integradas. A área de Pedagogia na Região Sul foi a responsável pela frequência maior
do que a esperada nos Institutos Superiores, pois quatro das cinco correlações
encontradas nestes foram nessa área e região.
75
P<0.01 no teste do qui-quadrado para significância de associações.
132
Tabela 4 - Número de cursos e correlações encontradas para o Enade
contínuo de acordo com a combinação entre organização acadêmica e
categoria administrativa.
Combinação
FacPr
UniPr
UniPu
CeUPr
FaIPr
FacPu
InsPr
CeTPu
CeUPu
FaTPr
Total
Número de
cursos
3806
3143
2577
1622
245
211
175
72
52
46
11949
%
31,9
26,3
21,6
13,6
2,1
1,8
1,5
0,6
0,4
0,4
100,0
Número de
correlações
32
45
53
24
3
0
5
0
0
0
162
%
19,8
27,8
32,7
14,8
1,9
0,0
3,1
0,0
0,0
0,0
100
Nota: as siglas que aparecem na coluna indicadora são, na ordem, FacPr: Faculdade Privada;
UniPr: Universidade Privada; UniPu: Universidade Pública; CeUPr: Centro Universitário
Privado; FaIPr: Faculdade Integrada Privada; FacPu: Faculdade Pública; InsPr: Instituto
Superior Privado; CeTPu: Centro Tecnológico Público; CeUPu: Centro Universitário
Público; FaTPr: Faculdade Tecnológica Privada.
Fonte: o autor
O Quadro 2 identifica as áreas que apresentaram correlações semiparciais
significativas no Brasil ou de acordo com a região federativa, independentemente da
categoria administrativa ou organização acadêmica. Destacam-se as áreas de Física na
Região Norte, com significância para três dos cinco insumos avaliados, Ciências
Econômicas no Nordeste e Sudeste e Geografia no Nordeste, Centro-Oeste e Sudeste.
Nota-se também que a Região Sul, apesar de ter o segundo maior número de cursos nas
áreas avaliadas, foi aquela com menor frequência de correlações significativas. Assim,
nesta região, as diferenças tendem a ocorrer vinculadas à organização acadêmica e
categoria administrativa, como se verá mais adiante.
133
Quadro 2 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para as Instituições de Ensino Superior do Brasil de acordo a região federativa.
Insumo
Brasil
Norte
Centro-Oeste
Sudeste
Sul
-
Ciências
Econômicas
-
Física
Nordeste
Ciências
Econômicas
Física
-
NI
Ciências Sociais
Música
Física
NO
-
NM
Tec. Gestão RH
-
-
-
ND
Engenharia VIII
-
-
Secretariado
NR
Ciências Sociais
Física
Ciências
Econômicas
Geografia
-
Geografia
Geografia
Filosofia
Ciências
Econômicas
Geografia
Filosofia
Filosofia
Secretariado
-
-
Ciências
Econômicas
Fonte: o autor
134
O Quadro 3 sumariza os resultados encontrados para as Universidades Públicas
de acordo com a região federativa. As áreas das Engenharias apresentaram várias
correlações significativas, destacadamente nas Regiões Sul e Nordeste e quatro áreas no
Brasil.
Na Região Sul quase todas as correlações estiveram nas áreas das Engenharias.
As notas referentes à Infraestrutura, Mestres e Doutores foram os insumos com maior
frequência de significância para estas áreas. A Região Sudeste foi a que apresentou
maior frequência de correlações significativas. Em contraste, a Região Centro-Oeste
teve frequência menor do que a esperada, se considerarmos o número de cursos desta
região em comparação com a Região Norte.
Além das Engenharias, destaca-se a área de Turismo na Região Sudeste com
correlações em quatro insumos, exceto a nota de Doutores. A área de Comunicação
Social esteve presente somente na Região Norte, enquanto que Pedagogia apresentou
correlações somente para a nota de Doutores. Em termos dos insumos, somente a nota
de Doutores mostrou correlações em todas as regiões federativas para as Universidades
Públicas.
135
Quadro 3 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para as Universidades Públicas de acordo com a região federativa.
Insumo
NI
Brasil
Engenharia III
Engenharia VII
Medicina
Veterinária
Norte
Nordeste
Centro-Oeste
-
Engenharia I
Engenharia IV
-
Sudeste
Computação
Design
Matemática
Turismo
Direito
Ciências Contábeis
Odontologia
Turismo
Computação
Engenharia IV
Odontologia
Psicologia
Turismo
Sul
-
Engenharia I
Engenharia II
História
NO
Educação Física
Nutrição
Com. Social
Medicina
-
NM
Engenharia VI
-
Computação
-
ND
Biomedicina
Engenharia VI
Farmácia
Com. Social
Pedagogia
Ciências Contábeis
Computação
Matemática
Pedagogia
Biologia
Engenharia II
Odontologia
Psicologia
Ciências Contábeis
Engenharia I
Engenharia II
NR
Biomedicina
Farmácia
-
Engenharia I
História
-
Ciências Contábeis
Biologia
Turismo
Engenharia II
Engenharia II
Engenharia IV
Fonte: o autor
136
O Quadro 4 mostra os resultados encontrados para as Universidades Privadas.
Diferentemente das Públicas, as Regiões Norte e Nordeste não mostraram áreas com
correlações significativas, enquanto que a Região Sul mostrou maior frequência de
correlações do que na categoria das Universidades Públicas, em desacordo com o
esperado. De fato, das 2.437 áreas das universidades da Região Sudeste que
apresentaram Enade contínuo, 26,3% foram de Universidades Públicas, enquanto que na
Região Sul este percentual subiu para 36%. Assim era esperada uma frequência maior
de correlações nas áreas das Universidades Públicas da Região Sul e menor nas
Universidades Privadas para esta região.
Nas áreas destacam-se Psicologia na Região Centro-Oeste, com quatro dos cinco
insumos, e ainda nas Regiões Sudeste e Sul, com a nota da Organização DidáticoPedagógica com correlações nas três regiões.
Nas áreas das Engenharias percebe-se menor número de correlações, mas a área
de Engenharia do grupo II mostrou correlações para os insumos nota da Organização
Didático-Pedagógica e nota de Doutores tanto para as Universidades Públicas quanto
Privadas.
Observando-se as áreas que mostraram correlações para o Brasil sem
discriminação da região, ás áreas de Educação Física, Farmácia e Nutrição tiveram
correlações para ambas as categorias administrativas: Públicas e Privadas. A área de
Educação Física apresentou a nota da Organização Didático-Pedagógica como o insumo
mais ocorrente nas duas categorias. Já a área de Farmácia apresentou a nota do Regime
de Trabalho como o mais frequente.
Diferentemente das Universidades Públicas, a nota de Doutores foi o insumo
com menor número de áreas com correlações significativas.
137
Quadro 4 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para as Universidades Privadas de acordo com a região federativa.
Insumo
Brasil
Norte
Nordeste
Centro-Oeste
NI
Enfermagem
Química
Serviço Social
-
-
Psicologia
NO
Educação Física
-
-
Psicologia
NM
Serviço Social
Tec. Gastronomia
-
-
Psicologia
ND
Engenharia VII
-
-
-
Pedagogia
Tec. Ges.
Ambiental
NR
Educação Física
Enfermagem
Farmácia
Nutrição
-
Computação
Psicologia
Administração
Direito
Engenharia I
Psicologia
-
Sudeste
Biologia
Direito
Tec. Ges.
Ambiental
Administração
Ciências Contábeis
Computação
Matemática
Odontologia
Psicologia
Turismo
Biologia
Tec. Radiologia
Sul
Administração
Engenharia II
Psicologia
Ciências Contábeis
Matemática
Biologia
Engenharia II
Letras
Odontologia
Ciências Contábeis
Matemática
Fonte: o autor
138
O Quadro 5 apresenta os resultados para as Faculdades Privadas. Nota-se
ausência das áreas das Engenharias para este estrato, em parte explicado pelo menor
número de cursos nestas áreas quando comparado às universidades. No entanto, para
outras áreas como Biomedicina a explicação não procede, tendo em vista que a área
possui mais cursos nas Faculdades Privadas (36) do que nas Universidades Privadas
(33) ou Públicas (17). Neste caso pode-se inferir que a área de Biomedicina teve
certamente uma relação entre a nota do Regime de Trabalho com o desempenho no
Enade para os cursos das Universidades Públicas.
Oposto a este padrão, a área de Odontologia aparece aqui com correlações
significativas para a nota de Mestres e a nota de Doutores na região Nordeste, enquanto
que nas Universidades Privadas mostrou somente para a nota da Organização DidáticoPedagógica no Sudeste e nas Universidades Públicas mostrou em três insumos, também
para a Região Sudeste. No entanto, os números de cursos nos estratos: 30 para as
Faculdades Privadas, 49 nas Universidades Públicas e 65 nas Universidades Privadas
mostram relação inversa com o número de correlações significativas, o que permite
afirmar que as relações encontradas são robustas.
No âmbito do país a área de Farmácia continuou apresentando significância no
insumo nota do Regime de Trabalho. A área de Administração teve correlações em
todas as regiões, especialmente para o insumo nota de Doutores e a área de Psicologia
na região Sudeste apresentou correlação no insumo nota de Doutores da mesma forma
que nas Universidades Públicas. Este insumo e nota da Infraestrutura foram aqueles
com maior frequência de áreas e regiões para as Faculdades Privadas. A área de Direito
apresentou correlações para nota da Infraestrutura em três das cinco regiões federativas.
139
Quadro 5 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para as Faculdades Privadas de acordo com a região federativa.
Insumo
Brasil
Norte
Nordeste
Centro-Oeste
NI
Enfermagem
Farmácia
-
Administração
Ciências Contábeis
Direito
NO
Serviço Social
-
Administração
Ciências Contábeis
NM
Nutrição
-
Administração
Odontologia
-
ND
Tec. Gastronomia
Administração
Odontologia
-
NR
Farmácia
-
-
Administração
Sudeste
Administração
Direito
Psicologia
Tec. An. Des. Sis.
Administração
Ciências Contábeis
História
Tec. An. Des. Sis.
Psicologia
Administração
Matemática
Psicologia
-
Sul
Ciências Contábeis
Direito
Turismo
-
Administração
-
Fonte: o autor
140
O Quadro 6 mostra os resultados para os Centros Universitários Privados. A área
de Computação aparece em destaque na Região Norte, com somente nota do Regime de
Trabalho sem correlações significativas. O resultado é relevante, pois não dependeu do
número de cursos na área para este estrato: os Centros Universitários responderam por
81 cursos desta área, enquanto que as Universidades Públicas, com 92 cursos,
Faculdades Privadas, 143 cursos e Universidades Privadas, 171 cursos. Desta forma
pode-se indicar que na Região Norte os insumos efetivamente tiveram influência no
desempenho dos estudantes.
Novamente a área de Engenharia do grupo II aparece com correlação para o
insumo nota da Organização Didático-Pedagógica. A área de Direito apresentou o
mesmo número de correlações, três, que as Faculdades Privadas, apesar da grande
diferença em termos de cursos desta área, 339 cursos avaliados no Brasil nas Faculdades
Privadas e 96 para os Centros Universitários Privados. Para esta área, os insumos foram:
nota da Organização Didático-Pedagógica (Sul), nota de Doutores (Centro-Oeste) e nota
do Regime de Trabalho (Sudeste).
O Quadro 7 mostra os demais estratos em que foram encontradas correlações
significativas. Apesar das Faculdades Integradas apresentarem 245 cursos em 20 áreas e
os Institutos Superiores, 175 cursos em 18 áreas, somente Pedagogia foi responsável
pela quase totalidade das correlações significativas, em parte explicado pelo maior
número de cursos desta área nos dois estratos, 55 e 66 cursos respectivamente.
141
Quadro 6 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para os Centros Universitários Privados de acordo a região federativa.
Insumo
NI
Brasil
Educação Física
Enfermagem
Rel. Internacionais
Norte
Nordeste
Centro-Oeste
Computação
-
-
NO
Medicina
Veterinária
Computação
-
-
NM
-
Computação
-
-
ND
Rel. Internacionais
Computação
-
Direito
NR
Educação Física
Ciências Contábeis
-
Sudeste
Computação
Com. Social
Design
Administração
Engenharia II
Letras
Matemática
Tec. Ges.
Ambiental
Fonoaudiologia
Pedagogia
Direito
Sul
-
Direito
-
Fonte: o autor
Quadro 7 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o Enade contínuo
para os Institutos Superiores (InsPr) e Faculdades Integradas Privados (FaIPr) de acordo a região federativa.
Insumo
Brasil
Norte
Nordeste
Centro-Oeste
Sudeste
NI
-
-
-
-
FaIPr: Computação
NO
NM
ND
NR
-
-
-
-
InsPr: Pedagogia
Sul
FaIPr: Pedagogia
InsPr: Pedagogia
InsPr: Pedagogia
FaIPr: Pedagogia
InsPr: Pedagogia
InsPr: Pedagogia
Fonte: o autor
142
Com base nos quadros mostrados, a estrutura de relações do desempenho dos
estudantes pôde ser caracterizada em 44 áreas, em onze, porém, não foi observada
significância das relações. A nota de Doutores e a nota da Infraestrutura se destacaram
como os insumos mais frequentes, enquanto que a nota de Mestres foi o insumo menos
ocorrente. No entanto, esta presença é fortemente vinculada à área, como se pode notar
pelos resultados de algumas áreas da Saúde, notadamente Farmácia e Biomedicina, nas
quais a nota do Regime de Trabalho foi aquela com maior frequência de correlações
significativas. Além da dependência à área, observaram-se diferenças entre estratos. De
acordo com a combinação entre estratos encontrou-se maior ou menor frequência de
correlações com determinados insumos. Um contraste entre as duas regiões federativas
com mais cursos de graduação, Sudeste e Sul, em relação às Universidades Públicas e
Privadas, mostrou uma frequência de correlações para as Universidades Públicas da
Região Sul abaixo do esperado, enquanto que para as Universidades Privadas esta
frequência ficou acima do esperado. Este resultado indica que a estrutura de relações
subjacente à construção do CPC proposta pelo Inep tem mais propriedade para as
Universidades Privadas quando considerada a Região Sul, e para as Universidades
Públicas do Sudeste, isso para algumas áreas avaliadas e não para todo o conjunto de
áreas.
3.5.2 IDD contínuo
Este indicador mostrou 18 áreas com ausência de correlações significativas:
Educação Física, Engenharias dos grupos III, VI, VII, Física, Medicina, Música,
Relações
Internacionais,
Secretariado,
Teatro,
Tecnologias
em
Automação,
Gastronomia, Gestão de Processos Gerenciais, Gestão de Recursos Humanos, Gestão
Financeira, Marketing, Moda e Radiologia, Turismo. Semelhantemente ao Enade
contínuo, o pequeno número de cursos avaliados em algumas destas áreas, tais como
Música, Secretariado e as Tecnologias, explica parte do resultado, tendo em vista que os
testes de significância são sensíveis a baixos números amostrais. De outra parte, pode-se
também considerar que o IDD demonstrou efetivamente menor frequência de relações
significativas com os insumos do que o Enade contínuo. Desta forma pode-se afirmar
que o desempenho final dos estudantes no exame mostra mais relações significativas
nas áreas avaliadas do que o indicador de “valor agregado” do curso. Os insumos que
mostraram maior frequência de relações nas áreas foram nota de Doutores, com 20 das
143
55 áreas, seguindo por nota de Mestres e nota do Regime de Trabalho, ambos com 15
áreas. Comparando-se com o Enade contínuo, que mostrou mais relações nos insumos
nota da Infraestrutura e nota de Doutores, temos o insumo nota de Doutores como
aquele mais consistente para ambos os indicadores, seguido pela nota de Mestres
quando observado somente o indicador de “valor agregado” do curso. Examinadas as
regiões federativas, o Sudeste mostrou maior frequência, como esperado, seguido pelas
Regiões Centro-Oeste e Nordeste, que apresentaram mais relações que a Região Sul,
apesar do maior número de cursos desta última (Tabela 5). Isso mostra que para as
primeiras regiões o IDD esteve mais relacionado aos insumos que na última.
Tabela 5 - Número de cursos e correlações encontradas para o IDD
contínuo de acordo com a região federativa.
Região
Sudeste
Sul
Nordeste
CentroOeste
Norte
Total
Número de
cursos
5164
2341
1780
46,9
21,3
16,2
Número de
correlações
40
10
10
50,0
12,5
12,5
1091
9,9
11
13,8
628
11004
5,7
100,0
9
80
11,3
100,0
%
%
Fonte: o autor
A combinação entre organização acadêmica e categoria administrativa (Tabela
6) mostrou maior frequência nas Universidades Públicas e Privadas, seguido pelas
Faculdades Privadas, em desacordo com o esperado, tendo em vista que as Faculdades
Privadas possuem 3415 cursos com resultados IDD, acima das Universidades Privadas,
2855 e Universidades Públicas, 2463. Isso mostra que o indicador IDD tem maior
aderência com as Universidades Públicas do que com as Privadas e mais para as
Universidades do que para as Faculdades Privadas, da mesma forma que ocorreu com o
Enade contínuo. Diferentemente deste, as Faculdades Tecnológicas apareceram com
número de correlações acima do esperado, devido às duas correlações encontradas para
a área de Tecnologia em Redes de Computadores.
144
Tabela 6 - Número de cursos e correlações encontradas para o IDD
contínuo de acordo com a combinação entre organização acadêmica e
categoria administrativa.
Combinação
FacPr
UniPr
UniPu
CeUPr
FaIPr
FacPu
InsPr
CeTPu
CeUPu
FaTPr
Total
Número de
cursos
%
3415 31,0
2855 25,9
2463 22,4
1487 13,5
245
2,2
200
1,8
174
1,6
72
0,7
47
0,4
46
0,4
11004 100,0
Número de
correlações
11
15
26
6
1
1
1
0
0
2
63
%
17,5
23,8
41,3
9,5
1,6
1,6
1,6
0,0
0,0
3,2
100
Nota: as siglas que aparecem na coluna indicadora são, na ordem, FacPr: Faculdade
Privada; UniPr: Universidade Privada; UniPu: Universidade Pública; CeUPr: Centro
Universitário Privado; FaIPr: Faculdade Integrada Privada; FacPu: Faculdade Pública;
InsPr: Instituto Superior Privado; CeTPu: Centro Tecnlógico Público; CeUPu: Centro
Universitário Público; FaTPr: Faculdade Tecnológica Privada
Fonte: o autor
O Quadro 8 mostra as correlações encontradas segundo a região federativa. As
Regiões Norte e Sul se destacam por apresentar mais e menos correlações do que o
esperado, respectivamente, a área de Arquitetura mostrando correlação significativa
para todos os insumos na Região Norte. Destacam-se também as áreas de Química e
Geografia com correlações em três dos cinco insumos. Dos insumos, a nota de Doutores
foi aquele com correlações significativas em mais áreas.
145
Quadro 8 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o IDD contínuo para
as Instituições de Ensino Superior do Brasil de acordo a região federativa.
Insumo
Norte
Nordeste
Centro-Oeste
Sudeste
Sul
Arquitetura
-
Direito
Direito
-
NO
Brasil
Ciências Sociais
Química
Serviço Social
-
Arquitetura
-
Geografia
-
NM
-
Arquitetura
Direito
-
ND
Ciências
Econômicas
Engenharia VIII
Química
Arquitetura
Pedagogia
Arquitetura
Direito
Geografia
Matemática
Pedagogia
Biologia
Com. Social
Pedagogia
Engenharia IV
Geografia
Psicologia
Engenharia IV
Geografia
Matemática
Pedagogia
Zootecnia
Química
Arquitetura
Direito
Pedagogia
-
Com. Social
NI
NR
Engenharia IV
Arquitetura
-
-
Fonte: o autor
146
O Quadro 9 mostra maior frequência de correlações para as Regiões Sudeste e
Sul, quando examinadas as Universidades Públicas, além daquelas encontradas para o
Brasil. Percebe-se uma concentração de cursos nas áreas da Saúde, evidenciando-se a
área de Odontologia na Região Sudeste como a que apresenta correlações em mais
insumos. A nota da Infraestrutura e a nota de Doutores são os insumos com mais
correlações neste estrato.
No Quadro 10 observa-se um menor número de correlações nas Universidades
Privadas quando comparadas com as Universidades Públicas, concentradas nas Regiões
Sudeste e Sul. Destaca-se a área de Odontologia com correlações na Região Sudeste
como ocorreu com o estrato das Universidades Públicas. A nota do Regime de Trabalho
aparece como o insumo com mais correlações.
147
Quadro 9 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o IDD contínuo para
as Universidades Públicas de acordo com a região federativa.
Insumo
Norte
Nordeste
Centro-Oeste
Sudeste
Sul
-
-
-
Computação
História
-
Letras
Ciências Contábeis
Odontologia
História
NM
Brasil
Biomedicina
Fonoaudiologia
Medicina
Veterinária
Tec. Ges.
Ambiental
Fonoaudiologia
Nutrição
Tec. Redes
Tec. Redes
-
Letras
-
-
ND
Tec. Redes
-
Ciências Contábeis
-
NR
Biomedicina
-
-
Agronomia
Odontologia
Administração
Engenharia II
Odontologia
Computação
NI
NO
Agronomia
Engenharia I
Fonte: o autor
148
Quadro 10 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o IDD contínuo
para as Universidades Privadas de acordo com a região federativa.
Insumo
NI
Brasil
-
Norte
-
Nordeste
-
Centro-Oeste
-
NO
-
-
-
-
NM
-
-
-
-
Filosofia
ND
-
-
-
-
-
Computação
Administração
Filosofia
Odontologia
NR
-
-
-
Sudeste
Design
Ciências Contábeis
Computação
Farmácia
Odontologia
Sul
Ciências Contábeis
Computação
Letras
Odontologia
Letras
Fonte: o autor
149
No Quadro 11 pode-se observar a menor frequência de correlações (11) no
estrato das Faculdades Privadas quando comparado com os estratos das Universidades
Públicas (26 correlações) ou Privadas (15 correlações), apesar do maior número de
cursos neste estrato. O insumo nota de Mestres destaca-se como aquele com mais
correlações significativas.
No Quadro 12 observa-se que somente a área de Administração mostrou relação
para mais de um insumo quando examinados os Centros Universitários.
150
Quadro 11 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o IDD contínuo
para as Faculdades Privadas de acordo com a região federativa.
Insumo
NI
NO
Brasil
Enfermagem
-
Norte
-
Nordeste
-
Centro-Oeste
-
NM
Enfermagem
Administração
Administração
-
ND
NR
-
-
-
Tec. Des. Sis.
-
Sudeste
Administração
História
Agronomia
Fisioterapia
Tec. Des. Sis.
Administração
-
Sul
-
Fonte: o autor
Quadro 12 – Áreas e correlações semiparciais significativas entre os insumos utilizados no Conceito Preliminar de Curso e o IDD contínuo
para os Centros Universitários Privados de acordo a região federativa.
Insumo
NI
Brasil
-
Norte
-
Nordeste
-
Centro-Oeste
Administração
NO
-
-
-
Administração
NM
ND
NR
-
-
-
Administração
Sudeste
Administração
Ciências Contábeis
Computação
-
Sul
-
Fonte: o autor
151
O Quadro 13 sumariza as relações encontradas nas demais combinações entre
organização acadêmica e categoria administrativa. Das áreas apresentadas, Tecnologia
em Redes de Computadores mostrou correlação para o insumo nota de Mestres neste
estrato e para as Universidades Públicas, o mesmo ocorrendo com a área de
Computação para nota da Infraestrutura.
Quadro 13 – Áreas e correlações semiparciais significativas entre os insumos utilizados
no Conceito Preliminar de Curso e o IDD contínuo para os Institutos Superiores,
Faculdades Integradas e Faculdades Tecnológicas Privadas de acordo a região
federativa.
Insumo
NI
Brasil
FaTPr:
Tec.
Redes
FaTPr:
Tec.
Redes
NO
NM
ND
NR
Norte
Nordeste
CentroOeste
Sudeste
Sul
-
-
-
-
FaIPr
Computação
InsPr
Letras
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Fonte: o autor
Em resumo, o indicador de “valor agregado” do curso mostrou uma estrutura de
relações em um menor número de áreas do que o indicador desempenho final dos
estudantes, 37 áreas para o IDD e 44 para o Enade contínuo. Para o IDD, os insumos
que mostraram maior frequência de relações nas áreas foram nota de Doutores e de
Mestres. Foram observadas mais diferenças no estrato região federativa e menos
diferenças na combinação de organização acadêmica e categoria administrativa do IDD
quando comparado à nota Enade. Assim, o desempenho foi mais variável entre as IESs
conforme sua organização e administração, e menos variável nas diferentes regiões
federativas do Brasil. Já o “valor agregado” do curso ao estudante variou mais
regionalmente, sendo menos dependente da forma de organização e administração da
IES. Os resultados também apontaram maior aderência do IDD com as Universidades
Públicas do que com as Privadas e mais ainda com as Faculdades Privadas, da mesma
forma que ocorreu com o Enade contínuo.
152
As conclusões que podem ser obtidas da caraterização das relações entre insumos de
desempenho no Enade são:

A estrutura das relações entre os insumos e o desempenho dos estudantes no
Enade, caracterizado pela nota continua do Enade e nota continua do IDD é
fortemente dependente da área avaliada, da região federativa, e da
combinação entre a organização acadêmica e categoria administrativa da
IES.

O exame das relações permitiu a identificação de grupos de áreas de cursos
nos quais um ou outro insumo obtiveram correlações mais frequentes com o
desempenho

Os grupos formados nas relações com o Enade contínuo se distinguiram
daqueles formados com o IDD contínuo.

Nem todas as relações observadas entre insumos e desempenho foram
positivas. Em algumas áreas a relação foi positiva para determinada
combinação entre organização acadêmica e categoria administrativa e
negativa para outra.

Ocorreram áreas em que as relações se mostraram independentes dos estratos
analisados: região federativa e combinação entre organização acadêmica e
categoria administrativa.

No desempenho medido pelo Enade contínuo, onze das 55 áreas avaliadas
não apresentaram relações significativas entre os insumos e o desempenho.

A nota da Infraestrutura e a nota de Doutores foram os insumos com
correlações semiparciais mais frequentes com o Enade contínuo.

O estrato das regiões federativas mostrou as regiões Sudeste e Sul com
maior frequencia de correlações semiparciais significativas.

O estrato da combinação entre de organização acadêmica e categoria
administrativa mostrou uma frequencia de correlações para Faculdades
Privadas menor do que o esperado tendo em vista o número de cursos desta
combinação, e maior do que o esperado nas Universidades, a categoria
administrativa “Pública” mais do que a categoria “Privada”.18

No desempenho medido pelo IDD contínuo 18 das 55 áreas avaliadas não
apresentaram relações significativas entre os insumos e “valor agregado”.
153

O IDD contínuo mostrou menor frequencia de correlações significativas do
que o Enade contínuo.

A nota de Doutores foi o insumo com correlações semiparciais mais
frequentes para o IDD contínuo, seguido pela nota de Mestres e Regime de
Trabalho.

O estrato das regiões federativas mostrou a região Sudeste com maior
frequencia de correlações semiparciais significativas, seguida pelas regiões
Nordeste e Centro-Oeste ao invés da Região Sul, o que era esperado devido
ao maior número de cursos.

O estrato da combinação entre de organização acadêmica e categoria
administrativa mostrou maior frequencia de correlações para Universidades
Públicas e Privadas, em desacordo com o esperado, tendo em vista o maior
número de cursos avaliados nas Faculdades Privadas.
Desta forma, o CPC não é um índice que possa ser generalizado no universo da
Educação Superior brasileira, devendo ser avaliado no contexto da diversidade das IES.
Assim não se justifica o papel central que o Enade tem atualmente no sistema, sendo
necessária sua recondução ao papel pontual de examinar o desempenho do estudante de
graduação.
Finalizando a pesquisa, uma retrospectiva do estudo é realizada, seguida de
possibilidades antevistas para os próximos anos do Sinaes.
154
4. CONCLUSÕES, CONSIDERAÇÕES FINAIS E POSSIBILIDADES.
Qual o panorama descortinado neste estudo do Sinaes e particularmente do
Enade? O primeiro movimento mostrou como o Sinaes, em dez anos de
operacionalização, erigiu uma modalidade, o Enade, como a principal fonte de
indicadores para a regulação, subordinando as demais, ACG e Avalies à primeira. O
segundo investigou a operacionalização do sistema português, caracterizado pela
ausência de um exame de desempenho em sua estrutura e com similaridades partilhadas
com o Sinaes em seu processo de avaliação externa. No terceiro avaliaram-se os
resultados do exame de desempenho de um triênio em 55 áreas de graduação do Brasil,
com foco nas relações entre os insumos e o desempenho, a fim de se investigar quão
homogênea é esta estrutura de relações e, consequentemente, o quão generalizável é o
principal indicador utilizado na regulação da Educação Superior, o CPC. Com base
nisto propõe-se a tese de que o Sinaes, na forma como vem sendo operacionalizado, não
atende aos princípios originalmente estabelecidos e nem atinge os objetivos
inicialmente traçados para o sistema. A centralidade do Enade no processo avaliativo e
regulatório descaracterizou o sistema de avaliação. Porém, é possível um resgate aos
princípios originais, em maior ou menor grau, a partir da reconfiguração de suas
modalidades.
As conclusões, considerações e possibilidade advindas desta proposição foram
descritas recorrendo-se às perguntas iniciais elaboradas, como se segue:
Qual foi o percurso do Sinaes em seus dez anos de operacionalização? Como as suas
modalidades foram se configurando neste percurso de forma a culminar na
centralidade do exame do desempenho frente às demais?
A centralidade do Enade frente às demais modalidades do Sinaes tem seus
fundamentos no alinhamento do processo educativo com o processo fabril. A eleição de
um exame de desempenho como principal indicador decorre da ideia de que, como
qualquer processo material, a educação gera produtos que, ao serem avaliados,
permitem inferir acerca da qualidade do processo. No percurso do Sinaes, as escolhas
foram se realizando de acordo com os binômios simplicidade/complexidade,
neutralidade/envolvimento, distância/proximidade, conforme detalhado no primeiro
155
movimento deste estudo. Das modalidades, qual teria maior capacidade de emitir juízo
de valor de forma mais simples, neutra e distante? A Avalies interna, sua autoavaliação
conduzida por papéis imbricados entre avaliado e avaliador e julgamentos qualitativos
complexos e por vezes contraditórios? A ACG, com a subjetividade inerente ao
avaliador, que por mais distante do avaliado ainda é par deste? Ou o Enade, cujo
resultado se refere ao desempenho do aluno em um teste padronizado? Obviamente o
Enade responde melhor à tríade simplicidade-neutralidade-distância para a atribuição de
um juízo de valor. Ele configura a modalidade mais racional e tecnocrática do Sinaes:
Baseia-se, por isso, no cálculo e na mensuração dos resultados,
desvalorizando os processos e os resultados mais difíceis de
contabilizar, favorece a estandardização, a avaliação externa e a
quantificação, promove a exterioridade e a distância entre avaliadores
e avaliados (Lima, 2012, p. 153).
Destaca-se que o Enade, como teste de desempenho particular (o resultado do
aluno na prova) gera consequências no âmbito coletivo – a regulação do curso e da IES,
em um movimento de indicadores “low para high stakes” sem agregação neste percurso
de qualquer outra fonte de dado ou informação qualitativa.
A Figura 3, que sumariza as relações existentes entre as três modalidades do
Sinaes e seus índices, demonstra esse percurso e expõe a centralidade do Enade como a
modalidade geradora da regulação. O Enade, ao gerar o índice Enade (a nota Enade,
nota padronizada do desempenho do estudante na prova), provoca uma cascata de
indicadores agregados nos quais as outras duas modalidades não intervêm. Tais
indicadores (IDD e CPC), estabelecidos primariamente no âmbito do curso, são
extrapolados para o âmbito institucional (IGC).
Apesar das outras duas modalidades, ACG e Avalies (externa), também gerarem
seus índices, no âmbito do curso (CC) e da IES (CI), tanto um como o outro sofrem
influência dos seus pares advindos do Enade, respectivamente o CPC e o IGC. Esta
influência está materializada na legislação76 relacionada à renovação de curso conforme
o CPC e processo de abertura de novos cursos: dispensa de avaliação in loco (a ACG)
conforme o IGC da IES.
76
ver despacho 281 de 18 de dezembro de 2014 e Instrução normativa número 4 de 31 de maio de 2013.
156
Figura 3 – Relação atual entre as modalidades e seus índices do Sinaes.
Avalies
Interna
Enem
Enade
Relato Institucional
IDD
Enade
Censo ES
Âmbito do curso
Questionário Estudante
ACG
CC
CPC
Conceitos CAPES
Âmbito da IES
IGC
modalidade
Avalies
Externa
CI
índice
insumo
Fonte: o autor
A Avalies e sua componente interna, o processo de autoavaliação da IES, tem
seu resultado, o relatório de autoavaliação, sumarizado no relato institucional, a nova77
“funcionalidade” criada para a Avalies a fim de justificar sua existência no sistema. Sua
influência é discutível, tendo em vista que a opinião do avaliador externo na ACG ou na
Avalies externa não necessariamente precisa ser modificada pelo relato da CPA. E
mesmo que isto aconteça e que a Avalies interna possa ser considerada na ACG, o
resultado desta última, o CC, continua sendo influenciado pelo CPC, tanto pelo fato
exposto acima quanto por sua publicidade, ampla na mídia, ao contrário do CC.
Nestes dez anos o percurso do Sinaes em direção à racionalidade técnica –
simplificação da diversidade da avaliação, suposta neutralidade advinda de juízos de
valor baseados em indicadores quantitativos e distância do contexto educacional local –
77
O relato institucional data de 2014.
157
levou à minimização da dimensão qualitativa da avaliação e de sua análise como
processo, ou seja, da Avalies e da ACG. Elevou-se então à dimensão mensurável e
pontual do produto final: o desempenho do estudante no Enade.
Como se processa a avaliação do ensino superior português, no qual o exame de
desempenho é ausente? Que similaridades e diferenças podem ser observadas entre os
dois sistemas?
Em contraste ao Sinaes, dependente em alto grau de seu exame de desempenho, o
sistema de avaliação português prescinde de um exame deste tipo. Neste a modalidade
de avaliação por pares (a ACG do Sinaes) é central no processo. Esta é precedida por
uma autoavaliação, disponibilizada aos avaliadores antes da visita in loco para que estes
possam atribuir seu próprio valor aos aspectos avaliados. O processo é similar ao que
ocorre na ACG, com a diferença que esta não conta com uma avaliação prévia
propriamente dita no âmbito dos cursos de graduação. Esta avaliação, considerada pela
pelo sistema como autoavaliação, tem seu processo estabelecido a priori por um
conjunto padrão de indicadores por ela estabelecida, e somente estes indicadores podem
ser utilizados no processo de avaliação. Devido à impossibilidade de eleição, por parte
da própria instituição, dos aspectos a serem avaliados, esta avaliação é mais
apropriadamente uma avaliação interna do curso do que uma autoavaliação.
Outra distinção do sistema português frente ao brasileiro é que no primeiro
inexiste a autoavaliação no nível institucional como uma modalidade distinta. Os
aspectos institucionais são avaliados (ou não) nos processos de avaliação interna dos
cursos. Em contrapartida, a adoção de um sistema interno de garantia de qualidade dos
cursos pela IES, com consequente avaliação interna contínua, pode acarretar a
substituição da avaliação externa dos cursos pela auditoria externa do sistema de
garantia de qualidade. Neste caso a própria IES faz sua avaliação de cursos e a avaliação
externa faz somente a avaliação deste sistema interno de avaliação. Este movimento
ainda está em desenvolvimento em Portugal e ocorre em maior ou menor grau em
outros países da União Europeia.
Apesar das distinções na operacionalização, os sistemas compartilham a
necessidade de indicadores minimamente mensuráveis, comparáveis e, por isso,
158
padronizados. Os sistemas adotam critérios mínimos para funcionamento dos cursos e
IESs. Também compartilham a ideia de que a distância entre avaliador e avaliado
qualifica o processo.
Na percepção dos pesquisadores portugueses, a diferença mais notória entre os
sistemas, a presença do Enade no Sinaes, é vista como um ponto negativo, devido à
impossibilidade de se avaliar um processo por meio de um resultado mensurado ao final
deste. Além disso, a presença de um exame de estudantes concluintes pode limitar a
prática docente no que se refere à escolha dos conteúdos.
Quanto aos referenciais dos sistemas de avaliação, a visão é de que ambos se
valem de pressupostos tecnocráticos e produtivistas, estabelecidos à semelhança do
âmbito empresarial.
Quantificação, uniformização, comparação e divergência
competitiva são palavras-chave nos dois sistemas.
O processo de autoavaliação é visto como fundamental para qualquer sistema,
seja no âmbito do curso ou institucional. A percepção é de que em ambos os sistemas a
autoavaliação está conformada a um processo externo: na A3ES pela vinculação dos
indicadores de avaliação aos da avaliação externa; no Sinaes ela não é considerada no
processo de regulação, que se utiliza da avaliação externa e, para a maioria dos cursos,
do exame de desempenho do estudante.
Quanto às consequências da regulação na vida acadêmica, os sistemas
apresentam mais similaridades do que diferenças. A consequência considerada mais
positiva foi a autorregulação institucional na oferta de cursos, estimulada após a
implantação dos sistemas. No entanto, existe preocupação no que se refere à mudança
de perfil acadêmico para um perfil administrativo, tendo em vista o aumento destas
atividades, necessárias ao processo regulatório. Outro aspecto é a padronização de
metodologias e conteúdos no âmbito dos cursos. Institucionalmente, foi apontado o
perigo das IESs criarem representações de si mesmas como resposta ao mecanismo de
regulação.
159
Quão justificável é o papel central do Enade no Sinaes? Quão generalizável é o seu
principal índice derivado, o Conceito Preliminar de Curso – CPC, como indicador de
qualidade dos cursos de graduação brasileiros?
No Enade, a modalidade principal geradora dos índices do sistema, tem o CPC,
como central (a Figura 3 explicita esta posição). Este é calculado com base em dois
pressupostos:
1. O desempenho dos estudantes tem relação direta (e linear) com a titulação e
regime de trabalho do corpo docente e com a percepção dos alunos quanto à
presença de equipamentos para aulas práticas e completude dos planos de
ensino.
2. Esta relação é homogênea para o universo da Educação Superior brasileira,
independentemente da área do curso, da região em que a IES está localizada,
bem como de sua organização acadêmica ou categoria administrativa.
O exame desta relação para o triênio 2008-2010 do Enade evidenciou que o
pressuposto 1 é atendido para a maioria das 55 áreas estudadas; mas em onze áreas não
foi observada significância para o Enade contínuo; e 18 das 55 áreas para o IDD. Em
relação aos insumos, a nota de Doutores e a nota da Infraestrutura se destacaram como
os mais frequentes, enquanto que a nota de Mestres foi o insumo menos ocorrente. Esta
frequência foi fortemente vinculada à área, contrariamente ao pressuposto 2. Também
foram observadas diferenças entre as regiões federativas, organizações acadêmicas e
categorias administrativas. Os resultados apontam que a estrutura de relações subjacente
à construção do CPC tem mais propriedade para as Universidades Privadas, quando
considerada a Região Sul, e para as Universidades Públicas do Sudeste, isso para
algumas áreas avaliadas e não para todo o conjunto de áreas.
Conclui-se que o CPC não pode ser utilizado como único indicador de qualidade
dos cursos de graduação. Os resultados mostraram um panorama complexo que precisa
ser examinado em detalhe, de forma que o indicador CPC possa ser avaliado
qualitativamente dentro do contexto em que foi produzido. Isso significa introduzir na
avaliação do CPC as demais variáveis, e especificamente aquelas relacionadas ao
contexto da IES, seja por sua localização (a distribuição espacial), seja sua categoria ou
organização. E outras mais que não foram objeto deste estudo.
160
Que possibilidades podem ser divisadas para o Sinaes?
Para o exame das possibilidades do sistema em relação a articulação entre as
modalidades, foram elaborados três cenários que prospectam os próximos anos do
Sinaes. Nestes cenários, a pretensão de retornar ao que originalmente se preconizou para
o sistema foi exercitada em maior ou menor grau.
A proposta original do Sinaes previa uma articulação entre suas três modalidades
de tal forma que o sistema se autorregularia por meio de processos de meta-avaliação
(BRASIL, 20014, p. 112). Na leitura deste documento percebeu-se uma construção
coletiva e madura de um exercício avaliativo que se iniciou com o PARU, teve sua
contraposição no GERES, atingiu uma maturidade no PAIUB e finalmente culminou
com a proposta do sistema. Desta forma, na descrição dos três cenários recorreu-se
sempre que possível ao texto disposto no documento que concebe e regulamenta o
Sinaes.
Visto o Enade ser a principal modalidade do sistema, cada cenário foi concebido
tomando-se como foco central a presença ou ausência do exame de desempenho. No
primeiro cenário, o Enade continua como a principal modalidade do sistema e os
esforços são conduzidos para o seu aprimoramento: sua elaboração, a construção de
seus índices e sua divulgação para a comunidade. No segundo cenário, o Enade é
extinto, e se faz um exercício de aproximação com o modelo de regulação praticado na
comunidade europeia, a partir do estudo produzido no segundo movimento desta tese.
Aqui os esforços se voltam para a ACG e para a Avalies. O terceiro cenário dedica-se a
manter as três modalidades no sistema, e com isso promover uma profunda
reestruturação de todas elas, contemplando as modificações propostas nos dois cenários
anteriores.
CENÁRIO 1 – MANTÉM-SE A RELAÇÃO ATUAL ENTRE AS TRÊS MODALIDADES E APRIMORASE O ENADE
Neste cenário, as duas modalidades do sistema, Avalies e ACG, se mantêm com
suas configurações atuais, e a atenção se volta ao aprimoramento do Enade e dos índices
dele derivados. Espera-se a continuidade dos estudos de indicadores do questionário
socioeconômico do Enade e, consequentemente, a inserção de outros insumos para o
161
cálculo do CPC, que modifica seu nome para Índice de Desempenho do Curso – IDC
para se adequar a sua natureza de índice de desempenho (Figura 4). Aspectos como os
pesos utilizados no índice também são investigados e propostos novos critérios para sua
distribuição. A divisão de tarefas entre Seres, Inep e o recém-aprovado INSAES permite
ao Inep ampliar o número de áreas participantes do Enade, um dos aspectos limitantes
para o uso do Enade como modalidade principal no sistema. O Enade passa a existir
para todas as áreas de graduação brasileiras.
Figura 4 – Relação entre as modalidades e seus índices do Sinaes no Cenário 1.
Avalies
Interna
Enem
Enade
Relato Institucional
IDD
Enade
Censo ES
Âmbito do curso
Questionário Estudante
ACG
CC
IDC
Conceitos CAPES
Área
Contexto regional
Âmbito da IES
IDI
modalidade
Avalies
Externa
CI
índice
insumo
Fonte: o autor
Estudos são iniciados para adequar o novo Índice de Desempenho do Curso IDC à diversidade institucional nacional, principalmente na atribuição de pesos
diferenciados conforme a região federativa, a organização acadêmica ou a categoria
administrativa. Os insumos do corpo docente são ponderados de acordo com a
162
organização acadêmica, com peso maior para as universidades do que para as demais
organizações.
Os novos insumos de Organização Didático-Pedagógica e Infraestrutura também
apresentam pesos diferenciados conforme o tipo da IES. Porém, mais que isso, como o
IDC mantém seu algoritmo composicional, os dois insumos se tornam mais complexos
de forma a abranger minimamente sua natureza multivariada 78 . Desta forma várias
questões do questionário socioeconômico são criadas e reformuladas para atender a
estes dois insumos.
Outros aspectos como a forte presença da extensão, da modalidade a distância e
da integração com o mercado profissional no perfil institucional também são
considerados no cômputo do índice.
Devido às mudanças no Índice de Desempenho do Curso - IDC, o Índice Geral
de Cursos - IGC também sofre modificações e destas, a maior se refere à distinção do
cálculo do IGC conforme a organização acadêmica. As Universidades mantêm o cálculo
atual, que privilegia as IESs com maior percentual dedicado à pós-graduação. Demais
organizações como os Centros Universitários, Institutos e Faculdades contam com uma
construção diferenciada do índice. O IGC é renomeado para Índice de Desempenho
Institucional - IDI devido a agregação dos índices de desempenho dos cursos stricto
sensu advindos da Capes.
As provas do Enade se aprimoram para se adequar à diversidade das IESs e à
flexibilidade curricular. O banco de itens do Enade cresce para se aproximar da sua
proposta de atender às diretrizes curriculares nacionais dos cursos de graduação.
Estudos são iniciados para que as médias brutas do desempenho possam ser
comparáveis entre as áreas e, assim, possibilitarem a adoção de um critério mínimo de
desempenho, modificando a atual estrutura normalizada em que o exame se baseia.
A publicação dos resultados do Enade e dos índices dele derivados modifica-se
com a diversificação dos cálculos dos índices. O órgão responsável pela publicação
investe na divulgação para o público não especializado das diferenças vocacionais das
78
Em 2013 esse movimento já foi iniciado, com a adoção de um conjunto de questões acerca da
Infraestrutura Física e Organização Didático-Pedagógica do curso como componentes do insumo,
provindas do questionário socioeconômico do Enade.
163
IESs, como auxílio para a melhor escolha conforme o projeto pessoal. Os índices nota
Enade, IDD e IDC são publicados em conjunto e distinguidos de forma clara,
informando ao público o que cada um deles indica e, principalmente, o que deixa de
indicar.
CENÁRIO 2 – MANTÊM-SE AS MODALIDADES ACG E AVALIES E EXTINGUE-SE O ENADE
Neste cenário o Sinaes abandona o exame de desempenho e aprimora suas duas
outras modalidades, se aproximando do modelo de avaliação e acreditação europeu. Os
procedimentos e instrumentos utilizados no ARCU-SUL, similares ao europeu, são
integrados, em menor ou maior grau, no processo da ACG, e as instituições passam a
contar com um processo prévio de autoavaliação dos cursos para posterior avaliação
externa. Da mesma forma que o Enade se diversificou para atender às diferenças
institucionais, neste os instrumentos da ACG também se modificam de acordo com os
aspectos mencionados no primeiro cenário.
No âmbito da Avalies interna, a Comissão Própria de Avaliação – CPA modifica
seu papel, e se torna um organismo central na IES que articula as Comissões de
Autoavaliação do Curso – CACs. Esta função é assumida pelo Núcleo Docente
Estruturante, ou pelo Colegiado do Curso, ou por uma comissão mista. Amplia-se a
participação dos alunos.
O instrumento de autoavaliação é idêntico ao instrumento de avaliação externa79
e os resultados desta autoavaliação são submetidos à meta-avaliação pela CPA (ou
Comissão Central de Avaliação – CCA, como disposto no documento original do
Sinaes). Após o endosso da CPA, o documento é submetido à plataforma do MEC que o
disponibiliza à comissão externa da ACG (Figura 5).
Neste cenário, a inexistência do Enade, aliada à rejeição aos índices hoje
utilizados para a regulação, leva o governo a abandonar a escala ordinal de um a cinco
para a publicação do Índice de Curso - CC. Este conceito é substituído por uma
certificação categórica do tipo “cumpre”, “não cumpre”, ou pela vinculação do
reconhecimento/renovação de curso por períodos diferenciados. Neste caso a
79
Como ocorre com o modelo europeu e o praticado pelo ARCU-SUL.
164
certificação (ou acreditação caso o termo seja adotado) ocorreria em três possibilidades
ao invés de duas: cumpre plenamente, com certificação por seis anos; cumpre com
restrições, certificação por três anos e não cumpre, sem certificação. No último caso,
similar ao que ocorre no sistema atual, o curso passa por processo de supervisão.
Figura 5 – Relação entre as modalidades e seus índices do Sinaes no Cenário 2.
Avalies
Interna
Âmbito do curso
ACG
Certificação
curso
Avalies
Interna
Âmbito da IES
Avalies
Externa
Certificação
IES
Fonte: o autor
À CPA (ou CCA) caberá produzir um relatório geral de autoavaliações que
integra as análises realizadas nos relatórios de curso com a avaliação geral da IES. Da
mesma forma que na ACG, esta autoavaliação é submetida à comissão externa da
165
Avalies. Nos casos das IESs multicampi, cada unidade passa a contar com uma
comissão setorial de avaliação80 (CSA), conforme se pretendeu na proposta do sistema:
Recomenda-se que cada instituição constitua uma Comissão Central
de Avaliação (CCA), vinculada ao conselho ou órgão colegiado
superior, que representará a instituição em matéria de avaliação. De
acordo com as características estruturais de cada IES, podem criadas
também comissões setoriais de avaliação (CSA) (BRASIL, 2004, p.
106).
A evolução deste cenário poderia culminar em uma “divisão de tarefas” entre os
órgãos governamentais e possíveis agências avaliadoras independentes, que passariam a
realizar o papel da ACG. Neste cenário também se poderia admitir a presença das
agências não governamentais na Avalies externa, ou ainda, similarmente ao processo
europeu, as próprias IESs passariam a realizar o papel da ACG, por meio de sistemas de
garantia de qualidade. Neste caso avaliação externa ocorreria somente em relação a
estes sistemas. Se este procedimento fosse realizado por “agências certificadoras” destes
sistemas internos de garantia, caberia ao INSAES somente a auditoria das agências de
avaliação.
CENÁRIO 3 – MANTÊM-SE E APRIMORAM-SE AS TRÊS MODALIDADES
Neste cenário, todas as ações propostas para os anteriores são executadas,
aumentando a complexidade das relações entre as modalidades em uma tentativa de
retorno dos pressupostos originais adotados pelo sistema, conjugando:
[...] os dois modelos de avaliação: a avaliação formativa, de caráter
educativo, com o intuito de radiografar o funcionamento da IES,
apontando os seus pontos fortes e fracos, permitindo, assim, o
aprimoramento contínuo do seu trabalho; e a avaliação regulatória, ou
somativa, com o intuito de verificar as condições de funcionamento da
IES, exigindo um padrão mínimo de qualidade para a sua permanência
no Sistema Federal de Ensino Superior. (RIBEIRO, 2015, p. 157).
A manutenção do Enade e dos índices de desempenho implica na utilização de
índices nas demais modalidades. A Avalies interna torna-se a modalidade central no
80
E neste caso pelo menos um membro de cada uma das CSA deverá compor a CCA.
166
sistema, tanto no âmbito do curso quanto no da instituição. No documento original do
Sinaes a Avalies é considerada como ponto de partida do processo de avaliação:
O ponto de partida dos processos que constituem o sistema avaliativo
situa-se em cada instituição de educação superior. De acordo com
lineamentos gerais e indicadores comuns, propostos mais adiante, e de
outras decisões específicas, cada instituição realizará uma autoavaliação, que se completa a cada três anos, e que será o primeiro
instrumento a ser incorporado ao conjunto de instrumentos
constitutivos do processo global de regulação e avaliação. (BRASIL,
2004, p. 103).
Neste cenário a Avalies interna se torna também um ponto de retorno do
processo (e não seu ponto final), no qual os índices de desempenho do Enade e aquele
derivado da ACG passam a ser fonte primária para o processo de autoavaliação.
Esta autoavaliação contém um conjunto de indicadores padrão com a ACG de
forma a possibilitar um contraste de ambas as visões, interna e externa, mas estabelece
indicadores específicos ao contexto da IES, que também são considerados pela ACG
com peso idêntico ao conjunto padrão, configurando-se em um retorno à proposta
original do Sinaes:
A auto-avaliação articula vários instrumentos:
a) um auto-estudo segundo o roteiro geral proposto em nível nacional,
acrescido de indicadores específicos, projeto pedagógico,
institucional, cadastro, censo; e
b) o novo instrumento, o Paideia (BRASIL, 2004, p 104).
A Figura 6 sumariza as novas relações e os novos índices estabelecidos neste
cenário.
167
Figura 6 – Relação entre as modalidades e índices do Sinaes no Cenário 3.
Enem
Enade
IDE
IDD
Censo ES
Avalies
Interna
CIC
Questionário Estudante
Âmbito do curso
IDC
CGC
Conceitos CAPES
ACG
CEC
Avalies
Interna
IDI
CGI
Âmbito da IES
CII
CEI
modalidade
Avalies
Externa
índice
insumo
Fonte: o autor
Na figura observa-se que todos os índices derivados do Enade são mantidos. A
nota contínua Enade é renomeada para Índice de Desempenho do Estudante - IDE.
Deste índice é agregado o ENEM para gerar Índice de Diferença entre Desempenho
observado e esperado - IDD, e por meio dos demais insumos o Índice de Desempenho
do Curso – IDC. O IDC fornece indicação para Avalies interna, que se utiliza dos
resultados do desempenho no seu processo avaliativo. Por meio de suas comissões de
168
autoavaliação de curso - CACs, gera-se um indicador para cada curso ao final do seu
relatório de autoavaliação de curso, o Conceito Interno do Curso – CIC. Ambos, IDC e
CIC, são considerados no processo de avaliação externa conduzida pela ACG, que ao
final do processo gera o Conceito Externo do Curso – CEC. Tem-se então o curso
composto por três indicadores distintos: um devido ao desempenho dos estudantes, o
IDC; outro devido à avaliação interna, o CIC, que contém o juízo qualitativo do IDC e o
terceiro advindo da avaliação externa, o CEC, que contém juízos relativos tanto ao IDC
quanto ao CIC. Os três indicadores poderão (ou não) compor um Conceito Geral do
Curso - CGC. De qualquer forma, neste cenário todos os indicadores e suas dimensões
de origem são publicados separadamente81, a fim de que o público não especializado
consiga discernir o que provém do desempenho, daquilo que é interno da IES e do que é
da avaliação dos pares. Caso se adote o Conceito Geral do Curso - CGC, este poderá ser
calculado com base em regras de inclusão e exclusão, como, por exemplo: o CGC
somente é gerado no caso de os três índices que o compõem diferirem em um valor
máximo. Esse procedimento resguarda o índice de um cálculo mediano espúrio, no caso
de grande divergência entre os três indicadores.
A relação exposta para as três modalidades no âmbito do curso tem paralelo na
instituição. A média ponderada do IDC é utilizada para o cálculo do Índice de
Desempenho Institucional - IDI, à semelhança do que hoje ocorre com o CPC e o IGC.
Tanto em um quanto em outro destes novos índices, o termo “desempenho” foi
preferido aos termos atuais, “preliminar” e “índice geral de cursos”, com o intuito de
reforçar ao público a relação destes índices com o desempenho dos estudantes,
considerando ser este o componente principal no cômputo dos índices, mesmo que a ele
sejam agregados os demais insumos E mesmo estes, Corpo Docente, Infraestrutura e
Organização Didático-Pedagógica, da forma como são produzidos, podem ser
considerados indicadores de desempenho82., mais do que indicadores de qualidade do
curso.
No caso do CPC, a presença do termo “preliminar” traz a ideia de que em um
momento posterior ele será transformado, o que na prática não ocorre, já que o CPC se
mantém como CPC mesmo com a atribuição de um CC ao mesmo curso. Essa
81
Com súmulas textuais indicando os aspectos que constituíram o valor do índice.
Se o termo desempenho for identificado a características relativas a determinada expectativa
predefinida, podemos considerar todos os insumos como indicadores de desempenho.
82
169
característica, no limite, leva a distorções nos dois índices, já que um mesmo curso
poderá ter CC igual a cinco e CPC igual a um (os extremos da faixa), confundindo
aquele que pretende se valer de tais índices como auxiliares em uma tomada de decisão,
como, por exemplo, na escolha de um curso de determinada IES.
Quanto ao Índice Geral de Cursos - IGC, o termo não é forte o suficiente para
remeter à sua natureza institucional. Tem-se a ideia de que ainda está a se referir ao
âmbito da graduação o que, na verdade, não ocorre, pois os conceitos dos cursos de pósgraduação lato sensu são agregados ao índice. Como os conceitos da Capes também são
índices derivados de desempenho, e não somente do curso per si, mas da produtividade
docente e discente (ou seja, desempenho!) torna-se mais adequado o termo desempenho
institucional.
O Conceito Interno Institucional – CCI é produzido pela Comissão Central de
Avaliação – CCA, com base nos conceitos internos de cada curso e das avaliações
globais realizadas pela Comissão de Autoavaliação de Curso - CAC. Este indicador,
diferentemente do IDO, agrega não somente o desempenho institucional, avaliado
qualitativamente pela CCA, mas outros indicadores que, no entendimento da CCA,
permitem a visão global da IES. Atende-se com isso outro princípio da proposta original
do Sinaes:
Os processos avaliativos precisam construir a globalidade e a
integração relativamente aos sujeitos e ao objeto. A redução do
fenômeno complexo e multidimensional da avaliação a um só ou a
poucos de seus aspectos, sem articulação, traz o risco de passar a idéia
de que a avaliação se reduz a cada um desses instrumentos, em geral
dedicados a medir, quantificar e comparar. A repetição dessa prática
acaba criando uma cultura que desfigura a avaliação, reduz as dúvidas,
ambiguidades e inovações a favor do simplismo do certo ou errado.
(BRASIL, 2004, p. 91)
Por isso é fundamental que a Avalies interna disponha de um conjunto amplo de
indicadores que possam ser analisados em sua natureza quantitativa, e com isso auxiliar
o processo qualitativo maior da avaliação. Tal exame obriga a Avalies interna a se valer
dos resultados do desempenho dos estudantes e dos cursos stricto sensu para incluí-los
em sua autoavaliação. Mas não somente isso. Em dez anos de Sinaes, a atuação das
CPAs tem se limitado (referindo-se àquelas que em dez anos apresentam uma estrutura
funcional) a utilizar de instrumentos de pesquisa de percepção de alunos, egressos,
docentes, funcionários e comunidade externa para sua atividade de avaliação. E com
170
isso deixam de utilizar diversas outras fontes de informação e dados como pontos
iniciais de análise: rendimento acadêmico, às estatísticas de uso do acervo, às
estatísticas de bolsas e financiamentos, às avaliações internas dos projetos pedagógicos
dos cursos, às produções científica, técnica e extensionista, e tantas outras informações
que podem ser avaliadas no cotidiano institucional e que independem de um
instrumento de pesquisa de opinião. Este, em princípio, deveria ser utilizado na
prospecção de necessidades e no contraste da percepção em relação aos serviços
educacionais. Exemplo: dados que mostram que um expressivo percentual do alunado é
contemplado com bolsas de estudo, mas, no entanto, a pesquisa de percepção indica
que, na opinião do aluno, a IES disponibiliza poucas bolsas de estudos. Neste contraste
é possível inferir que é a política de comunicação institucional que necessita de ajustes e
não a política de bolsas. Este é um exemplo que mostra que tais pesquisas não podem
ser utilizadas como o instrumento principal de avaliação. Ao que parece, as IESs
brasileiras, tanto refutam a ideia de que somente os resultados de um exame
desempenho possam ser o indicador de qualidade de si próprias, como fazem o mesmo
quando, paradoxalmente, elegem as pesquisas de opinião como seu principal
instrumento de avaliação.
Desta forma é fundamental que a Avalies interna se qualifique para realizar a
complexa e ampla tarefa de autoavaliação. As comissões de avaliação têm que
forçosamente compreender em profundidade a construção dos diversos índices do
sistema. E felizmente elas têm essa condição, pois existem no seio de uma instituição
que bem mais que outras, têm disponíveis profissionais para tal tarefa. Além do exame
dos resultados produzidos pelas outras duas modalidades, a Avalies tem a tarefa de
produzir indicadores específicos que reflitam o contexto da IES, complementando os
indicadores comuns a todas as IESs brasileiras:
No desenho da regulação e da avaliação, cada instituição deveria
submeter-se ao cumprimento das normas oficiais e aos critérios,
indicadores e procedimentos gerais, porém, ao mesmo tempo,
exercitar sua liberdade para desenvolver, no que for possível e
desejável, processos avaliativos que também correspondam a
objetivos e necessidades específicos. Além disso, a avaliação deve
servir de instrumento para aumentar a consciência sobre a identidade
e, portanto, as prioridades e potencialidades de cada instituição em
particular. (BRASIL, 2004, p. 90).
171
Com isso a Avalies interna passa a apresentar condições de produzir
informações, análises e juízos de valor suficientes para que a ACG tenha visões
relevantes do contexto da IES, as quais lhe são impossíveis de perceber no curto prazo
que tem para seu processo de avaliação. Em contrapartida, a avaliação externa presta
um importante serviço para a Avalies:
O exame de fora para dentro pode corrigir eventuais erros de
percepção produzidos pela adesão espontânea dos agentes internos,
muitas vezes acostumados acriticamente às rotinas e mesmo aos
interesses corporativos (BRASIL, 2004, p.103).
A avaliação externa, a partir do seu instrumento de avaliação que contém
indicadores em comum com o instrumento interno da Avalies, e de posse de indicadores
internos que contextualizam a IES, construídos livremente pela Avalies, sintetiza seu
juízo de valor no Conceito Externo Institucional - CEI, que desta forma contém em si
uma meta-avaliação da autoavaliação que gerou o Conceito Interno Institucional - CII, e
este por sua vez conta com o CEI como subsídio à sua construção, conforme exposto na
proposta do Sinaes:
As ações da avaliação interna e externa devem realizar-se de forma
combinada e complementar, em ambas devendo haver plena liberdade
de expressão e comprometimento com a busca do rigor e da justiça
(BRASIL, 2004, pp.102-103).
Os três indicadores, CDI, CII e CEI são publicados de forma similar àqueles do
âmbito do curso e podem constituir o Conceito Geral Institucional – CGI, caso tenham
coerência entre si.
Neste cenário e no anterior, o Sinaes poderia ou não evoluir para um sistema em
que a ACG acabe por se transformar em uma auditoria externa, ou seja, a ACG avaliaria
a atuação da Avalies. À Avalies caberia avaliar os cursos e a ACG avaliaria a avaliação
da Avalies. Reconhece-se que a diversidade, expressa pelo conjunto comum de
indicadores institucionais e por outro específico da IES traz consigo vantagens, mas
aumenta a complexidade da avaliação. Um voto de confiança precisa ser dado à Avalies
quando esta elabora critérios de avaliação específicos, que não podem ser aplicados na
mesma medida em outras IESs. Em contrapartida, as IESs envidariam esforços na
constituição de um órgão avaliativo que tenha condições de realizar uma autoavaliação
rigorosa e aberta à crítica externa.
172
Na publicação dos resultados, da mesma forma que na avaliação dos cursos,
súmulas (uma lauda?) qualitativas das avaliações conduzidas pela ACG e Avalies
acompanhariam os indicadores. Tais súmulas, elaboradas em linguagem acessível ao
público, conteriam, na visão da IES (junto ao Conceito Interno Institucional - CII) e da
avaliação externa (Conceito Externo Institucional - CEI), referências aos pontos fortes
da IES, aos aspectos considerados somente suficientes e aos que necessitariam de
aprimoramentos, fornecendo informações básicas para a escolha de um curso de
graduação em uma IES.
Estes três cenários expõem as possibilidades antevistas durante a consecução
deste estudo. Espera-se que estas, mesmo que consideradas utópicas, por sua proposta
de subordinação do elemento quantitativo ao caráter qualitativo, sejam consideradas e
avaliadas pelos pesquisadores da área, gestores do governo e das IESs brasileiras, em
um esforço conjunto e continuado para uma Educação Superior reconhecida pela
sociedade.
Recorro à primeira pessoa para finalizar este estudo com uma consideração
particular: se as proposições aqui expostas pareceram utópicas é porque considero que a
utopia faz parte da missão da Universidade. Penso que é fundamental refletir sobre a
ideia de que a educação é um esforço individual, coletivamente produzido, mas
essencialmente individual para superação de limitações na busca de utopias. Em nossa
sociedade atual, a tecnologia tem reduzido cada vez mais o tempo de esforço humano
nas tarefas. Manter-se no conhecimento útil, com resultados concretos e quantificáveis
implica seres humanos que não julgam mais necessário o esforço de superação de algo
que não tem um fim observável. Significa menos aspiração e uma imaginação
circunscrita ao prático, em uma direção que apequena o conceito de humanidade.
173
REFERÊNCIAS
AFONSO, A. J. Avaliação educacional: regulação e emancipação. São Paulo: Cortez,
2000.
______. Reforma do Estado e políticas educacionais: entre a crise do estado-nação e a
emergência da regulação supranacional. Educ. Soc., Campinas, v.22, n.75, p.15-32,
ago. 2001.
______. Estado, globalização e políticas educacionais: elementos para uma agenda de
investigação. Revista Brasileira de Educação, n. 22, p. 35-46, jan.-abr. 2003.
______. Políticas avaliativas e accountability em educação – subsídios para um debate
iberoamericano. Sísifo - Revista de Ciências da Educação, Lisboa, n. 9, p.57-70,
mai./ago. 2009.
______. Protagonismos instáveis dos princípios de regulação e interfaces público/
privado em educação. Educ. Soc., Campinas, v.31, n.113, p.1137-1156, out.-dez. 2010.
______. Ensaio sobre a Accountability no Ensino Superior em Portugal (1976-2013):
Discursos, formas parcelares e modelo atual. In: SOUSA, José Viera de (org.).
Educação Superior: cenários, impasses e propostas. Campinas: Autores Associados,
2013a. pp. 13-60
______. Mudanças no Estado-avaliador: comparativismo internacional e teoria da
modernização revisitada. Revista Brasileira de Educação, Rio de Janeiro, v. 18, n. 53,
p. 267-284, 2013b.
AFONSO, A. J.; RAMOS, E. V. O Estado-nação, educação e cidadanias em transição.
Revista Portuguesa de Educação, v. 20, n.1, p. 77-98, jan. 2007.
AGÊNCIA NACIONAL DE AVALIAÇÃO E ACREDITAÇÃO DO ENSINO
SUPERIOR (A3ES). Manual de Avaliação. A3ES Versão 1.1 de maio de 2013, 59 pp.
ALMEIDA Jr., V. P.; CATANI, A.M. Algumas características das políticas de
acreditação e avaliação da educação superior da Colômbia: interfaces com o Brasil.
Avaliação, Campinas; Sorocaba, SP, v.14, n.3, p. 561-582, nov. 2009.
AMARAL, A.; MAGALHÃES, A. O conceito de stakeholder e o novo paradigma do
ensino superior. Revista Portuguesa de Educação, v.13, n.2, p. 7-28, 2000.
BABBIE, E. Métodos de pesquisa de survey. Belo Horizonte: Ed. da UFMG, 1999.
519 p.
BALL, S. Sociologia das políticas educacionais e pesquisa crítico-social: uma revisão
pessoal das políticas educacionais e da pesquisa em política educacional. Currículo
sem Fronteiras, v.6, n.2, p.10-32, jul./dez. 2006.
______. Performatividades e fabricações na economia educacional: rumo a uma
sociedade performativa. Educação e Realidade, v.35, n.2, p.337-55, maio/ago. 2010.
174
______. Global education inc.: new policy networks the neo-liberal imaginary.
Routledge: London/New York, 2012. 163 p.
BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011, 288 p.
BARREYRO, G. B.; ROTHEN, J. C.. “Sinaes” contraditórios: considerações sobre a
elaboração e implantação do Sistema Nacional de Avaliação da Educação Superior.
Educ. Soc., Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.
______.; ______. Para uma história da avaliação da Educação Superior Brasileira:
análise dos documentos do Paru, Cnres, Geres e Paiub. Avaliação, Campinas;
Sorocaba, SP, v.13, n.1, p.131-152, mar. 2008.
BARREYRO, G. B.; LAGORIA, S. L.; HIZUME, G. C. As Agências Nacionais de
Acreditação no Sistema ARCU-SUL: primeiras considerações Avaliação, Campinas;
Sorocaba, SP, v. 20, n. 1, p. 49-72, mar. 2015.
BITTENCOURT, H. R.; CASARTELLI, A. O.; RODRIGUES, A. C. M. Sobre o índice
geral de cursos (IGC). Avaliação, Campinas; Sorocaba, SP, v.14, n.3, p.667-682, nov.
2009.
BRASIL. Comissão Nacional de Avaliação. Avaliação das universidades brasileiras:
uma proposta nacional. Documento Básico. Brasília, nov. 1993.
______. Secretaria de Ensino Superior. Programa de Avaliação Institucional das
Universidades Brasileiras. MEC/SESu. Brasília: SESu, 1994.
______. Decreto nº 3.860, de 9 de julho de 2001. Dispõe sobre a organização do ensino
superior, a avaliação de cursos e instituições, e dá outras providências. D.O.U, Brasília,
DF, 10.07.2001. Seção 1 - Eletrônico, p. 2. Disponível
em:<http://www2.camara.gov.br/legin/fed/decret/2001/decreto-3860-9-julho-2001342382-publicacaooriginal-1-pe.html>. Acesso em: 28 fev. 2012.
______. Sinaes – Sistema Nacional de Avaliação da Educação Superior: da concepção à
regulamentação. [Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
Teixeira]. 2. ed. ampl. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais
Anísio Teixeira, 2004. 155 p.
______. Lei nº10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação
da Educação Superior- Sinaes, e dá outras providências. D.O.U., Brasília: 15 abr. 2004.
______. Presidência da República. Decreto nº 5.773, de 9 de maio de 2006. Dispõe
sobre o exercício das funções de regulação, supervisão e avaliação de instituições de
educação superior e cursos superiores de graduação e seqüenciais no sistema federal de
ensino. D.O.U, Brasília, DF, 10 maio 2006. p.6, c.1. Disponível em:
<http://www.planalto.gov.br/CCIVIL/_Ato2004-2006/2006/Decreto/D5773.htm>.
Acesso em: 22 de setembro de 2013.
______. Ministério da Educação e Cultura. Portaria Normativa MEC nº 4, de 5 de
agosto de 2008. D.O.U, Brasília, DF, 06 ago. 2008, republicada em 07 ago. 2008.
175
______. Ministério da Educação e Cultura. Instituto Nacional de Pesquisas
Educacionais Anísio Teixeira. Manual dos indicadores de qualidade 2011. Disponível
em:
<http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/manual_in
dicadores_qualidade_edu_superior_2011.pdf>. Acesso em: 14 de março de 2013.
______. Ministério da Educação e Cultura. Instituto Nacional de Pesquisas
Educacionais Anísio Teixeira. Nota Técnica nº 029, de 15 de outubro de 2012.
Disponível em:
<http://download.inep.gov.br/educacao_superior/Enade/notas_tecnicas/2011/nota_tecni
ca_indicadores_2011_2.pdf.>. Acesso em: 14 de março de 2013.
______. Ministério da Educação e Cultura. Secretaria de Regulação e Supervisão da
Educação Superior. Instrução Normativa nº 4, de 31 de maio de 2013. D.O.U nº 104,
Brasília, DF, 03 jun. 2013, Seção 1, p. 11.
______. Lei nº 12.821, de 12 de novembro de 2013. Dispõe sobre a definição,
qualificação, prerrogativas e finalidades das Instituições Comunitárias de Educação
Superior - ICES, disciplina o Termo de Parceria e dá outras providências. D.O.U.,
Brasília: 13 nov. 2013. Edição extra.
CABRITO, B. G.. O financiamento do ensino superior em Portugal: entre o Estado e o
mercado. Educ. Soc., Campinas, v. 25, n. 88, p. 977-996, Especial - out. 2004.
CERDEIRA, L. Ensino Superior em Portugal, que futuro? Estudar no Ensino Superior
em Portugal vai ser só para alguns? Alguns dados sobre o Ensino Superior em Portugal.
Mesa redonda/Debate. Disponível em:
<http://www.gracacarvalho.eu/xms/files/ACTIVIDADE_EM_PORTUGAL/OUTRAS_
ACTIVIDADES/2013/2_01-02-2013_UL/SiteMesaRedondaEnsinoSuperiorQueFuturo1Fev2013_LC.pdf>. Acesso em: 20 jan. 2015.
CONTERA, C. Modelos de avaliação da qualidade da educação superior. In: DIAS
SOBRINHO, J.; RISTOFF, D. (Org.). Avaliação democrática: para uma universidade
cidadã. Florianópolis: Insular, 2002. p. 119-144.
CRESWELL, J. W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 3.
ed. Porto Alegre, RS: SAGE, 2010. 248 p.
DEVORE, J. L. Probabilidade e estatística para engenharia e ciências. São Paulo:
Pioneira, Thompson Learning, 2012. 692 p.
DIAS, M. A. R. Dez anos de antagonismo nas políticas sobre ensino superior em nível
internacional. Educ. Soc., Campinas, v.25, n.88, p. 893-914, Especial out. 2004.
DIAS SOBRINHO, J. Avaliação da Educação Superior. Petrópolis: Vozes, 2000.
______. Avaliação: políticas educacionais e reformas da Educação Superior. São Paulo:
Cortez, 2003.
______. Avaliação como instrumento de formação cidadã e do desenvolvimento da
sociedade democrática: por uma ético-epistemologia da avaliação. Educação Superior
em Debate, Brasília, v.1, p.15-38, 2005.
176
______. Democratização, qualidade e crise da Educação Superior: faces da exclusão e
limites da inclusão. Educ. Soc., Campinas, v.31, n.113, p. 1223-1245, out.-dez. 2010.
DOURADO, L. F. Reforma do Estado e as políticas para a Educação Superior no Brasil
nos anos 90. Educ. Soc., Campinas, v.23, n.80, p. 234-252, set. 2002.
EMBIRUÇU, M.; FONTES, C.; ALMEIDA, L. Um indicador para a avaliação do
desempenho docente em Instituições de Ensino Superior. Ensaio: aval. pol. públ. Educ.,
Rio de Janeiro, v.18, n.69, p.795-820, out./dez. 2010.
EUROPEAN ASSOCIATION FOR QUALITY ASSURANCE IN HIGHER
EDUCATION. Quality Assurance of Higher Education in Portugal: An Assessment
of the Existing System and Recommendations for a Future System. Helsinki, Finland,
2006.
EUROPEAN UNIVERSITY ASSOCIATION. Improving Quality, Enhancing
Creativity: Change Processes in European Higher Education Institutions. Final Report
of the Quality Assurance for the Higher Education Change. Agenda (QAHECA)
Project. EUA publications, 2009.
GARCIA, M. M. A. Políticas educacionais contemporâneas. Revista Brasileira de
Educação, v.15 n.45, p.445-591, set./dez. 2010.
GEORGEN, P. A crise de identidade da universidade moderna. In: SANTOS FILHO,
J.C.; MORAES, S.E. (orgs.). Escola e Universidade na pós-modernidade. Campinas:
Mercado de Letras, 2000. pp. 101-161.
HAIR, J. F.; ANDERSON, R. E.; TATHAM, R. L.; BLACK, W. C. Análise
Multivariada de dados. 5. ed. Porto Alegre, RS: Artmed: Bookman, 2005. 593 p.
IBGE. Instituto Brasileiro de Geografia e Estatística. Normas de apresentação
tabular. 3. ed. Rio de Janeiro: IBGE, 1993. 62 p.
JEZINE, E.; CHAVES, V. L. J.; CABRITO, B. G. O acesso ao Ensino Superior no
contexto da globalização: os casos do Brasil e de Portugal. Revista Lusófona de
Educação, 18, dec. 2011. Disponível em:<
http://revistas.ulusofona.pt/index.php/rleducacao/article/view/2563/1987. Acesso em:
22 de setembro de 2014.
LAVILLE, C.; DIONNE, J. A construção do saber: manual de metodologia de
pesquisa em ciências humanas. Porto Alegre: Artmed, 1999. 340 p.
LEITE, D. Ameaças pós-rankings sobrevivência das CPAs e da auto-avaliação.
Avaliação, Campinas; Sorocaba, SP, v.13, n.3, p. 833-840, nov. 2008.
LEITE, D.; GENRO, M. E. H. Avaliação e internacionalização da Educação Superior:
Quo vadis América Latina? Avaliação, Campinas; Sorocaba, SP, v.17, n.3, p. 763-785,
nov. 2012.
LEVINE, D. M.; STEPHAN, D.; KREHBIEL, T. C.; BERENSON, M. L. Estatística:
teoria e aplicações usando o Microsoft Excel em português. 3. ed. Rio de Janeiro, RJ:
LTC, 2005. 819 p.
177
LEVY, D. Higher Education and the State in Latin America. Private challenges to
public dominance. Chicago: University of Chicago Press, 1986.
LIMA, L. O paradigma da educação contábil. Revista Brasileira de Educação, n. 4,
p.43-59, jan./fev./mar./abr. 1997.
______. Avaliação, competitividade e hiperburocracia. In: ALVES, M. P.; de KETELE,
J. M (orgs.). Do currículo a avaliação, da avaliação ao currículo. Porto: Editora
Porto, 2011. p.72-82.
______. Elementos de hiperburocratização da administração educacional In: LUCENA,
C. , SILVA JUNIOR, J. R. (orgs.). Trabalho e educação no século XXI: experiências
internacionais. São Paulo: Xamã, 2012. p. 129-158.
______. Investigação e investigadores em educação: anotações críticas. (Fórum de
Investigação em Ciências da Educação). Sísifo - Revista de Ciências da Educação, n.
12, p. 63-72, mai./ago. 2012.
LIMA, L.; AZEVEDO, M. L. N; CATANI, A. O processo de Bolonha, a avaliação da
Educação Superior e algumas considerações sobre a Universidade Nova. Avaliação,
Campinas; Sorocaba, SP, v.13, n.1, p.7-36, mar. 2008.
MAGALHAES, A. M. A transformação do modo de regulação estatal e os sistemas de
ensino. Revista Crítica de Ciências Sociais, n.59, p.125-143, fev. 2001.
______. A identidade do Ensino Superior: a Educação Superior e a Universidade
Revista Lusófona de Educação, n.7, p.13-40, 2006. Disponível em:< http://repositorioaberto.up.pt/bitstream/10216/56387/2/87986.pdf>. Acesso em: 22 de setembro de 2014.
MAGALHAES, A. M.; SANTIAGO, R. Governance, public management and
administration of Higher Education in Portugal. In: AMARAL, A.; NEAVE , G. (eds.),
Higher Education in Portugal 1974-2009. A Nation, a Generation. Dordrecht:
Springer, 2012. p. 227-247.
MICROSOFT CORPORATION Microsoft Office Excel 2007 (12.0.6665.5003) SP3
MSO (12.0.6662.5000) www.microsoft.com. 2006.
NEAVE, G. On the cultivation of quality, efficiency and enterprise: an overview of
recent trends in higher education in Western Europe, 1986-1988. European Journal of
Education, Oxford: Wiley-Blackwell, v. 23, n. 1/2, p. 7-23, 1988.
NEAVE, G. Educación superior: historia y política. Estudios comparativos sobre la
Universidad contemporánea. Barcelona: Editorial Gedisa, 2001. 366 p.
PAIUB. Programa de avaliação institucional das universidades brasileiras. Avaliação,
Campinas, v.1, n.1, p. 54-68, jul. 1996. Documento Básico.
PEDROSA, R. H. L.; AMARAL, E.; KNOBEL, M. Assesing higher education learning
outcomes in Brasil. Higher Education Management and Policy, v.24, p.55-71, 2013.
PEIXOTO, M. C. L. Avaliação institucional externa no Sinaes: considerações sobre a
prática recente. Avaliação, Campinas; Sorocaba, SP, v.16, n.1, p.11-36, mar. 2011.
178
PORTUGAL. Lei nº 38, de 16 de agosto de 2007. Aprova o regime jurídico da
Avaliação do Ensino Superior. Legislação, Lisboa, Portugal, 2007. Disponível em:
<http://www.dges.mctes.pt/NR/rdonlyres/40A12447-6D29-49BD-B6B4E32CBC29A04C/1132/L382007.pdf>. Acesso em: 22 set. 2013.
______. Lei nº 38, de 21 de novembro de 1994. Estabelece as bases do sistema de
avaliação e acompanhamento das instituições do ensino superior. Legislação, Lisboa,
Portugal, 1994. Disponível em: <
http://intranet.uminho.pt/Arquivo/Legislacao/AutonomiaUniversidades/L38-94.pdf >.
Acesso em: 22 set. 2013.
______. Decreto-Lei nº 205, de 11 de julho de 1998. Cria o Conselho Nacional de
Avaliação do Ensino Superior e estabelece as regras gerais necessárias à concretização
do sistema de avaliação e acompanhamento do ensino superior e os princípios a que
deve obedecer a constituição das entidades representativas das instituições do ensino
superior universitário e politécnico, públicas e não públicas . Legislação, Lisboa,
Portugal, 1998. Disponível em: < http://www.ulisboa.pt/wpcontent/uploads/MenuEstudar/Avaliacao_e_Qualidade/Decreto_Lei_205_1998.pdf>
Acesso em: 22 out. 2014.
RIBEIRO, J. L. L. S. SINAES: o que aprendemos acerca do modelo adotado para
avaliação do ensino superior no Brasil. Avaliação, Campinas; Sorocaba, v.20, n.1, p.
143-161, mar. 2015.
RISTOFF, D. I. O Sinaes e seus desafios. Avaliação, Campinas; Sorocaba, v.9, n.1, p.
179-183, mar. 2004.
ROSA, M.J.; SARRICO, C. Quality, Evaluation and Accreditation: from Steering,
Through Compliance, on to Enhancement and Innovation? In: AMARAL, A.; NEAVE ,
G. (eds.), Higher Education in Portugal 1974–2009: A Nation, a Generation.
Dordrecht: Springer, 2012. p. 249-264.
ROTHEN, J. C.; BARREYRO, G. B. A “RAIES” e a Revista Avaliação a construção de
um marco teórico, político e metodológico. Avaliação, Campinas; Sorocaba, SP, v. 16,
n. 2, p. 267-290, jul. 2011a.
______.; ______. Avaliação da Educação Superior no segundo governo Lula: "Provão
II" ou a reedição de velhas práticas? Educ. Soc., Campinas, v. 32, n. 114, p. 21-38, jan.mar. 2011b.
SANTIAGO, R.; CARVALHO, T. Mudança no conhecimento e na profissão acadêmica
em Portugal. Cadernos de Pesquisa, São Paulo, v. 41, n. 143, p.402-426, maio-ago.
2011.
SANTOS FILHO, J.C. Universidade, modernidade e pós-modernidade. In: SANTOS
FILHO, J.C.; MORAES, S.E. (orgs.). Escola e Universidade na pós-modernidade.
Campinas: Mercado de Letras, 2000. pp. 201-247.
SANTOS, S. M. Análise comparativa dos processos europeus para a avaliação e
certificação de sistemas internos de garantia da qualidade. A3ES: Lisboa, 2011. 119 pp.
179
SEIXAS, Ana Maria, Políticas educativas e Ensino Superior em Portugal: a
inevitável presença do Estado. Coimbra: Quarteto Editora, 2003. 248 pp.
SHORE, C. Cultura de auditoria e governança iliberal: universidades e a política da
responsabilização. Mediações, Londrina, v. 14, n.1, p. 24-53, jan./jun. 2009.
STATSOFT, Inc. STATISTICA (data analysis software system), version 8.0.
www.statsoft.com. 2008.
TEODORO, A.; ANIBAL, G. A educação em tempos de Globalização. Modernização e
hibridismo nas políticas educativas em Portugal. Revista Lusófona de Educação, n.10,
p. 13-26, 2007.
TYLER, Ralph W. Princípios básicos de currículo e ensino. 4. ed. Porto Alegre:
Globo, 1977. 119 p.
UNESCO. Conferência Mundial sobre Ensino Superior 2009: As Novas Dinâmicas
do Ensino Superior e Pesquisas para a Mudança e o Desenvolvimento Social. Paris,
2009.
WEBER, S. Avaliação e regulação da educação superior: conquistas e impasses. Educ.
Soc., Campinas, v. 31, n. 113, p.1247-1269, out./dez. 2010.
180
APÊNDICES
(CD encartado)
APÊNDICE A – GUIA DAS ENTREVISTAS ...........................................................182
APÊNDICE B - ÁREAS AVALIADAS NO ENADE 2008-2009-2010......................183
APÊNDICE C - ANÁLISE DA DISTRIBUIÇÃO NORMAL DAS VARIÁVEIS
DEPENDENTES...........................................................................................................186
APÊNDICE D - COMPOSIÇÃO DOS GRUPOS DE ÁREAS DE ACORDO COM O
ESTRATO.....................................................................................................................243
APÊNDICE E - RESULTADOS DAS REGRESSÕES MÚLTIPLAS........................354
APÊNDICE F - CONTAGENS DAS CORRELAÇÕES SIGNIFICATIVAS POR
ÁREA, INSUMO E ESTRATO....................................................................................510
181
ANEXOS
(CD encartado)
ANEXO A – NOTA TÉCNICA DO CONCEITO ENADE 2010
ANEXO B – NOTA TÉCNICA DO CONCEITO PRELIMINAR DO CURSO 2010
538