SOBRE OS CRITERIOS DE AVALIAÇÃO DOS CURSOS DE PÓS-GRADUAÇÃO
EM ECONOMIA PELA CAPES1
Fernando J. Cardim de Carvalho2
No que se segue, serão discutidos dois aspectos centrais do atual processo de avaliação
dos programas de pós-graduação pela CAPES. O primeiro refere-se ao fato de que são
avaliadas escolas de economia; o segundo aspecto diz respeito à avaliação da produção
cientifica realizada pelas instituições examinas.
I
O ponto de partida de qualquer discussão a respeito dos critérios de avaliação dos
programas de pós-graduação realizados pela CAPES deve ser o de que o objeto de
avaliação são instituições de ensino. Nos últimos anos, tem sido um aparente consenso na
comunidade acadêmica brasileira o de que instituições de ensino universitário devem
necessariamente combinar três tipos de atividade: ensino propriamente dito, pesquisa e
atividades de extensão. Enquanto o terceiro tipo tem recebido atenção muito reduzida,
servindo mais para profissões de fé na importância da integração da universidade na
comunidade (o que quer que isso signifique na pratica), consolidou-se a visão, pelo
menos na comunidade acadêmica de economia, de que um programa bem sucedido de
pós graduação (aquele que, em tese receberia a nota máxima prevista, 7), um centro de
excelência, seria aquele que combinasse ensino de alta qualidade com produção cientifica
combinando impacto e regularidade.
É extremamente difícil definir-se tanto o que é ensino de alta qualidade quanto o que é
produção cientifica relevante. Quanto ao segundo, há índices aparentemente objetivos,
cujo conteúdo, como se verá na segunda parte destas notas, é, no entanto, profundamente
incerto. A definição do que se constitui em uma boa escola é ainda mais difícil. No
1
Observações apresentadas em sessão especial do Encontro Nacional de Economia, promovido pela
ANPEC, Porto Seguro, dezembro de 2003.
2
Professor titular do Instituto de Economia da Universidade Federal do Rio de Janeiro.
entanto, não é possível não avaliar e, portanto, a dificuldade deve ser enfrentada e
métodos adequados devem ser desenvolvidos.
Uma escola é (ou deve ser) um local de produção e difusão de conhecimento. A ênfase na
difusão de conhecimento deve ser pelo menos igual (senão maior) do que na produção de
conhecimento. Uma escola eficaz difunde conhecimento do melhor nível possível ao
maior numero de estudantes possível. A produtividade de uma escola deve, assim, ser
medida, antes de mais nada, pelo seu impacto sobre alunos.
Uma medida adequada do poder de difusão de conhecimento de uma instituição de pósgraduação deve, naturalmente, levar em consideração, simultaneamente, as dimensões
qualitativa e quantitativa. Uma instituição de ensino bem-sucedida forma um numero
razoável de alunos. Assim, um indicador natural a ser considerado é a produção de teses
de mestrado e doutorado defendidas em cada escola. A dimensão quantitativa não é
suficiente para caracterizar um bom programa, certamente. É preciso investigar como
estabelecer critérios de qualidade para estas teses. No entanto, a dificuldade de avaliação
da qualidade não pode nem deve servir de álibi para a despreocupação com o aspecto
quantitativo da difusão de conhecimentos. Escolas que não são capazes de formar um
número mínimo adequado de pós-graduados não são capazes de garantir, por exemplo,
que o drift natural de parcela dos pós-graduados para atividades em que o conhecimento
recebido seja de importância secundaria não liquide com o investimento feito pela
sociedade (que investe recursos públicos nessas instituições) na sua sustentação. Assim,
número de alunos formados é um critério importante em si mesmo, ainda que não seja
suficiente para caracterizar uma escola bem-sucedida. Uma escola que forma poucos
alunos (e cabe à comissão de avaliação da CAPES investigar o número de alunos que se
deva almejar) não garante a difusão de conhecimento e não cumpre assim os requisitos de
excelência que se quer estabelecer.
A mensuração da qualidade das teses (e, na verdade, do ensino em geral) pode ser
realizada através de visitas aos centros de pós-graduação de subcomissões da CAPES. O
método aqui proposto é o sorteio, pela subcomissão, de um certo número de teses
produzidas no período, para leitura e avaliação. A seleção por sorteio pela subcomissão
(ao invés da seleção pela própria escola, como se dá, por exemplo, com o prêmio
BNDES) deveria servir de incentivo a cada escola para garantir a qualidade mínima de
todas as teses e dissertações aprovadas na instituição, já que não se saberia quais
trabalhos seriam selecionados para exame. As visitas serviriam também como canal de
informação para a comissão plena sobre a abrangência e eficácia dos cursos dados em
cada programa, examinando-se programas, entrevistando-se alunos e professores, etc.
Um modelo para tal avaliação possível poderia ser o seguido pela Universidade de São
Paulo, no processo de avaliação externa a que todos os departamentos são (ou eram)
submetidos.
Tal processo poderia examinar também outro aspecto extremamente importante do
processo de ensino de pós-graduação, que diz respeito à formação do aluno enquanto
cientista, isto é, na sua capacidade de desenvolver autônoma e criativamente projetos de
pesquisa. Esta área sequer chegou a ser tocada pelos critérios existentes atualmente na
avaliação da CAPES. Até onde, por exemplo, é o processo de preparação de teses e
dissertações apenas uma forma de prover mão-de-obra barata a pesquisadores-seniores de
uma instituição, alocando a orientandos apenas a coleta e preparação de dados sobre
aspectos específicos de algum projeto já pré-determinado pelo orientador? Qual a latitude
efetivamente oferecida ao aluno para pensar e planejar seu projeto? Qual a qualificação
efetivamente oferecida ao aluno para viabilizar o desenvolvimento deste projeto? Este
importante tópico para discussão e avaliação é totalmente ignorado no processo corrente
de avaliação de escolas de pós-graduação em economia, voltado apenas para aspectos
quantitativos (e, ainda assim, como argumentado aqui, de forma insatisfatória) da
produção de teses e dissertações. A ênfase dada, por exemplo, ao tempo tomado para a
preparação de teses só teria sentido se, ao mesmo tempo, critérios fossem determinados
para que esta demanda não se tornasse uma camisa de força formalista, em que trabalhos
promissores são sacrificados pela necessidade de “cumprir os prazos da CAPES”. Eu
gostaria de sugerir fortemente a leitura de discurso publicado no número de junho de
2003 da Revista Economia, editada pela ANPEC, do Professor Antonio Coutinho, com
uma oportuníssima reflexão sobre o trabalho de pós-graduação como processo de
formação de cientistas, para que se possa pelo menos dar um primeiro passo na avaliação
de nossos programas com relação a esta demanda.3
Em suma, não basta para definir um programa de excelência que seu corpo docente seja
produtor de conhecimento. Na verdade, são muitos e conhecidos os casos de bons e
férteis pesquisadores que são professores medíocres. Por outro lado, a CAPES é um
órgão do Ministério da Educação, não da Ciência e Tecnologia. A avaliação do MEC
deve buscar identificar as escolas de excelência, não os institutos de pesquisa
merecedores de apoio. As lacunas mais importantes do processo atual de avaliação das
instituições de pós-graduação em economia pela CAPES atualmente dizem respeito à
inadequação dos métodos em uso para captar o papel difusor de conhecimento dessas
instituições.
II
A avaliação da produção de conhecimento é aparentemente mais simples. Um método
direto de mensuração seria considerar o impacto do veículo em que os resultados da
atividade de pesquisa é divulgado como indicador da relevância da produção de
conhecimento realizada em cada instituição. Esta idéia é proposta com certa insistência,
mais recentemente em textos do Professor Issler, da FGV/RJ, como o apresentado nesta
sessão.
O ponto de partida parece sensível, mas a dimensão das dificuldades em se proceder
mesmo a um simples exercício como este é ilustrada por algumas das próprias conclusões
do estudo mencionado.
O insumo fundamental para o calculo do índice de relevância da produção cientifica
proposto pelo Professor Issler são os índices de impacto de revistas cientificas calculados
de tempos em tempos por alguns grupos de pesquisadores norte-americanos. O índice
sugerido é mais sofisticado do que a simples incorporação destes pesos, introduzindo
3
“On doing science: a speech by Professor Antonio Coutinho”, Economia, 4 (1), Janeiro/junho de 2003.
dimensões como a extensão do texto, existência de co-autores, etc, mas o peso decisivo
na avaliação final da relevância da produção cientifica são os mencionados índices de
impacto das revistas.
Há, porém, muitos problemas importantes com o índice do Professor Issler, alguns dos
quais parecem comprometer dramaticamente os seus resultados.
Uma primeira limitação diz respeito à produção de livros, já que os indicadores referemse exclusivamente a artigos. Esta limitação poderia ser, talvez, remediada pela construção
de um índice de impacto para a publicação de livros também, ainda que não seja muito
claro como isto seria feito. Por outro lado, haveria também o problema de como combinar
o índice referente à produção de livros com um índice referente à produção de artigos.
Esta dificuldade já é sentida no processo de avaliação atualmente feito pela CAPES, onde
muitos sentem que a produção de livros é sub-avaliada.
Os problemas mais importantes, porem, referem-se à publicação mesma de artigos. O
cálculo dos índices de impacto que servem de matéria prima para os indicadores
propostos é feito, naturalmente, a partir das citações feitas a revistas cientificas pela
comunidade norte-americana. Isto não deve surpreender, naturalmente, porque é nos
Estados Unidos onde está concentrado o maior número de economistas acadêmicos (e,
provavelmente, de qualquer outro grupo profissional) e de universidades. Revistas
brasileiras de economia não são citadas, e revistas conhecidas como El Trimestre
Econômico tem impacto nulo. Mas revistas européias também são na sua maioria
ignoradas ou recebem peso reduzido face à sua importância real (veja-se, por exemplo, o
caso de The Economic Journal, a revista da sociedade real de economia da GrãBretanha).
Pode-se argumentar que isto seja assim porque, qualquer que tenha sido a importância
desses outros veículos no passado, no momento elas já não tem a mesma relevância das
revistas publicadas nos Estados Unidos. Uma explicação alternativa, ainda que não
excludente, é o intenso e conhecido provincianismo da comunidade acadêmica norte-
americana. São raríssimos os casos de pesquisadores americanos que conheçam outra
língua que não a inglesa. É também conhecida a tendência daquela comunidade em
ignorar tudo o que não seja produzido dentro das fronteiras do país.4
Este provincianismo não se restringe à economia. Como documentou a revista Scientific
American, em agosto de 19955, com relação a outras áreas de ciência, onde os critérios de
decisão sobre o que é relevante são mais consensuais do que em economia, não é
impossível desconsiderar a existência de preconceito no processo de avaliação de
trabalhos para publicação em revistas cientificas americanas contra autores estrangeiros,
para não usar uma expressão desagradável como terceiro mundo. Descreve-se este
processo de avaliação, usualmente, dando ênfase ao exame “cego” do trabalho por um
referee também anônimo. Esquece-se que o processo, na verdade, se inicia com a
aceitação do trabalho pelo editor da revista para exame pelos referees. Se o editor recusa
o trabalho, não há apelação. Seria interessante realizar-se uma pesquisa sobre a recusa
liminar de trabalhos por editores (isto é, antes da submissão a referees), identificando-se,
por exemplo, a proveniência dos autores. Esta seria uma pesquisa obviamente de
realização muito difícil, até mesmo pelos incentivos a que editores ocultem suas
verdadeiras razões. Uma pesquisa mais simples e imediata seria o levantamento, dentre
os trabalhos considerados pela pesquisa do Professor Issler, de quais artigos ali incluídos
tem como co-autores professores ou pesquisadores ativos em instituições americanas e
quantos conseguiram publicação contando com autores exclusivamente brasileiros ou
radicados fora dos Estados Unidos.
4
É já folclórica a aversão do publico norte-americano, por exemplo, a assistir filmes estrangeiros, mesmo
que tragam legendas em inglês. Do mesmo modo que é necessário refilmar um filme estrangeiro com atores
americanos e cenários locais para que o publico o assista, é freqüentemente preciso reinventar a pólvora nos
Estados Unidos para que o fenômeno seja reconhecido. Um exemplo deste provincianismo muito próximo
à instituição do professor Issler é o reduzido impacto que muitos trabalhos do Professor Mario Henrique
Simonsen sobre processos de alta inflação tiveram enquanto pesquisadores americanos, às vezes, valendose de exemplos mal-digeridos do que imaginavam ser a economia brasileiros se fartavam de platitudes e
proposições tolas veiculadas em revistas de respeito. Simonsen já se preocupava com os efeitos das
defasagens em processos de indexação enquanto revistas americanas ainda modelavam indexação como se
fosse instantânea, obtendo as mais tolas conclusões.
5
“Lost science in the third world”, Scientific American, 273 (2), agosto de 1995, pp. 76/83.
Um fenômeno mais importante, contudo, deve ser tomado em consideração antes de se
tomar um índice de impacto como os usados como base para avaliação da produção
cientifica. Economia, como outras ciências sociais e como as ciências biomédicas, tem
como objeto importante não apenas a discussão de teorias ditas puras, atividades que
Kuhn chamava de “solução de problemas”, mas também uma dimensão aplicada muito
forte e importante. A própria natureza da ciência econômica implica serem veículos
locais de importância muito maior do que seriam, por exemplo, em áreas como física.
Revistas norte-americanas jamais dariam (e é compreensível que assim seja, dado o
número de casos nacionais em que isto é importante) o espaço que é necessário a uma
discussão cientifica adequada das reformas institucionais que são necessárias à
dinamização do crescimento de uma economia como a brasileira. A produção cientifica
na área pode ser tão importante (provavelmente mais) do que a solução de um problema
formal de um paradigma teórico qualquer, mas jamais terá um impacto relevante se este
for medido pela repercussão que tenha entre os pesquisadores americanos que consultam
revistas cientificas. Revistas brasileiras, ou latino-americanas, devem receber um peso
significativo na avaliação da produção cientifica relevante de cada centro de pósgraduação, sem prejuízo da aplicação de critérios rigorosos de impacto também a estas
publicações.
Uma observação adicional a respeito dos índices propostos pelo Professor Issler refere-se
a uma possível inversão de papéis na concepção do que significa ter impacto relevante na
produção de conhecimento. Não há duvidas que revistas como a American Economic
Review ou a Econometrica tenham grande importância no cenário mundial da ciência
econômica. Elas têm este impacto, contudo, pelos autores que publica sistematicamente.
Em função desses autores, estes veículos são regularmente consultados, quando mais não
seja, para se ver “o que há de novo”. Autores brasileiros, sem diminuir a importância de
se conseguir a publicação de algum trabalho nestes veículos, o fazem ainda de forma
irregular. Neste caso, não é o autor que “faz” a revista, mas de certa forma o contrário: o
autor se beneficia de um certo free ride no prestigio da publicação. O impacto relevante a
ser medido não é o da revista em si, mas o do artigo considerado. Índices de citações,
neste caso, são mais relevantes, porque referidos a trabalhos específicos, do que índices
de impacto de revistas nas quais a publicação se dá de forma eventual. A preparação de
tais índices é cara e trabalhosa, alem de ser eivada de problemas inclusive conceituais,
como os levantados no parágrafo anterior. Enquanto este trabalho não se viabiliza, seria
interessante se dentre os detalhes fornecidos no trabalho do Professor Issler fosse também
informado quantos artigos foram efetivamente publicados por cada autor nos veículos
considerados de maior importância.
Esta observação nos leva a um último ponto a respeito do indicador proposto. Pelo menos
na sua versão apresentada na sessão da ANPEC, o trabalho contém uma primeira
avaliação de impacto dos artigos. Não é porém, propriamente, um índice de citações,
mas um índice de “importância” de cada autor, já que o Professor Issler avalia a
“qualidade” da citação feita, aplicando o mesmo critério anterior, isto é, ponderando a
citação pelo grau de impacto da revista em que foi feita. O problema com esta avaliação
é o mesmo apontado no parágrafo anterior. Com o peso atribuído a uma publicação como
a Econometrica ou a American Economic Review, sendo o artigo em questão referido um
reduzido número de vezes na mesma revista, chega-se a uma avaliação de impacto
totalmente despropositada e desprovida de sentido. Na verdade, o próprio Professor Issler
chamou a atenção, em sua exposição, para o fato de que, por seu critério, Celso Furtado,
que poucos duvidariam estar entre os dois ou três mais importantes economistas do Brasil
em todo o século XX, referencia para qualquer estudo sobre desenvolvimento econômico
em todo o mundo era apenas aparentemente mais importante do que outros pesquisadores
da Fundação Getulio Vargas do Rio de Janeiro, que, no entanto, tinham um impacto mais
importante medido por seu indicador. Podemos nos perguntar se trabalhos como os
produzidos por autores como Celso Furtado, que, para usar novamente a nomenclatura de
Thomas Kuhn, criavam paradigmas inteiros, ao invés de resolver problemas no interior
de um dado paradigma, encontrariam guarida nas publicações listadas nos índices de
impacto.
III
É muito importante que a CAPES desenvolva este processo de discussão, especialmente
fora das épocas de avaliação dos programas, onde, por vezes, interesses imediatos dos
programas acabam dominando a discussão de critérios a serem aplicados. Isto não chega
a comprometer o processo, muito em função da consciência de dever que costumam ter
os membros selecionados para participar das comissões ad hoc de avaliação, mas reduz a
eficiência de todo o processo e prejudica o importante papel que esta avaliação tem de
sinalizar aos centros de pós-graduação o que deve ser um centro de excelência.
A proposta maior que é feita nestas notas foi explicitada na primeira parte, a volta das
visitas de subcomissões aos centros, para a preparação de relatórios qualitativos em
profundidade que possam suplementar o trabalho da comissão de avaliação, que, por
escassez de tempo, acaba absorvido em excesso pelos seus aspectos quantitativos (cálculo
de índices). Por outro lado, a questão da produção cientifica ainda não parece madura
para uma decisão mais definitiva. Iniciativas como a do Professor Issler, como as do
Professor Azzoni e outros antes dele, são certamente importantes e benvindas, mas seus
resultados ainda parecem muito frágeis para conduzir a uma reorientação de vulto no
processo de avaliação da produção cientifica.