Reflexões sobre a forma de avaliar a
produção científica dos docentes
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
HOSPITAL DE CLÍNICAS DE PORTO ALEGRE
SERVIÇO DE PSIQUIATRIA DA INFÂNCIA E
ADOLESCÊNCIA
Inquietações de um novato no processo
de avaliação da produção científica dos
docentes
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
HOSPITAL DE CLÍNICAS DE PORTO ALEGRE
SERVIÇO DE PSIQUIATRIA DA INFÂNCIA E
ADOLESCÊNCIA
Questões iniciais
A avaliação atual
 As questões discutidas não são críticas a forma atual de
avaliação. É claro para a maioria dos docentes que a
forma atual de avaliação representa um importante
patamar alcançado.
 As questões levantadas se referem a possibilidades de
refinamento qualitativo do atual processo.
 Podem ser importantes para nortear o rumo e
planejamento estratégico de carreira de pesquisadores
mais jovens.
Questões iniciais
A avaliação atual
 Preocupação básica do docente em relação a sua
produtividade:
- Publicação do seu produto de pesquisa sob a forma
de um artigo científico em jornal com FI acima da
mediana 1.
 Partir desse patamar e usar dados do nosso laboratório
temático – TDAH – para ilustrar algumas inquietações
do nosso grupo.
Inquietação # 1
 Ao avaliar a produção do docente, um artigo publicado
em uma revista com FI próximo a 1 é equiparável a
publicação de um artigo em uma revista com altíssimo
FI?
Inquietação # 1
Inquietação # 2
 Ao avaliar a produção do docente, a ordem de autoria é
relevante? Em outras palavras, é equiparável a produção
em que o docente é um dos 20 autores de um artigo com
aquela em que ele está nas pontas (primeiro ou último
autor)?
Inquietação # 2
Inquietação # 3
 A publicação de uma carta com 500-700 palavras
relatando um achado preliminar é equiparável a
publicação de um artigo original?
Inquietação # 3
Inquietação # 3b
E se ainda por cima essa carta for apenas um
comentário sobre os achados de um outro grupo...
Inquietação # 4
 Produção realizada no âmbito da
instituição versus a produção
realizada pelo individuo quando
vinculado a um grupo de pesquisa
no exterior. Equiparáveis?
Contextualizando essas questões...
 Toda essa discussão provavelmente se aplique mais a
diferenciação da produção de docentes de programas
considerados de inserção internacional (nota 6 e 7).
 Dúvidas:
- A avaliação da produção dos docentes inseridos
nesses programas mereceria uma avaliação diferenciada?
Teoria de reposta ao item
Contextualizando essas questões...
 Dúvidas:
- Deveríamos caminhar para adoção de outros
parâmetros na avaliação da produção? Por exemplo,
inclusão do índice de citações?
Índice de citações
Science 288 (5468), 2000
Contextualizando ...
O índice de citação de um
artigo tem relação com o
fator de impacto da revista
onde ele é publicado?
Contextualizando ...
 Mais ou menos.
493 resumos submetidos a um congresso de medicina de
emergência. Avaliaram o índice de citação no período de 5
anos e ½ após publicação.
204 publicados em revistas do ISI (citações por ano = 2.04;
faixa = 0 - 20.9).
Callaham M et al., JAMA 2002
Contextualizando ...
O local de origem da
publicação tem relação
com o índice de citação?
Contextualizando...
Sim.
417 papers (95-98): Addiction.
The correlations between the number of citations and the
quality ratings was low (R < 0.1).
West & Mcllwaine, 2000
Em conclusão...
 O atual sistema de avaliação da produção dos docentes
representa certamente um grande avanço pela introdução
de parâmetros objetivos nesse processo.
 Algumas questões ainda encontram-se abertas a
debate principalmente no que tange ao refinamento do
processo para diferenciação de programas de ponta.
 A incorporação de outras medidas como o índice de
citações, embora apresentando também limitações, pode
representar uma alternativa.
 A avaliação global da produção do programa é outra
alternativa que merece discussão.
BMJ, 2003