ANPTUR 2015
Coordenação da Área de Administração Pública
e de Empresas, Ciências Contábeis e Turismo
Quadriênio 2013-2016
Eliane P. Zamith Brito
Márcia M. M. De Luca
Aridelmo J. C. Teixeira
[email protected]
Avaliação de Programas pela CAPES
• Se adapta à medida que a comunidade de pesquisa
avança
• Leiden Manifesto – princípios para orientar a
avaliação de pesquisa no mundo – Nature abril/2015
• Elaborado por um conjunto de cientometristas,
cientistas sociais e os administradores de pesquisa
• São críticos do uso de métricas isoladas para
avaliação de programas e pesquisadores, p.e.:
• Rankings das publicações, p.e., Financial Times
• Fator H para avaliar os pesquisadores
• Número de artigos em periódicos selecionados
1º A avaliação quantitativa deve dar suporte à
avaliação qualitativa especializada
• Os indicadores quantitativos podem corrigir tendências
enviesadas da avaliação por pares e facilitar a deliberação
• Fortalecer a revisão por pares tendo como base
informações relevantes
• Os indicadores não devem substituir o juízo informado
• Todos são responsáveis pelas avaliações
• Os avaliados que fornecem os dados
• Os que calculam os indicadores
• Consultores que usam os indicadores
2º Medir o desempenho de acordo com a
missão do PPG
• O PPG deve ser avaliado considerando seus objetivos
• Os indicadores devem levar em conta o contexto
socioeconômico e cultural mais amplo
• Os cientistas podem ter diversas missões de pesquisa
• Que avança as fronteiras do conhecimento acadêmico – PPG
Acadêmicos
• Focada em soluções para os problemas da sociedade - MP
• A avaliação pode ser baseada em méritos relevantes
• Políticas públicas
• Para a indústria
• Para os cidadãos em geral
• Noções de excelência acadêmica
3º Proteger a excelência da pesquisa
localmente relevante
• Uso só do fator de impacto de bases no idioma inglês pode
ser problemático - Spell e Scielo
• Inclusão de periódicos nacionais nos estratos superiores da
classificação por deliberação da área, porque eles têm
impacto para a comunidade nacional
• Cerca de 60% da produção nos estratos superiores é em periódicos
nacionais - 2/3 da produção do estrato A2 e 50% do B1
• Periódicos promovidos pela área representam mais de 12% do total
da produção da área
• Particularmente importante para as temáticas orientadas
para a pesquisa de temas regionais e nacionais
• Livros
4º Manter a coleta de dados e os processos
analíticos abertos, transparentes e simples
• Plataforma Sucupira
• Inclusão continuada de dados com chancela anual
• Acesso aos dados por qualquer pessoa - SNPG - Sucupira
• Indicadores principais para análise comparativa dos PPG
• Discussão no CTC sobre simplificação da avaliação
• Página da Área
• Nossa área - Manual de avaliação disponibilizado aos
coordenadores de PPG
• Seminário de acompanhamento - exercício de avaliar
• Avaliação por pares - 1 em cada 3 PPG participa do
processo
5º Permitir que os avaliados verifiquem
os dados e as análises
• Todas as avaliações e os dados usados nas
avaliações anteriores estão disponíveis para
acesso por qualquer pessoa - SNPG
• Plataforma Sucupira
• Inclusão continuada de dados com chancela anual
• Acesso aos dados em planilhas permitindo reproduzir
as avaliações quantitativas por qualquer pessoa
• Indicadores principais para análise comparativa dos
PPG serão disponibilizados
6º Considerar as diferenças entre áreas
nas práticas de publicação e citação
• Selecionar um conjunto de possíveis indicadores e
permitir que as distintas áreas escolham aqueles que
lhes são mais adequados
• Historiadores e cientistas sociais – livros publicados no
idioma nacional X cientistas da computação trabalhos
apresentados em eventos é mais importante
• Os critérios de classificação de periódicos, livros, eventos
e produção tecnológica tem que ser distintos por área
• Nossa área é muito diversa – critérios mistos
• Livros
• Fator de impacto
• Critérios de conformidade/qualidade
• Produção Tecnológica
7º Basear a avaliação de
pesquisadores individuais no juízo
qualitativo da sua carreira
• Quando se compara um grande número de
pesquisadores, uma abordagem que considere
informações diversas sobre o conhecimento,
experiência, atividades e influência
• Capes não avalia pesquisadores individuais, mas o
conjunto deles na forma de programa de
formação
• Avaliamos as experiências e o alinhamento destas
com a proposta de formação discentes do PPG
8º Evite solidez mal colocada e
falsa precisão
• Indicadores de ciência e tecnologia são propensos à
ambiguidade conceitual e à incerteza, e demandam fortes
suposições que não são universalmente aceitas
• A melhor prática de avaliação utiliza indicadores múltiplos
para fornecer uma imagem mais robusta e plural
• Os produtores de indicadores deveriam, pelo menos,
evitar a falsa precisão, p.e., o fator de impacto de revistas
é publicado com três casas decimais. No entanto, dada a
ambiguidade conceitual e a variabilidade aleatória das
contagens de citações, não faz sentido distinguir as
revistas com base em diferenças mínimas do FI
• Evite a falsa precisão: apenas uma casa decimal se justifica
9º Reconhecer os efeitos sistêmicos da
avaliação e dos indicadores
• Os indicadores mudam o sistema da pesquisa
por meio dos incentivos que estabelecem
• Estes efeitos devem ser previstos. Isto significa
que um conjunto de indicadores é sempre
preferível – um único indicador convida a burlas
ou a desvios do objetivo, em que a medida se
torna um fim em si
• Total de pontos para avaliar os programas na
nossa área
10º Examinar e atualizar os
indicadores regularmente
• A missão da pesquisa e os objetivos da avaliação
mudam e o sistema de pesquisa evolui junto
• Medidas que anteriormente eram úteis se
tornam inadequadas e surgem novos indicadores
• Os sistemas de indicadores têm de ser revistos e
talvez modificados
• A avaliação da pesquisa pode desempenhar um papel
importante no desenvolvimento da ciência e de suas
interações com a sociedade
• As métricas da pesquisa podem fornecer informações
cruciais que seriam difíceis de reunir ou entender por
especialistas individuais. Mas não se deve permitir que essa
informação quantitativa se transforme de instrumento em
um fim em si.
• As melhores decisões são tomadas pela combinação de
estatísticas robustas com sensibilidade para a finalidade e a
natureza da pesquisa que é avaliada
• Tanto a evidência quantitativa quanto a qualitativa são
necessárias.
• A tomada de decisão na ciência deve ser baseada em
processos de alta qualidade informados por dados da mais
alta qualidade
Produção anual dos docentes permanentes
PPG acadêmicos da área – Triênio 2010-2012
350
300
250
200
150
100
50
0
Produção Bibliográfica
Quadriênio 2013-2016
• Quantidade X Qualidade da produção
• Melhores produtos de cada docente
• Coordenadores dos PPG pediram que
considerasse ainda o volume para manter o
incentivo à produção
• 20% total da produção
• 80% melhores produtos dos docentes
(Livros/artigos de periódico)
• Alinhamento da produção à proposta de
formação discente
4.1. Métrica 1 - Pontos médios de
4.1
produção Métrica
bibliográfica
total do PPG
20
25
Pontos médios de produção bibliográfica total do programa
207
202
Desvio padrão
98
Mínimo
55
Máximo
500
0
5
10
15
Média
Mediana
0
100
200
300
400
500
Pontos
n=88
A proposta é ter uma trava em 200 pontos para o programa ser avaliado como muito bom
Item 4.1. Métrica 2 - Pontos médios de
produção bibliográfica
qualificada do PPG
Métrica 4.1
25
Pontos médios de produção bibliográfica das duas principais produções
0
5
10
15
20
Média
Mediana
Desvio padrão
Mínimo
Máximo
40
n=88
60
80
100
Pontos
120
140
108
110
27
35
156
4.2. Distribuição de publicações qualificadas em
relação ao corpo docente permanente do PPG
Avalia-se a proporção dos docentes permanentes do PPG
considerados produtivos, isto é, que alcançaram a mediana
da produção qualificada da área, considerando as duas
melhores produções bibliográficas do docente.
MB > ou = a 80
B > ou = a 70, mas < que 80
R > ou = a 50, mas < que 70
F > ou = a 20, mas < que 50
D < que 20
Para os docentes que atuarem no programa em apenas parte do
quadriênio, os pontos serão proporcionais ao período de atuação neste.
Princípios da classificação de
periódicos para todas as áreas
• Classificação considera apenas os periódicos com
produção da área no período
• Considera apenas os periódicos informados pelos
PPG da área no sistema da CAPES
• Usado apenas para avaliar os programas da área
na CAPES no quadriênio
• Estabelece limites para a ocupação dos estratos
considerados de elevado impacto – A1, A2 e B1
• Classificação de 2017 valerá para todo o
quadriênio
Processo de classificação 2015
• Agradecer a ajuda enorme de colegas da área
• Parâmetros
• Itens de conformidade não seriam mais usados
• Usaríamos menos indicadores, mas que com maior poder
de diferenciar (em especial os predatórios)
• Ajustar os critérios dos estratos considerando os %
definidos pela CAPES para os estratos de alto impacto
• A1< A2
• A1+A2 no máximo 25% dos periódicos na base da área
• A1 + A2 + B1 no máximo 50% dos periódicos na base da
área
• Critérios que pudessem perdurar para outros quadriênios
Critérios para a classificação
• B5
• ISSN
• Ter no mínimo 2 edições/ano
• No máximo um ano de atraso
• B4
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
Índice de atraso no máximo igual a 0,5
2 ou mais anos de existência
• B3
•
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
Índice de atraso no máximo igual a 0,5
3 ou mais anos de existência
Ter no mínimo um indexador (definidos no documento da área)
Critérios para a classificação
• B2
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
Estar no Redalyc ou ser editado por Editoras definidas (doc da área)
Ou Scielo com FI < 0,01 ou Scielo com FI alto, mas de outra área
pelo critério da base
• B1
•
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
Scielo com FI > 0,01 e ser da área pelo critério da base, ou
0<JCR<=0,7 ou (33%)
0<H-Scopus<=9 (mediana da área)
Critérios para a classificação
• A2
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
0,7<JCR<=1,4 ou (67%)
9<H-Scopus<=24 (75%)
• A1
•
•
•
•
ISSN
Ter no mínimo 2 edições/ano
1,4<JCR
24<H-Scopus
• Revistas relevantes para a área que serão promovidas um
estrato
Periódicos prioritários
Revisão em 2017
• Valorizar
• DOI
• Pontualidade ou antecipação
B2
• Indexadores
• Spell
• Rever os limites da área para abranger subgrupos
• Pedaladas editoriais
• Tempo de processamento dos artigos
• Índice de concentração de autores do mesmo PPG
• Buraco nas edições
Posição da área na base Scopus
Documentos
1996
1998
2000
2002
2004
2006
2008
2010
2012
2014
Docs
32a
30a
32a
27a
30a
25a
21a
20a
17a
14a
Cites/doc
50a
56a
36a
59a
55a
89a
75a
70a
81a
89a
1000
900
800
700
600
500
400
300
200
100
0
1996
1998
2000
2002
2004
2006
2008
2010
2012
2014
Citações/doc
20
18
16
14
12
10
8
6
4
2
0
1996
1998
2000
2002
2004
2006
2008
2010
2012
2014