CRITÉRIOS DE AVALIAÇÃO DA PÓS-
GRADUAÇÃO STRICTU SENSU EM
SAÚDE COLETIVA
Guilherme L Werneck
A FICHA DE AVALIAÇÃO (SAÚDE COLETIVA)
QUESITO
PESO
NÚMERO DE ITENS
Proposta do Programa
0%
3
Corpo Docente
15%
5
Corpo Discente, Teses e Dissertações
35%
4
Produção Intelectual
35%
3
Inserção Social
15%
3
ESCALA PARA ATRIBUIÇÃO DOS CONCEITOS
• Muito Bom, Bom, Regular, Fraco, Deficiente (5 1 pontos)
CONDIÇÕES PARA RECOMENDAÇÃO DE NOTAS
• NOTA 5: Conceito “Muito Bom” em pelo menos 4 dos 5 quesitos, incluindo “Corpo
Discente” e “Produção Intelectual”
• NOTAS 6 e 7: Cursos com Doutorado e que alcançaram conceito “Muito Bom” em
todos os 5 quesitos
COMO A AVALIAÇÃO DA
PRODUÇÃO CIENTÍFICA FOI FEITA
PARA O TRIÊNIO 2010-2012
UMA NOTA SOBRE A CLASSIFICAÇAO DA
PRODUÇÃO CIENTÍFICA (QUALIS)
• QUALIS é uma ferramenta para a avaliação da produção
bibliográfica dos programas de pós‐graduação
• Versões para artigos em periódicos e para livros/capítulos de livros
• QUALIS periódicos (http://qualis.capes.gov.br/webqualis/):
– Base: todos os artigos publicados por docentes da área de Saúde Coletiva
no triênio
– Identifica-se em que periódico cada artigo foi publicado
– Estes periódicos são estratificados de acordo com critérios de indexação e
citação (A1, A2, B1, B2, B3, B4, B5, C)
– Atribui-se um valor correspondente a cada periódico dependendo do
estrato em que ele está alocado (100, 85, 70, 50, 30, 15, 5, 0)
– Artigos recebem a pontuação atribuída ao periódico onde foi publicado
– Procedimento feito separadamente para revistas “da área” e “fora da área”
QUALIS SAÚDE COLETIVA: CRITÉRIOS
P
95.0
90.0
75.0
45.0
<45.0
―
―
Estrato
A1
A2
B1
B2
B3
B4*
B5*
FI (JCR) ou cites/doc NMCA (Scielo)§ Pontos
Geral S. Coletiva
≥4,00
≥3,41
≥6,55
100
2,90-3,99 2,78-3,40
4,95-6,54
85
1,50-2,89 1,72-2,77
2,72-4,94
70
0,47-1,49 0,72-1,71
1,10-2,71
50
0,00-0,46 0,00-0,71
0,00-1,09
30
LILACS, Pepsic, Latindex, Medline, Pubmed e outras
15
Não indexadas, disponíveis online para acesso gratuito a texto completo
5
H (Scopus)
Geral S. Coletiva
≥79
≥69
56 - 78 50 - 68
29 - 55 30 -49
10 - 28 10 - 29
0-9
0-9
* Máximo de 3 por docente
§Só no Scielo: A1 e A2  B1; B1  B2; B2 = B2; B3 = B3
H (Scopus) – Número h de artigos da revista que receberam h citações
FI (JCR) – Número de citações no ano X de artigos publicados na revista nos dois anos anteriores / total de
artigos publicados nos 2 anos anteriores
Cites/doc - Número de citações da revista no ano X dividido pelo no de artigos publicados nos 3 anos prévios
NMCA (Scielo): Numero médio de citações por artigo descontadas a autocitação
Travas (CAPES): A1<A2; A1+A2 = 25%; A1+A2+B1 = 50%
QUALIS PERIODICOS: SAÚDE COLETIVA
DISTRIBUIÇÃO DOS PERIÓDICOS E ARTIGOS POR ESTRATO
30
25
%
20
15
10
5
0
A1
A2
B1
B2
B3
B4
B5
PERIODICOS
11.8
13.2
21.1
16.9
10.5
22.1
4.4
ARTIGOS
9.20
22.44
26.97
18.42
7.40
14.19
1.38
PERIODICOS
ESTRATO
(N)
A1
313
A2
350
B1
561
B2
449
B3
278
B4
587
B5
116
TOTAL
2654
ARTIGOS
(N)
938
2287
2749
1878
754
1446
141
10193
QUALIS LIVROS
• QUALIS livros:
• Definição de livro: produto impresso ou eletrônico que possua ISBN ou ISSN
(para obras seriadas) contendo no mínimo 50 páginas, publicado por editora
pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou
órgão oficial.
• Só é pontuada obra científica (excluidas obras didáticas e técnicas)
• Critérios: Editora, Conselho Editorial, avaliação por pares, língua, financiamento,
prêmios etc
• Cada livro é avaliado individualmente
ESTRATO
PONTUAÇÃO
LIVRO
PONTUAÇÃO
CAPÍTULO / ORGANIZAÇÃO DE COLETÂNEA
L4
240
90
L3
180
60
L2
120
40
L1
60
15
QUESITO 4: PRODUÇÃO INTELECTUAL (35%)
ITEM 4.1 PUBLICAÇÕES QUALIFICADAS POR DP (40%)
• PRODUÇÃO PER CAPITA: Soma da produção em artigos, livros e
capítulos (sem duplicatas) / DP (MB = ≥600 pontos)
ITEM 4.2 DISTRIBUIÇÃO DA PRODUCÃO QUALIFICADA (40%)
• 4.2.1. PRODUCÃO ACIMA DA MEDIANA (205 pontos/DP/ano)
• MB = ≥60%
• 4.2.2. PRODUCÃO ACIMA DO PERCENTIL 80 (427 pontos/DP/ano)
• MB = ≥15%
• MEDIANA de distribuição dos artigos como critério qualitativo (≥B1)
ITEM 4.3 PRODUCÃO TÉCNICA (20%)
PROBLEMAS
PRODUÇÃO DE ARTIGOS, LIVROS E
CAPÍTULOS DE LIVROS
14000
12000
NUMERO
10000
8000
ARTIGOS
6000
LIVROS
4000
2000
0
2007
2010
TRIENIO
2013
Créditos: Rita Barata, 2013
DESEQUILÍBRIO ENTRE PROGRAMAS
SUB-ÁREA
DP - N
(37 PPG)
MEDIANA
PRODUÇÃO
P80
(%)
EPIDEMIOLOGIA
351
765
30
CIENCIAS SOCIAIS E HUMANAS EM
SAÚDE
116
489
11
POLÍTICA, PLANEJAMENTO E GESTÃO
EM SAÚDE
141
495
5
OUTRAS
106
549
15
TOTAL
714
600
20
Créditos: Jorge Iriart, 2014
MUITAS LIMITAÇÕES...
• Ênfase na quantificação da produção científica leva a
distorções éticas: autoria concedida, salamização da
produção, plágio.
• Índices utilizados para avaliar a produção científica
carecem de credibilidade
• Não se avalia diretamente a qualidade da produção
científica
• Critérios utilizados valorizam mais certos modelo de
produção científica
• Os critérios não se adequam ao caráter multidisciplinar e
aplicado da área de Saúde Coletiva
CONSENSO
• “A comissão avalia que o atual modelo de avaliação está
esgotado...”
• “A avaliação deve ser predominantemente realizada em
bases qualitativas ainda que indicadores quantitativos
possam ser utilizados...”
• “Os cursos devem ser analisados em sua integridade e não
como a resultante de um conjunto fragmentado de
aspectos.”
Fonte: Relatório da Avaliação Trienal 2010-2012
MUDAR NÃO É SIMPLES
• “Cláusulas pétreas” da avaliação:
I. o processo não se restringe a uma avaliação “intra-área”;
II. não deve se verificar a perda progressiva da capacidade
discriminatória da escala
• Qualquer proposta precisa ser apresentada e aprovada no
plenário do CTC-ES, onde as 48 áreas opinam, mas apenas
18 tem direito a voto (nós não).
• Predominam os critérios quantitativos baseados em
índices bibliométricos entre as 48 áreas de avaliação.
O QUE AS OUTRAS ÁREAS FAZEM?
ÁREAS DE AVALIAÇÃO
USO DE INDICADORES BIBLIOMÉTRICOS
• Majoritariamente (pelo menos A1, A2, B1): 27 áreas (56%)
• Só para estrato A1/A2: 4 áreas (8%)
• Obrigatoriedade de indexação no JCR/Scopus para A1/A2: 4 áreas (8%)
• Segundo grande área:
•
•
•
•
•
•
•
•
•
Ciências agrárias: 4 (100%)
Ciências biológicas: 4 (100%)
Ciências da saúde: 9 (100%)
Ciências exatas e da terra: 5 (100%)
Engenharias: 4 (100%)
Multidisciplinar: 1 (60%)
Ciências humanas: 3 (38%)
Ciências sociais aplicadas: 3 (43%)
Linguistica, letras e artes: 0 (0%)
SITUAÇÕES ESPECIAIS
• 12 áreas fazem exceções para revistas especificas (25%)
• 6 restritas ao estrato B1-B5 (biológicas, saúde, sociais aplicadas)
• 6 irrestritas (ciências sociais aplicadas, exatas e agrárias)
• 8 áreas utilizam a idéia de reconhecimento / identidade com a
área no processo de classificação
• Arquitetura, Ciencias Sociais, Economia, Planejamento Urbano,
Ciências ambientais, Educ. Fisica, Enfermagem, Nutrição
• 6 áreas usam critérios diferentes para revistas “da área” e “fora
da área”
• Engenharias I, II e IV; Astronomia, Matemática, Saúde Coletiva
• 4 áreas usam diferentes pontos de corte dos indicadores para
as sub-áreas
• Ciências da computação, Matemática, Química e Biodiversidade
O QUE FAZER?
MODIFICAÇÕES NO SISTEMA DE
CLASSIFICAÇÃO
• Classificação por sub-áreas (indicadores padronizados):
• Epidemiology: h = 67, cites/doc = 3,15
• Health Policy: h = 27, cites/doc = 1,75
• Public Health, Environ. & Occup. Health: h = 38, cites/doc = 1,78
• Health (social science): h = 25, cites/doc = 1,29
• Melhorar o critério do que seria uma revista “da área” ou “fora
da área”
• Hoje baseado no aparecimento de algum termo do tipo “public health”,
“epidemiology”, “healthcare systems”, “health policy”, “medical
anthropology” na missão da revista
• Para ambos: pareceres de pesquisadores brasileiros e
estrangeiros
OUTRAS POSSIBILIDADES PONTUAIS
• Qualis único:
• Um único sistema de classificação com pontos de corte e requisitos
diferentes para cada área
• Qual sistema usar? O sistema dominante é baseado em indicadoes
bibliométricos...
• Usar a “maior pontuação” da revista observando os Qualis
das diferentes áreas
• Impossível manter as regras de A1<A2; A1+A2=25%;
A1+A2+B1=50%
• Poderia ser interessante identificar algumas revistas bem
qualificadas em outras áreas e que seriam relevantes para a área
de saúde coletiva
OUTRAS POSSIBILIDADES PONTUAIS
• Bibliometria:
•
•
•
•
Usar citações dos artigos (incluindo os do triênio anterior)
Índice H dos DP ou do Programa
Métricas ponderadas
Métricas alternativas (p.ex., web based)
• Upgrade de revistas
• Cada vez menos comum e visto com certa má vontade
• Que revista(s) seria(m) esta(s)?
• Estabelecer limites de exigência de quantidade de
produção com base em parâmetros de excelência
internacional
CRITÉRIOS QUALITATIVOS
• Principais produções:
• Vantagem: já é algo solicitado ao Programa
• Dificuldades: Quantos produtos? Como avaliar impacto/relevância?
Como equacionar a relação número de produtos vs tamanho do
Programa? Quem avalia?
• Valorizar produções específicas
•
•
•
•
Parceria internacional
Co-autoria discente
Fruto de Teses/Dissertações
Premiações
• Aperfeiçoar Qualis livros
• Inclusão de aspectos qualitativos (relevância, originalidade, rigor
conceitual, aderência à área) como já fazem Direito, Letras, Antropologia,
Educação, Filosofia, Interdisciplinar, Ciências sociais, Nutrição etc...
CONCLUINDO
• Mudanças pontuais são mais factíveis de serem realizadas,
mas não promovem as transformações necessárias para
alcançarmos um novo modelo de avaliação
• O uso de critérios qualitativos deve ser estimulado, falta
um consenso sobre quais critérios a serem utilizados e
como operacionalizá-los
• A avaliação da produção científica, com todos os seus
problemas, foi muito mais aperfeiçoado e discutido do que
a avaliação dos aspectos relativos a formação discente,
seus produtos finais e suas produções científicas, apesar
de terem o mesmo peso na avaliação
OBRIGADO!