Qualidade e avaliação de
revistas científicas
Lilian Calò
BIREME/OPS/OMS
Informação e conhecimento
O conhecimento como capacidade de ação:
A iniquidade de acesso a informação e conhecimento é um
determinante social da saúde, que reforça os outros
determinantes
A gestão de informação e intercambio de conhecimento tem
por objetivo diminuir continua e sistematicamente a brecha
entre o que se sabe e o que se pratica.
Avaliação de revistas científicas
Subscrições por bibliotecas universitárias
Sociedades científicas, instituições
academia e agencias de fomento
Tradução de resultados de
pesquisa em políticas
públicas
Existem atualmente cerca de 30 mil revistas científicas no mundo em
todas as áreas do conhecimento
A qualidade da contribuição científica é estimada à partir do impacto
na ciência a longo prazo.
A avaliação das revistas é feita por meio de índices de impacto e
através da indexação em bases de dados
Indicadores de impacto científico:
Fator de Impacto,
Scimago Journal Rank,
Eigenfactor,
Indice h,
medidas de uso y download
novas métricas
Indexação em Bases de Dados:
LILACS
Scopus,
SciELO,
MEDLINE,
Web of Science,
Journal Citation Report.
Fator de Impacto
Concebido em 1955 por Eugene Garfield, fundador do ISI
Utiliza a base Web of Science (Thomson Reuters) com cerca de 11 mil
revistas
FI = Citações recebidas / numero de artigos
É calculado em base a 2 ou 5 anos para efeito de comparação de áreas
com distintos parâmetros de citação
Críticas ao FI:
É impreciso pois o que conta no numerador não é levado em
conta no denominador;
Existem artifícios para aumentar o FI de periódicos, como
autcitacão, artigos de revisão, editoriais de impacto que serão
muito citados e outros;
Disponível em uma base de dados de acesso restrito
www.isiknowledge.com/
Por que é tão popular?
Por ter sido o pioneiro, por ser simples de calcular e
internacionalmente difundido
SCImago Journal Rank
Criado em 2007 pelo pesquisador F. Moya y Anegón (CSIC, Madrid, Espanha)
SCImago Journal Rank é uma medida de impacto científico das revistas
acadêmicas que representa o número de citações recebidas por uma revista e a
importância ou prestigio das revistas de onde tais citações provem;
Utiliza a base de dados Scopus (18 mil revistas) e acumula citações em 3 anos.
Autocitações são descontadas;
Toma por base o algoritmo PageRank, utilizado pelo Google para ordenar as
páginas mais visitadas em uma busca;
É um indicador independente de tamanho e seus valores ordenam os periódicos
pelo seu "prestigio médio por artigo" e pode ser utilizado para comparações de
revistas nos processos de avaliação em ciências;
Disponível em uma base de dados em acesso aberto, http://www.scimagojr.com/
apesar da base Scopus depender de assinatura.
Eigenfactor
Desenvolvido na Universidade de Washington em 2007
Eigenfactor utiliza mesmo algoritmo PageRank do classificador de páginas do
Google;
O sistema de classificação de periódicos utilizando Eigenfactor leva em conta a
diferença de prestigio entre os periódicos que citam;
Eigenfactor também se ajusta para diferenças de padrões de citação entre
disciplinas, permitindo comparar desempenhos entre elas utilizando o mesmo
índice. Também com esta finalidade, Eigenfactor se baseia nas citações
recebidas em um período de cinco anos.
Unifica e contabiliza citações em revistas nos campos de ciências e ciências
sociais;
Elimina auto-citações. São descontadas cada referencia de um artigo em uma
revista a outro artigo da mesma revista.
Utiliza a base de dados Web of Science. O cálculo matemático foi idealizado de
forma que a soma de Eigenfactor de todos os periódicos indexados no JCR seja
igual a 100.
O índice Eigenfactor se encontra disponível em acesso aberto
www.eigenfactor.org e também no site de Web of Science desde 2008
Article Influence
O Article Influence de um determinado periódico é a medida do prestigio deste
periódico por artigo. É calculado por meio da divisão do Eigenfactor pela
fração de artigos publicados pelo periódico. Esta fração se normaliza, para que
a soma total de artigos em todos os periódicos seja igual a 1;
Assim, enquanto o Eigenfactor leva em conta toda a rede de citações
recebidas nos últimos cinco anos por todos os artigos do periódico, Article
Influence é uma medida do prestigio deste periódico tendo por base as
citações por artigo;
O valor médio do Article Influence é igual a 1.00. Valores maiores que 1
indicam que cada artigo no periódico exerce una influencia acima da media e
valores menores que 1 indicam que cada artigo do periódico em questão
exerce influencia abaixo da media;
O índice Article Influence encontra-se disponível em acesso aberto
www.eigenfactor.org e também no site de Web of Science.
Indice h
Idealizado por J.E.Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102
(46) 16569-16572;
É um índice para quantificar a produtividade científica de um
pesquisador, departamento o instituição;
Índice h é definido como o número de publicações com citações > h;
Este índice normaliza as diferentes áreas de conhecimento;
p. ex. Um autor com 20 publicações com 20 citações cada tem um
índice h igual a 20.
É possível calcular o índice h de una revista. Uma publicação tem
índice h n se tiver n artigos com n citações cada.
"Estes resultados devem nos fazer repensar FI e SJR como o golden
standard das medidas de impacto científico. Os resultados aqui
apresentados indicam que as métricas baseadas em medidas de uso e
não de citações - como tem sido mais comum - podem representar
uma melhor medida de consenso".
Ley de Bradford
• En economía es conocido como Ley de Pareto o Ley 80-20
• Un número relativamente pequeño de revistas de cada
especialidad publica la mayor parte de los resultados científicos
significativos;
• 2000 revistas corresponden a 85% de los artículos publicados
y 95% de los artículos citados
• Esta porción de revistas no es fija, una constante reevaluación
e indexación de nuevas revistas es necesaria.
Bases de Datos
• Permitem organizar e catalogar as revistas;
• Realizar buscas por assunto, autor, periódico, palavraschave;
• Sua função primordial é separar os periódicos baseado na
qualidade dos artigos publicados;
• Critérios variam pouco entre as varias bases regionais e
internacionais;
• Para que sejam mais representativas, as bases não devem
indexar a totalidade dos periódicos, e sim os mais
representativos.
Bases de Dados referenciais
•MEDLINE – PubMed da National Library of Medicine
•EMBASE – base em Ciencias da vida da Elsevier
•BIOSIS – base em Ciencias biológicas da Thomson Reuters
•LILACS – Literatura Latinoamericana e do Caribe em Ciencias da
saúde
Bases de dados com texto completo
•SciELO – Scientific Electronic Libary Online
•Redalyc – Red de Revistas científicas de Ibero América
Bases de dados de citações
•Web of Science / JCR
•Scopus/SJR
Revistas em Bases de Dados em Ibero América
Databases
Country
Argentina
Bolivia
Brazil
Chile
Colombia
Costa Rica
Cuba
Ecuador
Espanha
Estados Unidos
Guatemala
Honduras
Jamaica
Mexico
Panama
Paraguay
Peru
Puerto Rico
Portugal
Uruguay
Trinidad & Tobago
Venzuela
Total
LILACS
125
9
332
59
99
12
30
15
0
3
5
1
2
37
2
7
20
2
0
12
0
53
SciELO
68
8
221
91
106
10
34
0
46
1
0
0
1
55
0
3
13
0
36
6
0
49
WoS
21
0
133
47
23
1
1
1
167
1
0
0
1
43
0
0
1
0
9
1
1
14
JCR
12
0
72
22
9
1
1
1
60
1
0
0
1
33
0
0
0
0
4
1
0
9
825
748
465
227
MEDLINE SCOPUS
8
58
0
0
46
230
3
68
2
36
1
1
1
21
0
2
63
279
1
1
0
0
0
0
1
1
13
67
1
0
0
0
2
1
1
5
6
34
0
0
0
0
2
39
151
843
Revistas em Bases de Dados na Ibero América – Ciencias da Saúde
Country
Argentina
Bolivia
Brazil
Chile
Colombia
Costa Rica
Cuba
Ecuador
Espanha
Estados Unidos
Guatemala
Honduras
Jamaica
Mexico
Panama
Paraguay
Peru
Portugal
Puerto Rico
Uruguay
Trinidad & Tobago
Venzuela
Total
LILACS
125
9
332
59
99
12
30
15
0
3
5
1
2
37
2
7
20
0
2
12
0
53
825
SciELO
13
3
122
22
24
9
22
0
34
1
0
0
1
8
0
3
7
7
0
6
0
12
294
Databases
WoS
JCR
10
6
0
0
57
25
9
5
3
1
1
1
0
0
1
1
48
27
0
1
0
0
0
0
1
1
5
5
0
0
0
0
0
0
3
1
0
0
0
0
0
0
6
4
144
78
MEDLINE SCOPUS
8
17
0
0
46
84
3
19
2
11
1
0
1
18
0
1
63
107
1
1
0
0
0
0
1
1
13
28
1
0
0
0
2
1
6
7
1
2
0
0
0
0
2
14
151
311
Critérios
Numero de títulos na
base
Títulos aceitos
Periodicidade e
Regularidade
Bases de Dados de Revistas Científicas
Scopus
LILACS
SciELO
NLM
Web of Science/JCR
18.000/16.500 peer
reviewed
40%
801
640
5455 (MEDLINE)
11.261 / 6.620
25-27%
18%
20-25%
10-12%/ 5-6%
Importância relativa
Sim
Sim
Sim
Sim
Não
Sim ou outro standard
Sim o outro standard
Sim
Sim
Não necessariamente
Sim
Sim
Sim
Sim
Análise de Citações
(Fator de Impacto)
Importância relativa
Não importante
Importante
Importância relativa
Importante
Diversidade
Internacional de Autores
Importância relativa
Não importante
Importante
Importância relativa
Importante
Corpo Editorial
Diversificado
Importância relativa
Importante
Importante
Importância relativa
Importância relativa
Não importante
Importante
Importante
Importante
Importante
Sim, resumos em inglês
Sim
Sim
Sim
Não
Não
Não
Sim
Sim
Não
Sim
Sim
Sim
Sim
Não
Sim
Não
Sim
Não
Recomendações ICMJE*
Peer Review
Mérito e caráter científico
– contribuições originais
Título, resumo e palavrasNão necessariamente
chaves em inglês.
Referencias em alfabeto
romano
Registro de Ensaios
Clínicos
Publicações na área
médica e biomedicina
(*) International Committee of Medical Journal Editors – Uniform Requirements for
Manuscripts Submitted to Biomedical Journals (http://www.icmje.org/)
Conclusões
• A indexação de uma revista em uma base de dados regional ou
internacional não obedece somente a critérios formais;
• A situação das revistas concorrentes na seleção presente ou
precedente na mesma área de conhecimento é um fator
determinante;
• Muitas vezes critérios comerciais, geográficos ou de fomento de
uma área especifica influenciam a seleção de revistas por una
base de dados;
• Em 2008 a Thomson Reuters selecionou 700 novas revistas no
mundo de caráter regional para apoiar a disseminação do
conhecimento regional. O processo de seleção durou cerca de 2
anos;
• Destas, 80 são de AL&C em varias áreas, inclusive ciências da
saúde. Os critérios são os mesmos que para a admissão na WoS,
mas sem dar tanta importância às citações.
• A indexação em base de dados é una indicação de qualidade de
uma revista, mas não é o único critério para aferir esta qualidade.
Perguntas?
Comentários?