Nota
Comparando fatores de impacto bibliométricos
computados a partir de três bases de dados:
Web of Science, Scopus e SciELO
Comparing impact factors from three databases:
Web of Science, Scopus and SciELO
Renan MVR Almeida1, Nárrima Gave2, Fernanda Catelani3, Sibele Bruno4, Bruno C
Bergamini5, Felipe M Huggenin6, Elecides Teixeira Junior7, Eduardo B Neves8
Resumo
O objetivo do presente trabalho foi analisar a comparabilidade de Fatores de Impacto (FIs) de revistas científicas a partir de
três bancos de dados: o ISI Thompson (Web of Science), o Scopus e a Scielo, ano-base 2006. Para tal, a faixa de variação
dos FIs em cada banco foi caracterizada, as diferenças das médias dos FIs entre os bancos foram analisadas por um teste
t de Student pareado (α=0,05) e o coeficiente de correlação intraclasse (ICC) foi calculado para os bancos. Um total de
34 revistas da área de saúde foi analisado (12 da Scielo). Os FIs Scielo variaram na faixa de 0,02 a 0,60, enquanto que os
FIs calculados a partir do banco Scopus situaram-se na faixa de 0,04 a 6,8, com uma variabilidade superior a obtida pelo
ISI (0,12-6,60). As diferenças entre as médias foram estatisticamente significantes em todos os casos analisados, e o ICC
teve valores máximo e mínimo, respectivamente, de 0,97 (ISI versus Scopus) e 0,45 (para os três bancos). Não foi possível
identificar a origem das discrepâncias, uma vez que o cálculo dos FIs não é explícito. No entanto, diferenças (arbitrárias)
nas bases de dados analisadas, assim como nos critérios de cômputo, introduzem alterações de complexa interpretação,
tornando difícil o uso válido desses indicadores de forma rígida (por exemplo, utilizando-se pontos de corte específicos).
Palavras-chave: Fatores de impacto, indicadores bibliométricos, índice de periódicos
Abstract
The objective of this study was to analyze the comparability of the Impact Factors (IFs) of scientific journals calculated from
three databases: Thompson ISI, Scopus and SciELO, using the base-year 2006. With this aim, the IF variation range in each
database was characterized, the IF mean differences across databases were analyzed by means of a Student matched t-test
(α=0.05) and the Intraclass Correlation Coefficient (ICC) was estimated for the analyzed databases. A total of 34 journals were
analyzed (12 SciELO). The SciELO IFs were in the range 0.02 to 0.60, while the IFs calculated from the Scopus database
varied between 0.04 and 6.8, with a larger variability than that of those obtained by the ISI database (0.12 to 6.60). Mean differences were statistically significant in all the analyzed cases, and the ICC maximum and minimum values were respectively
Doutor em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ). End. Caixa Postal 68.510 - Cidade Universitária - Rio de Janeiro (RJ), Brasil - E-mail: [email protected]
2
Mestranda em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ).
3
Mestranda em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ).
4
Mestranda em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ).
5
Doutorando em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia
da Universidade Federal do Rio de Janeiro (UFRJ).
6
Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da Universidade Federal do Rio de
Janeiro (UFRJ).
7
Mestrando em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ).
8
Doutor em Engenharia Biomédica. Programa de Engenharia Biomédica do Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia da
Universidade Federal do Rio de Janeiro (UFRJ).
1
Cad. Saúde Colet., 2010, Rio de Janeiro, 18 (2): 323-6 323
Renan MVR Almeida, Nárrima Gave,Fernanda Catelani, Sibele Bruno, Bruno C Bergamini, Felipe M Huggenin, Elecides Teixeira Junior, Eduardo B Neves
0.97 (ISI versus Scopus) and 0.45 (for the three databases). It is not possible, however, to identify the origin of these discrepancies, since
IF calculation procedures are not clearly specified. However, it is clear that (arbitrary) differences in the databases and on their calculation
criteria make changes difficult to interpret, making problematic the rigid use of these indicators (e.g. by means of specific cut-off points).
Key words: Impact factors, bibliometric indicators, periodical index
Introdução
O Fator de Impacto (FI) tem se destacado como o indicador bibliométrico mais utilizado na avaliação do impacto,
da influência ou da visibilidade de periódicos científicos
(Campanatti-Ostiz & Andrade, 2006; Kirchhof et al., 2007).
Várias críticas ao seu uso têm sido apresentadas na literatura
(Strehl, 2005; Falagas et al., 2008; Wilcox, 2008), mas ele é, na
atualidade, utilizado largamente para a alocação de recursos
ou para a avaliação da produção científica de pesquisadores
(The PLoS Medicine Editors, 2006).
O FI foi originalmente desenvolvido pelos fundadores do
Institute for Scientific Information (ISI), Ingrid Sher e Eugene
Garfield, em 1955, e, sinteticamente, provê o número médio
de citações que os artigos de um periódico receberam em
um determinado intervalo de tempo. Durante anos, o ISI foi
a única fonte de consulta a indicadores do tipo FI, embora,
atualmente, outras bases de dados já forneçam índices análogos. Duas dessas bases alternativas são o Scopus (basicamente
incluindo revistas da editora Elsevier ou revistas de conteúdo
aberto) e a SciELO (que inclui revistas de conteúdo aberto da
América Latina e Caribe). Surgem, assim, questões referentes
à comparabilidade, replicabilidade e estabilidade desses indicadores ao longo de diferentes bases de dados.
O objetivo do presente trabalho foi analisar a comparabilidade de FIs computados a partir de bases de dados distintas.
Para tal, os três bancos de dados mencionados acima foram
investigados relativamente aos FIs por eles fornecidos.
Materiais e métodos
O estudo consistiu do levantamento e da comparação
dos valores dos FI em três bancos de dados (ISI Thompson,
Scopus e Scielo) usando-se o ano-base 2006. Para a seleção das
revistas, professores e pesquisadores de um programa de pósgraduação do país na área de saúde (Mestrado e Doutorado)
foram convidados a indicar as revistas científicas, em suas
Tabela 1 - Estatísticas descritivas para FIs computados a partir
de três bancos de dados (Scopus, ISI e Scielo), 34 revistas (12
SciELO), 2006
Banco
Scopus
ISI
SciELO
Estatísticas descritivas
Mínimo Máximo Média Mediana Desvio-padrão
0,04
6,80
1,92
0,50
1,63
0,12
6,60
1,77
0,36
1,55
0,02
0,60
0,17
0,12
0,17
324 Cad. Saúde Colet., 2010, Rio de Janeiro, 18 (2): 323-6
áreas de estudo, por eles consideradas de relevância. Esses
pesquisadores possuíam a titulação de Doutor e trabalhos
publicados internacionalmente nos dois anos anteriores ao
estudo, sendo oito deles com bolsa de Produtividade em Pesquisa do Conselho Nacional de Desenvolvimento Científico e
Tecnológico (CNPq).
Depois de obtidas as indicações, procedeu-se à exclusão
de algumas das revistas assinaladas, tentando-se obter um
equilíbrio entre as áreas de estudo apontadas. Assim, quando
mais de duas revistas específicas de determinada área foram
indicadas, por sorteio, definiram-se as duas a serem mantidas
na análise. Adicionalmente, revistas SciELO com FIs disponíveis nas outras bases foram também acrescentadas, de forma
a permitir a comparação com esse banco de dados. Obteve-se,
assim, um total de 34 revistas (Anexo 1).
Inicialmente, foram coletados os valores FI no banco
ISI Thompson e SciELO, os quais os fornecem diretamente.
Em seguida, foram obtidos os dados necessários – número
de artigos de pesquisa publicados no biênio de 2004-2005 e
número de citações desses artigos no ano de 2006 – para o
cálculo dos valores de FI das mesmas revistas no banco de
dados Scopus. Nesse caso, o cálculo do FI seguiu a fórmula
(Garfield, 1999):
FI [2006]=N C2006/NA[2004-2005] (1)
Acima, NA[2004-2005] é o número de artigos publicados pela
revista em 2004-2005 e NC2006 é o número identificado de citações a esses artigos em 2006. O número de artigos publicados
(os itens citáveis) foi obtido selecionando-se a opção articles
or review no buscador Scopus. A seguir, as diferenças das médias dos FIs em cada banco foram analisadas por meio de um
teste t de Student bicaudal pareado (α=0,05) (Moore, 2005),
e, adicionalmente, o coeficiente de correlação intraclasse (do
inglês intraclass correlation coeficient, ICC) (Garson, 2009)
foi calculado para os três bancos. O processamento de dados
foi realizado no programa Statistical Package for the Social
Sciences (SPSS), versão 16.0.
Resultados
As estatísticas descritivas para os bancos de dados analisados estão descritas na Tabela 1. Dados FI SciELO foram
obtidos para 12 das 34 revistas (Anexo 1). Os FIs, a partir do
Comparando fatores de impacto bibliométricos computados a partir de três bases de dados: Web of Science, Scopus e SciELO
Tabela 2 - Diferenças média, mínima e máxima para FIs obtidos em três bancos de dados: Scopus, ISI e SciELO, 34 revistas (12 SciELO),
2006. Valor de p, graus de liberdade (gl) estatística t e intervalo de confiança (IC) de 95%: teste t para a diferença das médias entre os
bancos de dados.
Banco de dados
Scopus-ISI
Diferença média [minima- máxima]
0,15 [-1,35-0,85]
t
2,23
gl
33
Valor de p
0,032
IC95%
[0,01-1,35]
ICC
0,97
Scopus-SciELO
0,43 [0,00-1,12]
4,43
11
0,001
[0,21-0,17]
0,81
ISI-SciELO
0,31 [-0,26-0,92]
3,10
11
0,010
[0,09-0,26]
0,91
ICC: coeficiente de correlação intraclasse (ICC Scopus-ISI-SciELO=0,45).
banco Scopus, variaram entre 0,04 e 6,81, com uma amplitude
superior a dos obtidos pelo ISI (0,12-6,60), enquanto os SciELO situaram-se na faixa de 0,02 a 0,06.
Relativamente às revistas pesquisadas, em termos proporcionais, a maior diferença foi identificada para a revista Acta
Bioquímica Clínica Latino (0,04 pelo Scopus versus 0,12 pelo
ISI). Para uma mesma revista, observou-se uma variação máxima de 1,35 (Critical Care: 1,76 pelo Scopus; 3,11 pelo ISI). O
Scopus possui, em geral (28/34), valores maiores para as estimativas de FI. Os valores dos FI da SciELO foram tipicamente
inferiores aos relatados nos demais bancos de dados, com
exceção de duas revistas: Revista de Saúde Pública e Memórias
do Instituto Oswaldo Cruz (com FIs respectivamente de 0,60 e
0,40). Para todos os casos de comparação entre os bancos, foi
possível rejeitar a hipótese de inexistência de diferença entre
as médias dos FIs (Tabela 2). O CCI teve valor 0,45 para as três
bases e 0,97 para os dois bancos internacionais (ISI e Scopus).
Discussão
Como mencionado, FIs são largamente utilizados para a
definição do financiamento de projetos de pesquisa e para a
avaliação de pesquisadores e instituições científicas (Bianco,
2004; Cheek, 2006; Kirchoff et al., 2007; Wilcox, 2008). No entanto, esse indicador tem sido alvo frequente de críticas, por
exemplo, relativas à possibilidade de manipulação dos FIs por
editores de periódicos científicos ou à falta de transparência
e clareza em seu cálculo (Rossner et al., 2007; Hernán, 2008;
Porta & Alvarez-Dardet, 2008).
O presente trabalho comparou FIs resultantes de bancos
de dados distintos, sem que houvesse uma preocupação com
o detalhamento dessas críticas. Além disso, a análise limitouse à área da saúde, não devendo, assim, ser diretamente extrapolada para outras áreas da ciência. Três bancos de dados
foram assim analisados. O primeiro deles, o ISI, publica seus
FIs anualmente no Journal of Citation Report (JCR), sendo
o instituto responsável pela disseminação de índices FI. O
segundo, Scopus, foi criado em 2004, e atualmente é considerado a maior base de dados de citações e resumos de literatura em pesquisa da Web, também fornecendo dados para
o cálculo do FI (Falagas et al., 2008). Já a SciELO é uma base
cooperativa de periódicos científicos na internet desenvolvida
para a comunicação científica nos países em desenvolvimento, particularmente na América Latina e Caribe (Goldenberg
et al., 2007). Embora diferenças nos FIs computados a partir
de cada uma das bases fossem de se esperar (já que as bases
incluem periódicos diferentes), é importante que sejam realizados trabalhos que avaliem o grau dessas diferenças, uma
vez que não existe parâmetro, critério ou metodologia para
‘conversão’ de uma base para outra, e dado que, apesar disso,
essas bases são utilizadas na avaliação de pesquisadores de
forma empírica, e, muitas vezes, conflituosa.
O CCI apontou para uma concordância baixa nos três
bancos simultaneamente e alta nos dois bancos internacionais.
No entanto, uma análise mais particularizada das revistas envolvidas indica que, apesar de ter sido observada uma concordância aproximada nas suas ordens de classificação, esse não
foi sempre o caso, o que impediria uma tradução automática
dos FIs entre os bancos (ou seja, um reescalonamento simples
de valores). Adicionalmente, é visível que um viés é introduzido em função do banco de dados especificamente utilizado.
Assim, discrepâncias importantes foram identificadas no
presente trabalho, com variações de até duas a três vezes nos
valores de FIs computados a partir de diferentes bancos de
dados (por exemplo, para as revistas Critical Care e Acta Bioquímica Clínica Latino Americana).
No entanto, não é simples compreender a origem precisa
das discrepâncias, uma vez que a fórmula de cálculo dos FIs
não é explícita. Por exemplo, já foi apontado na literatura
que a definição dos termos da Equação 1 é arbitrária, uma
vez que dele são excluídos (de forma não transparente) itens
como editoriais, colunas de opinião e assemelhados (The
PLoS Medicine Editors, 2006). Essa exclusão, além de tornar
o cômputo de FIs de difícil replicabilidade, possui o potencial
de seriamente distorcer os valores assim calculados (Rossner et al., 2007; Hernán, 2008). Por outro lado, é claro que
mudanças (arbitrárias) nas bases de dados utilizadas, assim
como nos critérios de cômputo, introduzem alterações que
não são óbvias ou de fácil interpretação. Torna-se, portanto,
difícil aceitar como válidas as ideias de utilizar o FI como um
dos índices para avaliações rígidas, que demandem pontos de
corte específicos.
Cad. Saúde Colet., 2010, Rio de Janeiro, 18 (2): 323-6 325
Renan MVR Almeida, Nárrima Gave,Fernanda Catelani, Sibele Bruno, Bruno C Bergamini, Felipe M Huggenin, Elecides Teixeira Junior, Eduardo B Neves
Referências
Bianco, A. C. Fator de impacto. Boletim do editor? Arquivos Brasileiros de
Endocrinologia e Metabologia, v. 48, n. 3, p. 335-336, jun. 2004.
Hernán, M. A. Epidemiologists (of all people) should question journal
impact factors. Epidemiology, v. 19, n. 3, p. 366-368, mai. 2008.
Campanatti-Ostiz, H.; Andrade, C. R. F. Periódicos nacionais em
Fonoaudiologia: caracterização de indicador de impacto. Pró-Fono, v. 18, n.
1, p. 99-110, 2006.
Kirchhof, B.; Bornfeld, N,; Grehn, F.. The delicate topic of the impact
factor. Graefe’s Archieves for Clinical and Experimental Ophthalmology, v. 245,
p. 925-927, 2007.
Cheek, J.; Garnham, B.; Quan, J. What’s in a Number? Issues in providing
evidence of impact and quality of research(ers). Qualitative Health Research,
v. 16, n. 3, p. 423-435, mar. 2006.
Moore, D. S. Estatística básica e sua prática. LTC: Rio de Janeiro, 2005.
Falagas, M. E. et al. Comparison of Pubmed, Scopus, Web of Science,
and Google Scholar: strengths and weaknesses. The FASEB Journal: Official
Publication of the Federation of American Societies, v. 22, p. 338-342, fev.
2008.
Porta, M.; Álvarez-Dardet, C. How come scientists uncritically adopt and
embody Thomson’s bibliographic impact factor? Epidemiology, v. 19, n. 3, p.
370-371, mai. 2008.
The PLoS Medicine Editors. The impact factor game. PLoS Medicine, v. 3,
n. 6, p. e291, 2006.
Garfield, E. Journal impact factor: a brief review. Canadian Medical
Association Journal, v. 161, n. 8, 1999.
Rossner, M.; Van Epps, H.; Hill, E. Show me the data. Journal of Experimental
Medicine, v. 204, p. 3052-3053, 2007.
Garson, G. D. Reliability analysis. Internet URL: [http://faculty.chass.
ncsu.edu/garson/PA765/reliab.htm]última atualização 28/01/2009. Acesso
22/11/2009.
Strehl, L. O fator de impacto do ISI e a avaliação da produção científica.
Ciência da Informação, v. 34, n. 1, p. 19-27, jan./abr., 2005.
Goldenberg, S.; Castro, R. C. F.; Azevedo, F. R. M. Interpretação dos
dados estatísticos da SciELO (Scientific Eletronic Library Online). Acta
Cirúrgica Brasileira, v. 22, n. 1, p. 1-7, 2007.
Wilcox, A. J. Rise and fall of the Thomson impact factor. Epidemiology, v. 19,
n. 3, p. 373-374, mai, 2008.
Recebimento: 23/9/2009
Aprovação: 25/11/2009.
Anexo 1
Revistas utilizadas (em negrito as revistas SciELO).
Acta Bioquímica Clínica Latinoamericana, Acta Oncologica, Acta Physiologica Scandinavica, Age and Ageing, American Journal of
Tropical Medicine and Hygiene, Anesthesiology, Archives of Biochemistry and Biophysics, Archives of Physical Medical and Rehabilitation,
Archives of Latinoamerican Nutrition, Arquivos de Neuro-Psiquiatria, Biocell, Biological Research, Brazilian Archives of Biology and
Technology, Brazilian Journal of Chemical Engineering, Brazilian Journal of Medical and Biological Research, Brazilian Journal
of Microbiology, Chest, Clinical Biomechanics, Critical Care, Critical Care Medicine, Electronic Journal of Biotechnology, European
Respiratory Journal, Journal of Biomechanics, Journal of Electromyography and Kinesiology, Journal of Orthopaedic & Sports Physical
Therapy, Journal of the Brazilian Chemical Society, Latin American Applied Research, Medical Care, Memórias do Instituto Oswaldo
Cruz, Physical Therapy, Public Health, Revista de Saúde Pública, Revista Médica de Chile, Spine.
326 Cad. Saúde Colet., 2010, Rio de Janeiro, 18 (2): 323-6