Disponível em
http://www.anpad.org.br/rac-e
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1,
p. 351-373, Set./Dez. 2008
Periódicos Brasileiros de Administração: Análise Bibliométrica de
Impacto no Triênio 20052005-2007
Brazilian Administration Period
Periodicals:
icals: Bibliometric Analysis of the Impact on the Period
of 20052005-2007
Clóvis L. Machado-da-Silva *
Ph.D. em Organizações e Estratégia pela Michigan State University, Estados Unidos.
Professor titular do PMDA/UP e da UFPR, Curitiba/PR, Brasil.
Edson Ronaldo Guarido Filho
Doutor em Administração pela UFPR.
Professor do PMDA/UP, Curitiba/PR, Brasil.
Luciano Rossoni
Doutorando em Administração pela UFPR.
Professor do PMDA/UP, Curitiba/PR, Brasil.
Julia Furlanetto Graeff
Doutoranda em Administração pela UFPR, Curitiba,/PR, Brasil.
* Endereço: Clóvis L. Machado-da-Silva
PMDA/Universidade Positivo, Rua Prof. Pedro Viriato Parigot de Souza, 5300, Prédio da Biblioteca, 5º andar,
Campo Comprido, Curitiba/PR, 81280-330. E-mail: [email protected]
Copyright © 2008 RAC-Eletrônica. Todos os direitos, inclusive de tradução, são reservados.
É permitido citar parte de artigos sem autorização prévia desde que seja identificada a fonte.
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
352
RESUMO
O presente artigo trata da avaliação de periódicos científicos da área de administração, no Brasil, com base no
uso do conceito de fator de impacto vis-à-vis a classificação por eles obtida no Sistema Qualis da CAPES.
Procuramos discutir a aplicabilidade do fator de impacto enquanto instrumento que assegura novos contornos à
aferição de qualidade. Para tanto, foram analisados 21 periódicos e os anais do Enanpad no período de 2005 a
2007. Os periódicos foram divididos em três grupos: ‘A’ Nacional Recentes (integrado por periódicos que
receberam conceito ‘A’ em 2007); ‘A’ Nacional Antigos (integrado por periódicos que detêm conceito ‘A’ há
certo tempo); e ‘B’ Nacional. Os resultados evidenciam a concentração de citações e fator de impacto
significativamente maior para o grupo de periódicos enquadrados como ‘A’ Nacional Antigos. Não encontramos
diferença significativa quanto ao fator de impacto nos demais grupos. Tal achado revela inconsistências no que
concerne aos conceitos obtidos em 2007, no Sistema Qualis-CAPES, pelos periódicos dos outros dois grupos.
Complementarmente, não constatamos influência significativa de autocitações, dos anais dos Enanpads ou da
janela temporal para cálculo do fator de impacto. Tais resultados possibilitam concluir sobre a viabilidade de uso
do fator de impacto como critério relevante na política de avaliação de periódicos. Não se trata de considerar o
conceito de qualidade unidimensional, mas sim de reconhecer que a repercussão de um periódico reflete o
interesse despertado por artigos nele publicados na construção do conhecimento científico.
Palavras-chave: avaliação de periódicos; citações; fator de impacto; Sistema Qualis-CAPES.
ABSTRACT
This article deals with the evaluation of scientific periodicals from the field of Administration in Brazil, based on
the use of the concept of the impact factor vis-à-vis their classification in the CAPES Qualis System. We seek to
discuss the applicability of the impact factor as an instrument that ensures new guidelines for gauging quality. To
this end, twenty-one periodicals and the Enanpad annals covering the period of 2005 to 2007 were analyzed. The
periodicals were divided into three groups: ‘A’ Recent Domestic (made up of periodicals which were assigned
the ‘A’ status in 2007); ‘A’ Traditional Domestic (made up of periodicals which have had the ‘A’ status for some
time); and ‘B’ Domestic. The results show a significantly higher concentration of quotes and the impact factor
for the group designated as ‘A’ Traditional Domestic. We did not find any significant difference concerning the
impact factor in the other groups. This finding has some inconsistencies pertaining to the concepts obtained from
Qualis-CAPES in 2007 by the other two groups. In addition, we did not find any significant influence of
selfquoting in the annals of Enanpads or the temporal window for calculating the impact factor. These results
enabled us to reach a conclusion on the viability of the use of the impact factor as a relevant criterion in the
evaluation policy of periodicals. This is not about considering the unidimensional quality concept but rather
about recognizing that the repercussion of a periodical reflects the interest sparked by the articles published in it
in the construction of scientific knowledge.
Key words: evaluation of journals; citations; factor of impact; Qualis-CAPES.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
353
INTRODUÇÃO
A avaliação de periódicos é matéria freqüentemente tratada no meio científico. Ela foi associada, em
princípio, à gestão de acervos bibliográficos, em face da proliferação crescente de títulos em diferentes
áreas do conhecimento. Nos últimos 30 anos, contudo, esse tipo de avaliação vem ganhando força
enquanto meio para aferição da qualidade de periódicos, a partir de uma variedade de indicadores e
de metodologias (Rousseau, 2002).
Qualidade científica, entretanto, não é um conceito absoluto; está associada a diferentes recortes ou
perspectivas analíticas (Camí, 1997). Pode se referir à assertividade da pesquisa científica quanto ao
tipo de conhecimento abordado, à originalidade dos temas desenvolvidos ou à adequação
metodológica da investigação, entre outras possibilidades. Sob outra ótica, qualidade pode estar
associada à noção de relevância, mais especificamente à influência potencial ou contribuições para o
avanço do conhecimento científico. Em uma terceira acepção, qualidade pode significar a repercussão
imediata de um periódico no sistema de comunicação científica de determinada área ou, mais
propriamente, sua popularidade ou visibilidade em determinada comunidade acadêmica. Trata-se,
neste último caso, do conceito de impacto (Garfield, 1972).
O impacto de periódicos representa uma modalidade de avaliação baseada na análise bibliométrica
que, por meio da contabilização de citações, produz um indicador objetivo, menos sensível aos juízos
de valor dos membros da comunidade de pesquisadores no ato da avaliação (Camí, 1997; Strehl,
2005). Internacionalmente, esse tipo de indicador vem ganhando destaque desde a publicação, em
1976, da primeira edição do Journal Citation Reports [JCR] pelo Instituto de Informação Científica da
Filadélfia [ISI] (Camí, 1997; Garfield, 1996; Ingwersen, Larsen, Rousseau, & Russel, 2001; Moed,
2005; Rousseau, 2002; Saha, Saint, & Christakis, 2003). No Brasil, todavia, sua utilização para este
fim ainda é pouco explorada, especialmente no campo da administração, cuja avaliação ainda é
realizada de acordo com o Sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior [CAPES], fundação vinculada ao Ministério da Educação.
O Sistema Qualis foi instituído em 1998 com o objetivo de fornecer subsídios para aperfeiçoar a
avaliação da produção científica dos programas de pós-graduação stricto sensu. Componente
importante do processo de avaliação da CAPES, ele foi concebido para aprimorar o processo de
classificação de periódicos, considerado até então pouco sistematizado e realizado de modo artesanal e
não uniforme (Souza & Paula, 2002). Com base no procedimento de avaliação por especialistas, o
Sistema Qualis utiliza escalas de pontos para avaliar conjuntamente diferentes critérios, tais como:
normalização, regularidade, projeto gráfico, circulação, visibilidade, origem institucional e geográfica
dos autores, gestão editorial, além da quantidade, proporção e qualidade percebida dos artigos
publicados (CAPES, 2007). Em conseqüência, possibilita a elaboração de rankings de periódicos,
ainda que os critérios utilizados para sua classificação e ordenação constituam elementos de
discordância e de debates na comunidade acadêmico-científica, em razão das suas evidentes
limitações.
Diante dessas limitações, em 2008 a CAPES resolveu rever a sua orientação para a avaliação de
periódicos no Sistema Qualis, que passará a considerar o fator de impacto e a indexação em bases de
dados com reputação acadêmico-científica. Ao assim proceder, a CAPES alinha-se à tendência
mundial de valorizar o fator de impacto de periódicos como instrumento de avaliação de publicações
científicas, o que deverá acarretar mudanças significativas no perfil da pesquisa e da produção
acadêmica no país, com o transcorrer do tempo.
Em suma, o crescente número de novos periódicos científicos em conjunção com a proliferação de
artigos publicados exige aprimoramentos contínuos nos instrumentos de avaliação (Krzyzanovski &
Ferreira, 2003; Strehl, 2005). Por um lado, torna-se necessário melhorar a identificação de periódicos
que sirvam aos interesses dos pesquisadores; por outro, é importante minimizar a subjetividade da
avaliação decorrente de crenças, muitas vezes simplistas, dos membros das comissões. Assim, a
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
354
qualidade da informação sobre as características das publicações por meio de parâmetros rigorosos e
objetivos constitui elemento relevante a ser utilizado complementarmente aos demais meios de
avaliação (Schultze, 2005; Souza & Paula, 2002; Strehl, 2005).
Nessa direção e cientes dessa necessidade procuramos no presente estudo apresentar um primeiro
esforço de cálculo de fator de impacto para periódicos da área de administração no Brasil. Temos
como propósito central avaliar os periódicos brasileiros a partir do fator de impacto em comparação
com a classificação por eles recebida no Sistema Qualis da CAPES em 2007, de modo a discutir sua
aplicabilidade no cenário acadêmico nacional enquanto instrumento que assegure novos contornos à
avaliação de qualidade. Deixamos claro, desde já, que concordamos com Moed (2005) no sentido de
não compartilhar o nosso pensamento com perspectivas que associam linearmente a qualificação de
impacto de periódicos e a qualidade da produção científica, reduzindo-a a um conceito quantitativo e
unidimensional. Entretanto aceitamos a idéia de que a repercussão de um periódico em determinado
campo reflete, ainda que até certo ponto, o interesse despertado pelos artigos nele publicados na
construção do conhecimento científico em uma comunidade acadêmica.
Tendo em vista tal propósito, tratamos, em um primeiro momento, do sistema de comunicação
acadêmica, posicionando a prática de citações na lógica de recompensa e reconhecimento acadêmicos,
ligados à propriedade intelectual do conhecimento veiculado, especialmente, por meio de periódicos.
Posteriormente, discutimos as modalidades de avaliação de periódicos realizadas internacionalmente e
no Brasil. O foco recai sobre a análise bibliométrica, com destaque para o fator de impacto, como
metodologia complementar àquelas tradicionalmente utilizadas. Na seqüência, apresentamos os
procedimentos metodológicos que pautam a realização deste estudo; a análise dos dados referente aos
periódicos da área de administração é tratada com base no fator de impacto e na avaliação por meio do
Sistema Qualis-CAPES vigente em 2007. Concluímos o artigo discutindo os resultados obtidos em
face da política de avaliação, recomendando alternativas para o reconhecimento da qualidade dos
periódicos no campo da administração.
AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS
IENTÍFICOS
O uso do fator de impacto adota as citações recebidas por artigos veiculados em um determinado
periódico como princípio avaliativo. Tecnicamente, esse princípio é representado por indicadores
formais utilizados na classificação de periódicos segundo a expressão de seu reconhecimento como
fonte destacada de referência na elaboração de artigos científicos. Por outro lado, implica considerar
pressupostos acerca do caráter epistemológico das citações enquanto parte do sistema de comunicação
cientifica. Nos tópicos a seguir discutimos mais detidamente esses aspectos.
Sistema de Comunicação Científica, Citações e Periódicos
De acordo com Merton (1957), a ciência é uma instituição social expressa na forma de imperativos
normativos, seu ethos; ou seja, possui sistema próprio de valores e normas que direcionam e legitimam
a atividade científica. Cole (2004) explica que, na abordagem mertoniana, esses valores não
descrevem a ciência como ela opera de fato na realidade, devendo ser entendidos como ideais para a
prática científica. Nessa linha de análise, a originalidade é tratada como o valor supremo da ciência,
apresentando forte relação com seu avanço, já que é fator associado às preocupações dos cientistas por
reconhecimento e recompensas (materiais ou simbólicas) e, portanto, com a idéia de propriedade sobre
o conhecimento produzido.
A propriedade científica, tanto como o sistema de recompensas, deriva das relações interativas entre
cientistas. Além disso, tal propriedade não é atribuída pela exclusividade dos direitos de acesso ao
conhecimento, mas por sua livre exposição ao domínio público para ser utilizado por aqueles que
assim desejarem (Merton, 1957, 1988). Nesse aspecto, o sistema de recompensas assegura a
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
355
propriedade, na medida em que reitera normas institucionais para a pública identificação das fontes: é
o reconhecimento público, por pares qualificados, da validade das contribuições científicas realizadas
por um determinado cientista, que afirma sua propriedade intelectual (Merton, 1988).
A reciprocidade no reconhecimento de contribuições para o avanço do conhecimento científico traz
importantes implicações sobre a prática institucionalizada de referências nos trabalhos acadêmicos.
Como parte do sistema de propriedade intelectual na ciência, as referências apresentam não apenas
funções instrumentais cognitivas, mas também simbólicas, de tal modo que as citações nos textos
científicos são mais do que apêndices (Cronin, 1984, 2004). Elas afirmam o entendimento comum dos
autores com relação às bases sobre as quais são atribuídos reconhecimento, direitos e recompensas
simbólicas ligadas à propriedade do conhecimento considerado válido pela comunidade de
pesquisadores. Para Leydesdorff (1998), elas indicam contextos sociais e cognitivos das pretensões de
conhecimento dispostas no meio científico.
Com base nesse quadro analítico, os periódicos passam a ter papel especialmente relevante na
própria medida em que podem ser considerados não apenas repositórios de idéias, mas instrumentos
de preservação da confiabilidade e autenticação do conhecimento científico. Além disso, constituem
meios de comunicação e de distribuição de créditos entre os membros de uma comunidade científica
(Cronin, 1984). Deste modo, periódicos representam práticas sociais da atividade dos pesquisadores,
estando associados ao seu contexto social no que tange à institucionalização de uma cultura acadêmica
orientada para a produção e o reconhecimento. Por conseguinte, atuam como veículos para se alcançar
visibilidade profissional e institucional, fornecendo prestígio aos pesquisadores e ao próprio periódico,
uma vez que o compartilhamento e a divulgação das inovações científicas ocorrem por meio deles
(Moed, 2005; Rousseau, 2002).
Entretanto, a institucionalização desses aspectos traz também situações adversas que precisam ser,
ainda que brevemente, pontuadas. Camí (1997), por exemplo, adverte que há, atualmente, exagero
sobre a necessidade de publicar como modo de sobreviver socialmente na comunidade científica. O
mote publicar ou perecer representa bem a crítica desse autor, que sugere, ainda, haver o risco dos
periódicos irem além do seu papel de disseminador de conhecimento para a valorização superficial de
pesquisadores, grupos ou instituições que promovem seu próprio prestígio, muitas vezes mediante
publicações espúrias.
Souza e Paula (2002), Yamamoto et al. (2002) e Schultze (2005) observam que preocupação
semelhante é também visível no contexto brasileiro. Krzyzanovski e Ferreira (1998) reforçam que essa
situação se agrava diante da proliferação de periódicos, cujas características nem sempre atendem ao
padrão desejável, seja pela ausência de normalização ou de corpo editorial, seja pela irregularidade de
circulação ou, ainda, por conter artigos com baixo nível de originalidade. Todas essas razões,
associadas, no Brasil, às freqüentes interpretações equivocadas da extensão das pressões institucionais
ligadas à avaliação dos programas de pós-graduação strictu sensu, implicam a necessidade de
monitoramento da produção científica em favor, entre outras ações, da avaliação de periódicos.
Abordagens de Avaliação de Periódicos
A avaliação de periódicos pode ter diferentes finalidades, dependendo do público interessado.
Bibliotecários a utilizam como ferramenta auxiliar para a gestão do acervo; cientistas podem tratá-la
como maneira de identificar o local adequado para publicar seus artigos; agências de fomento podem
considerá-la como parâmetro para a concessão de financiamentos e avaliação de programas de
pesquisa; editores podem dela se valer para avaliar políticas e práticas editoriais; e assim por diante
(Coelho et al., 2003; Dubois & Reeb, 2000; Guedes & Borschiver, 2005). Todas essas possibilidades
são consideradas importantes neste artigo, mas chamamos a atenção para o fato de a avaliação de
periódicos permitir sua qualificação em termos da visibilidade que adquirem numa determinada área, o
que denota seu prestígio e, em certa medida, sua repercussão no processo de construção do
conhecimento científico.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
356
Três abordagens podem ser consideradas predominantes em processos de avaliação de periódicos
(vide Coleman, 2007; Dubois & Reeb, 2000; Garfield, 1990; Ken & Tang, 2003; Rousseau, 2002;
Yamamoto et al., 2002). A primeira delas emprega painéis de especialistas que atuam como juízes na
valoração dos periódicos, de acordo com critérios de qualidade previamente definidos. A segunda
forma procura avaliar os periódicos realizando o levantamento da percepção de qualidade conforme
expostas por pesquisadores ou outros grupos representativos da área de interesse. Por fim, a terceira
possibilidade, talvez a mais difundida atualmente, leva em consideração informações bibliométricas,
especialmente das citações recebidas na literatura acadêmica, para avaliar os periódicos (Moed, 2005).
Tradicionalmente, a avaliação da qualidade de periódicos pode abranger inúmeros atributos.
Krzyzanovski e Ferreira (2003) sugerem que na avaliação sejam considerados, além da normalização
rigorosa, os seguintes parâmetros: a qualidade dos artigos quanto ao nível científico, atualidade e
concordância com a temática proposta pela revista; o número de manuscritos submetidos para
avaliação; a qualidade do corpo editorial e dos consultores, incluindo a participação de membros da
comunidade nacional e internacional; os critérios de arbitragem dos textos; a natureza da instituição
publicadora; a abrangência quanto à origem dos trabalhos; a difusão da revista; e a inclusão em
serviços indexadores. De maneira complementar, Rousseau (2002), após revisão dos trabalhos de
Garfield (1990), Testa (1998) e Zwemer (1970), inclui outras características, tais como: o grau de
exigência para aceitação de trabalhos; a rapidez na publicação; a confiabilidade do material publicado;
a freqüência de citações por outros periódicos; a existência de resumos ou sumários em inglês; a
indicação do endereço dos autores; a apresentação de informações bibliográficas completas; a
reputação dos editores e o volume de empréstimo entre bibliotecas.
Essa lista não é exaustiva, evidentemente, e outros critérios podem ser encontrados na literatura
(vide Bollen, Rodriguez, & Van de Sompel, 2006; Coleman, 2007; Uncles, 2004), cujo apego a cada
um deles dependerá da finalidade específica da avaliação (Rousseau, 2002). Vale destacar, no entanto,
que desde os primeiros esforços de indexação de citações de artigos científicos, durante as décadas de
50 e 60 do século 20, houve crescimento acentuado na utilização da bibliometria para estudo das
comunicações científicas, em especial a partir de sua representação formal por meio de referências
apresentadas em trabalhos (Moed, 2005; Wouters, 1999). Gradualmente, os estudos avançaram nas
considerações a respeito das citações realizadas entre periódicos, culminando, anos mais tarde, em um
construto conhecido como fator de impacto. Ele vem sendo bastante utilizado pela comunidade
científica, já que caracteriza a importância da produção cientifica, em função do reconhecimento
outorgado por outros pesquisadores (Silva & Bianchi, 2001).
Avaliação de Periódicos em Administração no Brasil
No Brasil, o fator de impacto ainda é pouco utilizado para a avaliação de periódicos. No campo da
administração, em especial, fica restrito à avaliação da produção intelectual de pesquisadores, em
conformidade com o meio de divulgação de seus trabalhos: a) pela CAPES, como referência para a
qualificação de periódicos internacionais com a finalidade de auxiliar a avaliação dos programas de
pós-graduação stricto sensu; b) como parâmetro de julgamento utilizado por agências de fomento à
pesquisa; c) na avaliação do currículo de pesquisadores (Coelho et al., 2003; Jordão, Garcia, &
Marchini, 2006).
A ausência de um mapeamento da produção científica da área, identificando a relação entre os
artigos e as citações realizadas, na linha do que foi verificado por Yamamoto et al. (2002) na área da
psicologia, praticamente inviabiliza a análise bibliométrica nos moldes do que é realizada
internacionalmente. Na área de Administração, especificamente, a avaliação de periódicos considerada
mais importante é aquela que decorre do uso do Sistema Qualis-CAPES.
Conforme mencionamos anteriormente, os periódicos e outros meios de divulgação da produção
científica são regularmente analisados por comissões de especialistas da respectiva área de
conhecimento na CAPES, auxiliando a avaliação da produção científica dos programas de pósgraduação stricto sensu. Em termos gerais, os conceitos decorrem da combinação da avaliação de duas
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
357
grandes dimensões: qualidade (alta, média ou baixa, correspondendo aos conceitos A, B e C) e
circulação (internacional, nacional e local). Nesse sistema, embora haja um conceito de impacto do
periódico, ele se restringe à avaliação subjetiva de pelo menos dois avaliadores a partir do exame dos
artigos publicados no período da avaliação (CAPES, 2007). Assim, o indicador bibliométrico de
impacto é considerado apenas para a pontuação das publicações realizadas em periódicos
internacionais, indexados no Journal Citation Reports [JCR] da Thomson Scientific (CAPES, 2007).
Vale mencionar que, além do que se realiza por meio do Sistema Qualis-CAPES, outros esforços de
avaliação de periódicos estão em curso. Talvez o mais relevante deles seja aquele realizado pela
Scientific Electronic Library Online [SciELO], projeto desenvolvido pela Fundação de Amparo à
Pesquisa do Estado de São Paulo [FAPESP] em parceria com o Centro Latino-Americano e do Caribe
de Informação em Ciências da Saúde [Bireme], com o apoio do Conselho Nacional de
Desenvolvimento Científico e Tecnológico [CNPq].
No primeiro semestre de 2008, a base eletrônica do SciELO continha 209 periódicos nacionais
distribuídos pelas diferentes áreas do conhecimento, que já podem contar com um programa de
avaliação no mesmo formato daquele realizado pela Thomson Scientific. Entre eles, no entanto, apenas
três periódicos nacionais são da área de administração: RAE-e, RAC e RAP. A despeito de terem
precisado atender a critérios bibliométricos, de normalização, mérito científico e gestão editorial para
fazerem parte da base de dados SciELO (http://www.scielo.org, recuperado em 29 de maio de
2008), pouco pode se concluir a respeito de sua repercussão na área da administração, considerando
os dados hoje disponíveis(1) apenas para os três periódicos.
Fator de Impacto como Instrumento de Avaliação de Periódicos
Criado por Eugene Garfield e Irving H. Sher no início da década de 1960, o fator de impacto (FI)
vem se consolidando como a mais difundida e conhecida medida de avaliação bibliométrica de
periódicos na comunidade científica (Frandsen, 2007; Garfield, 1999; Glanzel & Moed, 2002; Krauss,
2007; Moed, 2005; Rousseau, 2002; Strehl, 2005). Originalmente, o indicador de impacto tinha a
finalidade de servir como ferramenta de seleção de periódicos para inclusão no recém criado Science
Citation Index [SCI] (2) (Garfield, 2005; Glanzel & Moed, 2002). Porém seu uso ganhou ímpeto a
partir de 1976, quando anualmente passou a ser publicado o Journal Citation Reports [JCR] pelo
Instituto de Informação Científica [ISI] (3), hoje Thomson Scientific (Ingwersen et al., 2001; Rousseau,
2002).
O JCR é um conjunto de dados estatísticos que, a cada ano, apresenta medidas quantitativas para
avaliação, categorização e comparação de periódicos. Nele é possível encontrar dados dos últimos dez
anos sobre a freqüência de citação recebida pelo periódico, o montante de artigos por ele publicados, a
freqüência média de citação de cada um desses artigos, entre outras informações(4) (Rousseau, 2002).
A partir delas, outros indicadores bibliométricos são também disponibilizados, dentre os quais o fator
de impacto.
Em função dessa ampliação de escopo, o fator de impacto para periódicos atualmente passou a ser
associado ao prestígio ou qualidade de periódicos (Moed, 2005). Está sendo utilizado por diferentes
públicos e diferentes finalidades, como a avaliação de pesquisadores, grupos de pesquisa ou
departamentos de acordo com os periódicos em que veicularam suas publicações (Coelho et al., 2003;
Glanzel & Moed, 2002; Moed, 2005), além de outros fins que mencionamos anteriormente.
O fator de impacto (FI) de um periódico é, tradicionalmente, calculado a partir da razão entre dois
elementos, citações (C) e artigos publicados (N), para uma janela temporal de dois anos, conforme a
fórmula
. Assim, o cálculo do fator de impacto de um periódico para o ano de 2007, por
exemplo, considera: no numerador o volume de citações no ano corrente para qualquer item publicado
no periódico nos dois anos anteriores, enquanto no denominador está o montante de artigos publicados
pelo periódico nesses mesmos dois anos (Garfield, 1972, 2005).
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
358
Moed (2005) explica que o fator de impacto representa a média aritmética da distribuição de citações
entre os artigos de um periódico, o que, para Wouters (1999), em concordância com Garfield (1955),
expressa a probabilidade de um autor ser citado caso publique no periódico em questão.
Ressaltamos, contudo, que críticas são direcionadas ao uso desse indicador enquanto medida de
avaliação de periódicos. Em especial no que refere às possíveis imperfeições nas bases de dados, ao
processo de seleção de periódicos utilizado pelo JCR, à comparabilidade limitada entre áreas, à
amplitude de dois anos para consideração da janela temporal de análise, entre outros (vide, por
exemplo, Bollen et al., 2006; Camí, 1997; Coleman, 2007). Na realidade, críticas como essas chamam
a nossa atenção mais para o uso indiscriminado do indicador do que, propriamente, para as limitações
técnicas que possam implicar em sua inutilidade.
Garfield (2005), idealizador do fator de impacto, também reforça essa questão alertando para certos
riscos associados à ampliação do uso deste indicador para avaliação de autores e não de periódicos.
Ele considera que o FI foi concebido para ser calculado para uma população relativamente grande de
artigos e citações, o que normalmente não ocorre quando a unidade de analise é alterada para
pesquisadores. Camí (1997), por sua vez, critica o que chama de impactolatria, ou seja, a apreciação
exagerada dos indicadores de impacto, de tal modo a corromper políticas editoriais e a própria noção
de qualidade científica, reduzindo o conceito a uma única medida representativa.
Por outro lado, Saha et al. (2003) constataram, em pesquisa realizada na área médica, haver alta
correlação entre fator de impacto de periódicos e percepção de qualidade expressa por especialistas.
Além disso, o indicador se mostrou menos tendencioso do que outras medidas mais qualitativas. O
argumento principal para a defesa do FI é que os pesquisadores e praticantes percebem que os jornais
com maior fator de impacto são aqueles que apresentam os avanços científicos mais significativos.
Garfield (2005), por sua vez, afirma que o fator de impacto de periódicos sofre pouca variação
quando se amplia a janela temporal de análise para até 15 anos. Glanzel e Moed (2002) sintetizam os
aspectos positivos colecionados ao longo de 40 anos de uso do indicador, reunindo-os em torno de três
características que o consagraram: robustez, compreensão e disponibilidade. Cabe mencionar, todavia,
que algumas circunstâncias podem influenciar no cálculo do fator de impacto. Entre elas, a circulação
do periódico nos círculos acadêmicos, os atrasos nas publicações, ou as restrições ao uso de
referências para indicar a literatura relevante.
PROCEDIMENTOS METODOLÓGICOS
Tendo em vista o objetivo do presente estudo de avaliar os periódicos com base em indicadores
bibliométricos, foram necessárias diferentes ações para o seu delineamento. Inicialmente, foi preciso
estabelecer critérios para a seleção daqueles periódicos que fariam parte da análise. Alguns critérios
foram utilizados: a inserção do periódico no Sistema Qualis-Capes; possuir classificação ‘A’ ou ‘B’
nacional; exibir linha editorial com privilégio para conteúdo predominantemente ligado à área da
administração; e ser editado nacionalmente. Com base nos periódicos selecionados, foi realizada a
contagem de citações.
Vale destacar que desconsideramos periódicos da área de Turismo e de Contabilidade, assim como
outros com abrangência mais exclusiva para a área de Produção e Pesquisa Operacional. As exceções
ficaram por conta da Revista de Contabilidade & Finanças e de Organizações Rurais e Agroindustriais
que, mesmo possuindo foro mais específico, foram incluídos por conter grande número de artigos
sobre administração geral. Além de artigos em periódicos, incluímos como fonte de dados para a
coleta de citações os Anais do EnANPAD (Encontro anual da Associação Nacional de Pós-Graduação
e Pesquisa em Administração), em razão da sua representatividade para a área de administração no
país, bem como o periódico Brazilian Administration Review [BAR], por ser uma publicação editada
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
359
pela ANPAD e classificada como Qualis ‘B’ Internacional. Alguns periódicos sobre os quais não
conseguimos acesso eletrônico ou à edição impressa foram desconsiderados(5).
A partir da escolha das fontes para coleta dos dados, definimos critérios para seleção daqueles
trabalhos que seriam úteis para a contagem das citações. Foram selecionados somente artigos de
natureza acadêmica, não sendo considerados casos de ensino, resenhas, notas bibliográficas, pensatas e
outros tipos de produção que não se enquadraram nos critérios considerados para artigos científicos.
Tal raciocínio foi também adotado para palestras, entrevistas, depoimentos e outros materiais
jornalísticos, bem como apresentações de fóruns, quando restritos apenas a apresentação dos trabalhos.
Trabalhos escritos por autores estrangeiros foram considerados, assim como documentos, desde que
em forma de artigo. Na Tabela 1 estão listados os periódicos avaliados e o número de artigos por eles
publicados por ano.
Tabela 1: Periódicos Utilizados na Análise e Artigos Publicados por Ano
Periódico
BAR*
BASE
BBR
CAD. EBAPE
ENANPAD
GESTÃO.ORG
O&S**
OR&A
RAC
RAE
RAE-E
RAI
RAM
RAP
RAUSP
RBI
RCA
RC&F
READ
REGE**
RGTSI
RN**
RAC-E
Total por Ano
2007
15
14
10
30
958
15
─
8
29
33
9
8
21
42
31
6
8
25
20
─
11
─
21
1.314
2006
20
27
15
36
833
29
38
30
35
39
16
14
27
43
35
14
16
41
60
15
18
24
─
1.425
2005
25
6
11
51
776
20
36
30
36
35
20
16
22
49
29
14
16
25
60
28
16
21
─
1.342
2004a
5
10
10
20
720
18
29
20
42
40
23
12
16
48
29
10
12
31
60
28
7
23
─
1.213
2003a
─
─
─
10
630
12
29
18
41
32
26
─
15
55
26
9
14
30
47
28
─
21
─
1.043
2002a
─
─
─
─
556
─
30
13
29
37
35
─
16
36
28
10
18
18
34
28
─
22
─
910
2001a
─
─
─
─
428
─
34
12
41
38
─
─
7
50
32
─
19
17
36
28
─
19
─
761
2000a
─
─
─
─
363
─
35
10
26
43
─
─
7
65
36
─
19
8
34
28
─
20
─
694
Total
65
57
46
147
5.264
94
231
141
279
297
129
50
131
388
246
63
122
195
351
183
52
150
21
8.702
Fonte: dados da pesquisa.
* Foram considerados artigos publicados na BAR e RAC Edições Especiais BAR.
** Os periódicos não haviam publicados os volumes de 2007 e/ou apresentaram problema de acesso.
a
Artigos utilizados no cálculo dos indicadores bibliométricos, mas não considerados para contagem de citações.
Em síntese, analisamos 22 periódicos e os anais do EnANPAD, que é considerado o evento
científico da área de administração mais importante no país. Entre os anos de 2005 e 2007 foram
publicados 4.081 artigos nesses veículos de divulgação. A lista com o nome completo, sigla e ISSN
está disponível no Apêndice. Contabilizamos os artigos publicados entre os anos de 2000 e 2004
somente para efeito do cálculo do fator de impacto, não os considerando como fontes de citações. Ao
encerrarmos o período de coleta de dados em meados de outubro de 2007, alguns periódicos ainda não
tinham publicado todas as edições do ano. Por exemplo, a revista Organizações & Sociedade, até a
data de coleta, não havia distribuído nenhuma das edições desse ano. Por sua vez, a Revista de Gestão
da USP (REGE, antigo Cadernos de Pesquisa em Administração da USP) e a Revista de Negócios
[RN] não exibiram em seus sites as edições de 2007. A ausência desses dados poderia contribuir
negativamente para o cálculo do fator de impacto desses periódicos; contudo os dados relativos aos
anos de 2005 e 2006 estão completos e permitiram ponderar os resultados.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
360
Em relação aos 4.081 artigos selecionados, verificamos a existência e o número de referências
direcionadas aos periódicos listados para análise (vide Tabela 1). Para cada uma dessas referências,
registramos também o ano de publicação do artigo citado, dado necessário para o cálculo do fator de
impacto e de imediatismo dos periódicos. Nesse processo, avaliamos também o volume de citações
recebidas por outros eventos da ANPAD, como Encontro Nacional de Estudos Organizacionais
[Êneo], Encontro de Estudos em Estratégia [3Es]; Encontro Nacional de Marketing [EMA]; Encontro
Nacional de Administração Pública e Governança [EnAPG], Simpósio de Gestão da Inovação
Tecnológica, Encontro de Gestão de Pessoas e Relações de Trabalho [EnGPR], Encontro Nacional de
Administração de Informação [EnADI] e Encontro Nacional de Ensino e Pesquisa em Administração
[EnEPQ]. Constatamos a ausência de citações no que concerne a esses três últimos eventos.
Avaliamos, com base nos dados tabulados, o montante de citações recebidas por cada um dos
periódicos selecionados para os anos de 2005, 2006 e 2007. Adicionalmente, exploramos esses dados
a fim de conhecer a participação deles sobre o total daquelas citações advindas de artigos publicados
nos anais do EnANPAD e das autocitações.
A partir daí, elaboramos a distribuição do total de citações recebidas por cada periódico. O objetivo
foi evidenciar a estratificação, conforme a lei do elitismo enunciada por Price (1965) que trata da
tendência de concentração de citações em poucas fontes. Avaliamos também o total de autocitações de
cada revista e o número de veículos que a citaram na amostra (fontes citantes), de modo a perceber a
difusão entre os diferentes meios de comunicação acadêmica analisados.
Calculamos, a seguir, os fatores de impacto de cada um dos periódicos para os anos de 2005, 2006 e
2007. Vale destacar que para o cálculo desses indicadores, as citações aos periódicos, utilizadas no
numerador das funções, foram contabilizadas considerando qualquer item referenciado pelos 4.081
trabalhos selecionados para análise, sejam referências a artigos ou não. Já para o denominador,
contabilizamos apenas os artigos científicos publicados pelo periódico no período investigado,
seguindo os critérios previamente descritos. O único periódico que não teve fator de impacto calculado
foi a RAC-e por ainda não ter alcançado dois anos de publicação até o momento da coleta de dados.
A fim de considerarmos diferentes possibilidades de mensuração, calculamos o fator de impacto
com base em diferentes janelas temporais, variando de 2 a 5 anos. Além disso, outras variações
também foram avaliadas no artigo. Na primeira delas, excluímos do cálculo aquelas citações ao
periódico em análise realizadas por artigos nele publicados, as autocitações, de modo a aumentar o
critério de justiça e, portanto a sua validade para mensuração da qualidade (Krauss, 2007). Na outra, a
janela temporal foi reduzida para apenas um ano. Isso nos remete ao que é conhecido como índice de
imediatismo, utilizado para mensurar o impacto das publicações de um periódico durante o seu ano de
publicação, isto é, a rapidez com que novos artigos são citados.
Em uma última etapa, realizamos a comparação dos indicadores por meio de correlação não
paramétrica entre os fatores de impacto calculados tradicionalmente, para dois anos, e aqueles
resultantes de variações da amplitude da janela temporal, para três, quatro e cinco anos.
Adicionalmente, utilizamos o mesmo procedimento com relação aos fatores de impacto resultantes de
cálculo sem a inclusão de citações advindas de artigos publicados nos anais do EnANPAD e
autocitações, considerados isoladamente ou em conjunto. Finalmente, por meio do teste ANOVA,
comparamos o fator de impacto médio para diferentes conjuntos de periódicos, segundo a
categorização do Sistema Qualis-Capes, ajustado de acordo com o propósito do presente estudo:
periódicos classificados como ‘A’ Nacional Antigos; aqueles recentemente classificados como ‘A’
Nacional; e os classificados como ‘B’ Nacional. Essa categorização tem como base os dados
divulgados no site do Sistema Qualis-Capes, em setembro de 2007 e a agenda de alterações para 2008
(publicada em 14 de setembro de 2007).
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
361
ANÁLISE DOS RESULTADOS
A partir da análise dos 4.081 artigos coletados, apresentamos na Tabela 2 o total de citações por períodos.
Consideramos como componente adicional também o total de citações desses mesmos periódicos sem o
EnANPAD, o total de autocitações e o total de fonte citantes. Nos artigos analisados, foram citados um
total de 6.408 artigos publicados pelos periódicos e nos anais dos eventos avaliados, correspondendo a
somente 5% do total de citações. Tal achado corrobora estudos anteriores que afirmam que a nossa
produção acadêmica ainda utiliza dominantemente publicações estrangeiras nas citações (52,4% do total) e
livros (Caldas & Tonelli, 2004; Rodrigues & Carrieri, 2001; Vergara & Pinto, 2001; Vieira, 2003).
Mesmo havendo pequeno percentual de citações de artigos nacionais, alguns dos veículos se
destacam. Entre os analisados, desponta com mais da metade das citações recebidas, os artigos
publicados nos anais do EnANPAD. Na própria contramão da valorização crescente de artigos
publicados em periódicos (considerados trabalhos em sua versão definitiva) verificamos que a
produção científica em administração, ao citar artigos nacionais, considera em grande proporção os
artigos publicados em anais de eventos da ANPAD. Ao somarmos o percentual de artigos publicados
no EnANPAD com outros eventos analisados (EnEO, EMA, 3Es, EnAPG e Simpósio) chegamos a
55,2% dos artigos citados. Essa circunstância pode levar ao questionamento do nível de maturidade da
nossa produção científica, uma vez que artigos em anais de congressos acadêmicos são entendidos
como trabalhos em construção (Bertero, Caldas, & Wood, 1999), cujo desenvolvimento ainda não
passou por critérios de avaliação mais rigorosos.
Tabela 2: Citações por Periódico ou Evento
Citações sem
Periódico ou
Citações
Enanpad
Autocitações
evento
%
n
%
n
%
07
06
05 Total
ENANPAD
1261 1181 821 3263 50,92% 1109 34,0% 2154 66,0%
RAE
392 421 330 1143 17,84% 388 33,9%
72
6,3%
RAC
182 144 125 451 7,04% 139 30,8%
13
2,9%
RAUSP
118 139 121 378 5,90% 179 47,4%
33
8,7%
RAP
88
123
95
306 4,78% 132 43,1%
49
16,0%
O&S
71
57
69
197 3,07%
69
35,0%
20
10,2%
EnEO
33
40
40
113 1,76%
52
46,0%
3
2,7%
RAE-E
39
30
23
92
1,44%
29
31,5%
5
5,4%
READ
31
26
15
72
1,12%
20
27,8%
3
4,2%
RC&F
38
15
7
60
0,94%
38
63,3%
22
36,7%
Simpósio
19
15
24
58
0,91%
15
25,9%
0
0,0%
REGE
26
10
15
51
0,80%
19
37,3%
1
2,0%
3ES
18
17
11
46
0,72%
15
32,6%
0
0,0%
EMA
24
10
3
37
0,58%
10
27,0%
0
0,0%
CAD. EBAPE
10
10
7
27
0,42%
13
48,1%
2
7,4%
BAR*
12
7
4
23
0,36%
8
34,8%
5
21,7%
RBI
4
7
9
20
0,31%
8
40,0%
7
35,0%
EnAPG
12
5
1
18
0,28%
7
38,9%
0
0,0%
RAM
8
2
6
16
0,25%
6
37,5%
1
6,3%
GESTÃO.ORG
8
3
4
15
0,23%
6
40,0%
0
0,0%
RN
1
1
5
7
0,11%
5
71,4%
3
42,9%
BBR
1
3
2
6
0,09%
1
16,7%
0
0,0%
OR&A
1
2
1
4
0,06%
3
75,0%
3
75,0%
BASE
2
1
0
3
0,05%
1
33,3%
1
33,3%
RCA
0
0
1
1
0,02%
1
100,0%
1
100,0%
RGTSI
1
0
0
1
0,02%
0
0,0%
0
0,0%
─
2.273 35,47% 2.398 37,40%
Total
2.400 2.269 1.739 6.408
Obs: RAI, RAC-E, EnADI, EnEPQ e EnGRP não receberam nenhuma citação.
Fontes
Citantes
n
%
22 95,7%
21 91,3%
20 87,0%
21 91,3%
16 69,6%
16 69,6%
11 47,8%
15 65,2%
13 56,5%
7 30,4%
9 39,1%
12 52,2%
7 30,4%
5 21,7%
7 30,4%
5 21,7%
3 13,0%
4 17,4%
6 26,1%
5 21,7%
3 13,0%
2
8,7%
2
8,7%
2
8,7%
1
4,3%
1
4,3%
─
─
Fonte: dados da pesquisa.
* Foram considerados artigos publicados na BAR e RAC Edições Especiais BAR.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
362
Destacamos, entre os periódicos, a Revista de Administração de Empresas [RAE], editada pela
Fundação Getúlio Vargas de São Paulo, que recebeu quase 18% das citações de periódicos nacionais.
Sendo uma das revistas mais antigas e de maior distribuição no país, diferencia-se das demais em
número de citações, uma vez que seus artigos têm penetração não somente no meio acadêmico, mas
também no meio empresarial. Outros periódicos também se destacaram. Por exemplo, a Revista de
Administração Contemporânea [RAC], editada pela ANPAD, apesar de ter somente onze anos de
existência, situa-se logo a seguir como fonte de citações, com 7,04% do total. Periódicos mais antigos
e tradicionais como a Revista de Administração [RAUSP] e a Revista de Administração Pública
apresentaram também número de citações relativamente elevado, com 5,9% e 4,78% respectivamente.
Periódicos com foco mais específico ou direcionados como Organizações & Sociedade e Revista de
Contabilidade & Finanças, bem como aqueles de veiculação exclusivamente eletrônica, como a RAEEletrônica e a Revista Eletrônica de Administração [REAd] vêm a seguir em número de citações. Em
comum entre esses periódicos está a classificação como Qualis ‘A’ Nacional há mais tempo do que os
demais, além de, em sua maioria, terem também maior tempo de existência, o que contribui para a sua
maior visibilidade.
Esses periódicos, além de serem os mais citados, também foram os mais utilizados em termos
absolutos por outras revistas. Comparando as fontes citantes (Tabela 1), observamos que as quatro
fontes mais citadas tendem a ser referenciadas em torno de 90% dos veículos analisados. Entre as
revistas classificadas como Qualis ‘A’, observa-se também grande número de fontes citantes, todas
elas com mais de 50% dos periódicos analisados citando-as (com exceção da RC&F com 30,4%).
Periódicos de classificação ‘B’ também apresentaram grande número de citações como a Revista de
Gestão [REGE], que é bem utilizada por outras revistas (52,2% delas). Em patamar bem mais abaixo
podem ser localizadas a Revista Brasileira de Inovação [RBI] e o periódico Gestão.ORG. Já alguns
periódicos recentemente classificados como Qualis ‘A’, como os Cadernos EBAPE e a Revista de
Administração Mackenzie [RAM] também apresentaram bom número de citações.
Ao analisar os dados sobre a quantidade de citações recebidas pelos periódicos, salta aos olhos uma
constatação preocupante: dos artigos publicados, apenas pequena parte é lida e parte ainda menor é
citada. À luz dos dados até aqui apresentados e como se verá a seguir com a apresentação do fator de
impacto fica evidente que em alguns periódicos a probabilidade de um artigo ser lido e ser citado
aumenta em escala exponencial. Para ilustrar essa relação, apresentamos no Gráfico 1 a curva J
invertida, que demonstra visualmente a relação de artigos citados por veículo de divulgação. Do
periódico mais citado para o menos, o número de citações cai exponencialmente (R² = 95%, p <
0,001), em que seis veículos (20 %) correspondem a 89,54 % do total de citações de todos os
periódicos nacionais avaliados. Ao se considerar apenas os periódicos, excluindo os eventos, a
concentração ainda continua alta com 27% dos veículos, equivalente a seis revistas (RAE, RAC,
RAUSP, RAP, O&S e RAE-e), ficando com 89,35% das citações.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
363
Gráfico 1: Curva J invertida
Fonte: dados da pesquisa.
Na Tabela 2 é possível visualizar o montante de citações dos periódicos, descontadas as citações
recebidas por trabalhos publicados nos anais do EnANPAD, cuja influência é significativa no total de
citações. Consideramos essa análise com o objetivo de verificar se alguns periódicos recebem maior
ou menor número de citações de artigos dos anais desse evento em comparação aos demais. A maioria
das revistas apresentou percentual de trinta a quarenta por cento do total de citações, descontando
aquelas originadas de artigos dos anais do EnANPAD. Como os artigos desse evento correspondem a
mais da metade das publicações, a nossa expectativa era de uma relação percentual significativa, o que
se verificou. O padrão de citações de artigos de evento tende a ser similar ao de citações de periódicos,
não se verificando grandes diferenças de citações entre os dois veículos.
Alguns periódicos, no entanto, apresentaram escore bem maior de citações ao se desconsiderar o
EnANPAD, como a Revista de Contabilidade & Finanças (63,3%), a Revista de Negócios (71,4%), o
periódico Organizações Rurais e Agroindustriais (75%) e a Revista de Ciências da Administração
(100%). A maioria delas apresenta número de citações bastante reduzido (menos de 10 citações nos
três anos), com exceção da Revista de Contabilidade & Finanças, que está entre as mais citadas. Esta
última, por ser de um campo específico, provavelmente tem as suas citações concentradas nela própria
e em outras revistas que dão destaque a essa área.
No que concerne às autocitações, verificamos que a maioria das publicações não apresenta
percentual significativo de referência a ela própria (escore inferior a 20%,). Entre as que revelaram
maior número de autocitações encontra-se a Revista de Contabilidade e Finanças (36,7%), em face do
seu escopo mais específico de atuação, por um lado, e do reduzido número de veículos para publicação
nesse campo, por outro. O mesmo ocorre com a OR&A, que apresenta escore de autocitações de 75%
(3 citações das 4 que recebeu no total). Outras revistas com foro não tão específico receberam maior
número de autocitações, entre elas a Revista Brasileira de Inovação (35%), a Revista de Negócios
(42,9%) e o periódico Base (33,3%).
As autocitações são contabilizadas nos indexadores internacionais como o ISI Web of Science of
Thomson Scientific, entre outros. No entanto são entendidas por muitos pesquisadores como uma
citação de menor valor, já que podem ser fruto da tendência de alguns autores tentarem agradar o
periódico com citação dele próprio, aumentando as chances de aceitação do artigo. Pode até resultar da
atitude deliberada de algumas revistas em exigir a citação de artigos dela mesma (vide, por exemplo,
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
364
Castiel & Sanz-Valero, 2007). Tal postura não tem somente implicações éticas, mas também
implicações para o conhecimento em si, já que pode levar à citação de textos de forma
descontextualizada, alguns deles sem sequer terem sido lidos adequadamente pelos autores que os
citam.
O comportamento de autocitação também pode decorrer do acesso privilegiado que alguns
pesquisadores têm a certos periódicos, o que remete à estratificação social não só do conhecimento,
mas dos mecanismos de comunicação na academia. Em alguns casos, em razão da demora na
avaliação da maioria dos periódicos, certos pesquisadores podem utilizar de sua influência como
conselheiros editoriais ou de seus laços pessoais, para aprovar artigos de forma mais rápida. Em
periódicos com grande número de citações, esse comportamento não implica em distorção no
montante de autocitações. Em revistas com menor número de citações, no entanto, qualquer inclusão
recorrente do mesmo autor, que cita artigos da mesma revista, pode elevar o seu percentual de
autocitação. Diante da pressão por publicação, esse comportamento tende a ser cada vez mais comum,
o que não significa que ele deva ser aceito como correto. Com exceção de artigo escrito por editor, que
usualmente publica um artigo por ano no periódico em que atua, a influência pessoal no processo de
avaliação remete a um tipo de personalismo que não condiz com a postura de imparcialidade,
fundamental na construção do conhecimento científico.
A influência de autocitações no total de citações e no fator de impacto gerou alguns estudos que
desenvolveram medidas ponderadas de avaliação, com o objetivo de descontar as autocitações.
Contudo são raros os estudos que avaliam se as citações ou o fator de impacto ponderado diferem
significativamente dos escores totais. Neste artigo procuramos avaliar também essa relação, que será
tratada em análise posterior.
Ainda que seja considerada relevante, a análise das citações não pondera o total de citações pelo
número veiculado de artigos por periódico. É nesse contexto que ganha relevo e aceitação o fator de
impacto na análise bibliométrica. Na Tabela 3 estão expostos os fatores de impacto dos periódicos
analisados da área de administração para os anos de 2007, 2006 e 2005.
Tabela 3: Fator de Impacto e Imediatismo dos Periódicos
Periódico
RAE
RAC
O&S
RAE-E
BAR*
ENANPAD
RC&F
REGE
RAP
RAUSP
READ
GESTÃO.ORG
RAM
CAD. EBAPE
BBR
BASE
OR&A
RAI
RBI
RCA
RGTSI
RN
Qualis
A
A
A
A
A
A
A
B
A
A
A
B
A Nova
A Nova
A Nova
A Nova
A Nova
B
B
B
A Nova
B
FI-07
0,851
0,451
0,419
0,417
0,267
0,252
0,167
0,140
0,130
0,125
0,108
0,102
0,061
0,046
0,038
0,030
0,000
0,000
0,000
0,000
0,000
0,000
FI-06
0,987
0,654
0,062
0,372
0,233
0,250
0,125
0,036
0,186
0,362
0,083
0,079
0,000
0,042
0,143
0,063
0,020
0,000
0,083
0,000
0,000
0,000
FI-05
1,069
0,566
0,379
0,286
0,200
0,223
0,049
0,107
0,165
0,400
0,037
0,133
0,065
0,100
0,100
0,000
0,000
0,000
0,211
0,000
0,000
0,000
Imed-07
0,000
0,000
nd
0,444
0,000
0,003
0,000
nd
0,000
0,000
0,000
0,000
0,000
0,167
0,000
0,000
0,000
0,000
0,000
0,000
0,000
nd
Imed-06
0,103
0,057
0,000
0,188
0,000
0,008
0,000
0,000
0,047
0,029
0,017
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
Imed-05
0,257
0,139
0,028
0,200
0,120
0,012
0,000
0,000
0,000
0,034
0,017
0,000
0,045
0,059
0,000
0,000
0,000
0,000
0,000
0,063
0,000
0,000
Fonte: dados da pesquisa.
* Apesar de ser classificada como B Internacional, foi tratada como A Nacional neste artigo.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
365
Entre os periódicos analisados, a RAE aparece como a revista de maior fator de impacto na área de
administração, com diferença significativa para os demais periódicos. Observando o fator de impacto
nos três períodos, podemos verificar que, em média, a RAE tende a receber uma citação por artigo
publicado nos dois anos anteriores ao da avaliação. Vários fatores contribuem para essa posição de
destaque: o maior tempo de existência da revista; o vínculo com a Escola de Administração de
Empresas de São Paulo da Fundação Getúlio Vargas [EAESP/FGV], uma das tradicionais e
prestigiosas escolas de gestão no país; a amplitude de circulação da revista, tanto de maneira impressa
como por meio eletrônico; e a preocupação continuada em fazer com que a revista sempre chegue aos
seus colaboradores e leitores.
A segunda revista de maior fator de impacto é a RAC, que é publicada pela ANPAD. Apesar de
existir a pouco mais de 10 anos, projetou-se como periódico de grande visibilidade acadêmica,
principalmente por estar vinculado à associação da área, beneficiando-se, assim, do seu prestígio, da
sua amplitude e da sua imparcialidade em relação a pesquisadores e a programas. Outras revistas como
Organizações & Sociedade, RAE Eletrônica e RAUSP também apresentaram fator de impacto elevado
(entre 0,3 e 0,4), o que permite classificá-las entre as cinco revistas de maior penetração na academia
brasileira de administração. Vale destacar que a RAUSP apresentou fator de impacto pequeno no ano
de 2007 (FI = 0,125). Todavia os dados de 2007 estão incompletos, pois algumas revistas não tinham
publicado todas suas edições até o fim da coleta das informações, o que leva a que esse resultado,
especificamente no caso da RAUSP, deva ser visto com ressalva e seja interpretado com certa cautela.
Os demais periódicos, ao se comparar os fatores nos três anos, oscilaram pouco em termos de fator de
impacto, demonstrando que, mesmo alguns deles estando incompletos em termos dos dados do ano de
2007, não prejudica a análise levada a efeito neste artigo.
Merece destaque também o fator de impacto da Brazilian Administration Review [BAR] que, apesar
de ser periódico lançado no final de 2004, atingiu fator de impacto de 0,267 em 2007, o que significa
um crescimento gradual e consistente em relação aos anos de 2006 e 2005. Na mesma linha do que se
verificou com a RAC, a situação da ANPAD como associação de prestígio no meio acadêmico
brasileiro foi fundamental para impulsionar muito rapidamente o primeiro periódico de administração
no país com foco e amplitude internacional.
Na direção de destacar os fatores de impacto mais elevados, os anais do EnANPAD, que são
publicados pela associação da área, apresentaram FI maior do que a maioria dos periódicos. Tal
resultado pode reforçar a opinião de muitos pesquisadores de que eles deveriam continuar a ser
pontuados como publicação científica. Pela facilidade de acesso e por serem rapidamente colocados à
disposição mediante meios eletrônicos, artigos de eventos podem apresentar descobertas recentes que
serão apresentadas em periódicos somente um bom tempo depois. Apesar de o argumento ser sedutor,
a apresentação de artigo em congressos acadêmicos caracteriza-se como trabalho em processo de
construção e deveria ser pontuado tão somente como mecanismo de participação e envolvimento do
pesquisador, seja ele aluno ou professor, com a sua comunidade acadêmica. Assim, a pontuação na
CAPES deveria considerar o nível de participação do corpo docente e do corpo discente dos
programas de pós-graduação stricto sensu nos congressos científicos relevantes da área, como é o
EnANPAD. Essa valorização demonstraria que a CAPES está atenta para importância do
estabelecimento de redes de relacionamento entre pesquisadores que, por si só, merece pontuação pelo
papel que exercem na construção de uma comunidade científica. Assim, eventos como os da ANPAD
seriam pontuados com o objetivo de envolvimento com a comunidade acadêmica e não como
publicação científica, locus por excelência dos periódicos.
Entre as revistas com fator de impacto significativo enquadra-se a RC&F, mesmo sendo ela de uma
área específica. Considerando a área de contabilidade, o fator de impacto deste periódico tem
significado de grande relevância até mesmo pela ausência de outras revistas alternativas que possam
com ela competir. Ainda outras, de foro mais específico, como a Revista de Administração Pública
apresentaram fator de impacto relevante. Essas revistas enfrentam o desafio de conciliar objeto e
campos do conhecimento de natureza complexa e multidisciplinar. Tais revistas, em avaliações de
impacto por áreas, tendem a ficar em desvantagem, já que não são consideradas em termos do total de
citações pela maior amplitude de suas temáticas.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
366
Algumas revistas classificadas com Qualis ‘B’ tiveram fator de impacto superior a boa parte dos
periódicos recentemente classificados como Qualis ‘A’ pela CAPES. Por exemplo, a Revista de
Gestão da USP (antigo Cadernos de Pesquisa em Administração) e a Revista Eletrônica de Gestão
Organizacional [Gestão.Org], ambas de veiculação eletrônica, tiveram fator de impacto maior do que
todas as revistas enquadradas como Qualis ‘A’ Nacional no ano de 2007.
Esta situação levou-nos a comparar o fator de impacto médio dos periódicos (excluímos o
EnANPAD por razões óbvias) em relação ao conceito atribuído pelo Sistema Qualis-CAPES. Para
tanto, definimos três grupos de periódicos: um formado por revistas classificadas anteriormente à
última avaliação da comissão como Qualis ‘A’; outro grupo formado pelas revistas recentemente
classificadas como Qualis ‘A’; o último composto por periódicos classificados como Qualis ‘B’. Para
averiguar a diferença entre fator de impacto realizamos o teste ANOVA de comparação entre médias,
com os resultados que podem ser visualizados na Tabela 4.
Tabela 4: Comparação dos Fatores de Impacto entre Qualis
Qualis
Fator de Impacto
A Novas
B
A
0,339
0,299 (p < 0,001) 0,289 (p < 0,001)
A Novas
0,039
─
0,010 (p = 0,930)
B
0,049
─
─
Diferença entre grupos: 133,90
Diferença dentre grupos: 213,07
F = 18,853 p-value < 0,001 n = 62 Teste Post hoc: Tamhane
Verificamos que o fator de impacto médio das revistas com classificação Qualis ‘A’ foi de 0,339,
diferenciando-se significativamente do fator de impacto médio das revistas que obtiveram o Qualis
‘A’ recentemente e das classificadas como Qualis ‘B’. No entanto, se comparada a media do fator de
impacto das revistas Qualis ‘A’ Novas com as Qualis ‘B’, não observamos diferença significativa, ou
seja, o fator de impacto desses dois grupos é estatisticamente equivalente. Todavia, como a variância
dentro dos grupos mostrou-se alta, poderia se ter a falsa impressão de que o que importa na
configuração do fator de impacto é a revista em si, e não a classificação no Sistema Qualis. Isso é
verdadeiro apenas para aquelas posicionadas como Qualis ‘A’ por mais tempo.
Para não haver dúvida da diferenciação entre as médias, ilustramos no Gráfico 2 o fator de impacto
médio por grupos, acrescido do intervalo de confiança. É nítido que a maior variação do fator de
impacto dos periódicos ocorre entre as revistas classificadas como Qualis ‘A’, indicando que, nesse
grupo, a probabilidade de um artigo ser citado ocorre mediante a influência do periódico em si, mais
do que a influência do grupo. Contudo se for comparado o fator de impacto médio de periódicos recém
classificados como Qualis ‘A’ com aqueles com classificação Qualis ‘B’, não se verifica diferença
entre eles. Isso indica que, entre os critérios utilizados pela CAPES, em 2007, não se levou em
consideração a probabilidade de uso dos artigos publicados pela revista em termos de citações. Não se
pode afirmar que a qualidade dos artigos seja a mesma, mas somente que esses dois grupos de
periódicos ainda estão longe de atingir a citação média por artigos das revistas Qualis ‘A’ existentes há
mais tempo.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
367
Gráfico 2: Comparação entre Fatores de Impacto por Qualis (Intervalo de Confiança de 95%)
Fonte: dados da pesquisa.
Tais resultados possibilitam questionar os critérios utilizados pela CAPES, em 2007, para avaliar a
influência efetiva de um periódico sobre a construção do conhecimento científico em seu campo. Ao
que parece os critérios utilizados até então não permitem avaliar a influência efetiva de um periódico,
razão pela qual a CAPES vem, mais recentemente, atuando no sentido de realizar modificações no
Sistema Qualis, que, esperamos, possam contribuir mais efetivamente para o desenvolvimento de uma
avaliação mais eficaz.
Acerca do imediatismo, que indica a média de citações por artigos no ano de publicação, em termos
gerais, observamos que ele é praticamente inexistente no campo da pesquisa em administração no
Brasil, já que a maioria das revistas apresentaram fatores nulos (vide Tabela 3). Uma exceção é o
periódico RAE-e, que, sendo veiculado em tempo real por meio eletrônico, teve seu índice de
imediatismo bem mais alto do que as demais revistas. Seria possível até atribuir o alto imediatismo ao
fato de sua veiculação ser eletrônica. No entanto outras revistas, que também disponibilizam seus
artigos exclusivamente pela internet, não apresentam o mesmo resultado. Periódicos que apresentam
fator de impacto elevado como a RAE e a RAC também revelam índice de imediatismo elevado, ao se
comparar com os demais, realçando que há certa relação entre os dois indicadores. Em linhas gerais, o
baixo imediatismo dos periódicos da área de administração ocorre principalmente em decorrência da
demora no processo de avaliação. Se os artigos ficam muito tempo em avaliação para serem
publicados, não há possibilidade de suas referências serem atuais, afetando não só o imediatismo das
revistas, mas o próprio fator de impacto.
Por fim, diante das várias críticas que o fator de impacto recebe em relação ao pequeno período de
tempo que utiliza para avaliar as citações, comparamos o fator de impacto de cada um dos anos
pesquisados com o fator ampliado em três, quatro e cinco anos. Realizamos a comparação com o fator
de impacto sem o EnANPAD, com o ponderado, em que não se considerou as autocitações, e com um
fator de impacto sem o EnANPAD e autocitações.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
368
Tabela 5: Correlação entre Fatores de Impacto por Diferentes Recortes
Fator de Impacto 2007
Fator de Impacto 2006
Fator de Impacto 2005
FI 3
anos
0,97
0,96
0,98
FI 4
anos
0,92
0,95
0,98
FI 5
anos
0,94
0,95
0,98
FI
S/Enanpad
0,87
0,90
0,94
FI Sem Auto
Citação
0,95
0,95
0,98
FI Sem Enanpad
e Auto Citação
0,86
0,66
0,46
Fonte: dados da pesquisa.
Obs. Todas as correlações por meio do teste de Spearman foram significativas.
Ao analisar a correlação entre os fatores de impacto com suas respectivas janelas ampliadas de
tempo, observamos que todas elas apresentaram valor maior que 0,9, o que indica que elas estão
fortemente correlacionadas. Em termos práticos, isso significa que não importa a amplitude de tempo
que é considerado no fator, já que, se o fator de impacto em termos absoluto muda, ele praticamente se
altera para todos os periódicos na mesma proporção. Em suma, mesmo avaliando um curto período de
tempo, o fator de impacto é útil como medida de impacto dos periódicos.
No que concerne à comparação dos valores sem levar em conta o EnANPAD, o que acarreta a
redução da base em mais de sua metade, observamos também correlação forte e significativa, além de
demonstrar que os padrões de citações que ocorrem nos periódicos são similares com os dos eventos.
No caso das autocitações, também verificamos correlação forte e significativa, indicando que não faz
diferença, em termos de classificação, se elas são consideradas ou não no estudo. Em termos gerais,
esses resultados corroboram a confiabilidade do fator de impacto como medida relevante para a
classificação de periódicos da área de administração, já que essa análise ainda não é levada em
consideração pela CAPES como indicador de qualidade da produção científica em nosso campo de
conhecimento.
CONSIDERAÇÕES FINAIS
A análise precedente sobre o fator de impacto dos periódicos brasileiros no campo da administração
nasceu da nossa inquietação com os critérios de avaliação utilizados pelo Sistema Qualis-CAPES, em
meados do ano de 2007. A Comissão de Especialistas da área na CAPES realizava a avaliação dos
programas de pós-graduação stricto sensu em Administração e um componente fundamental na
composição do conceito, que seria atribuído, referia-se à publicação em revistas científicas.
Considerávamos na época, como ainda consideramos nos dias atuais, que os critérios adotados até
então eram excessivamente descritivos e com praticamente nenhuma capacidade discriminatória em
termos de avaliação da qualidade dos periódicos acadêmicos brasileiros da área de administração. É
bem provável que tivessem sido úteis no sentido de orientar certo nível de padronização das revistas
acadêmicas, mas o modelo adotado e a correspondente ficha de avaliação estavam decididamente
superados.
Apesar de termos ampla, o que não significa plena, consciência das dificuldades de se tratar
adequadamente o conceito de qualidade, entendíamos que uma classificação com uso do conceito de
fator de impacto seria mais útil do que o modelo segmentado e descritivo em vigência. Foi o que
orientou a construção deste artigo, com a nítida orientação de que não se pode e não se deve
estabelecer uma relação unidimensional e linear entre a qualificação do impacto de periódicos e a
qualidade da produção científica em um campo de conhecimento como o da Administração.
O que procuramos analisar no artigo foi a relação entre grupos de citantes, representados pelos
autores da comunidade acadêmica por meio dos seus artigos, e o conjunto de trabalhos citados,
representado pelos periódicos. Trata-se, pois, de investigar a expressão agregada das ações de
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
369
reconhecimento acadêmico, que define, por sua vez, hierarquias no campo científico, na linha do
modelo de Leydesdorff (1998). Tem a ver, portanto, com a estratificação da comunicação científica
por meio de periódicos.
Deste modo, a tendência de a CAPES adotar o fator de impacto como componente básico de um
sistema de avaliação de periódicos é desejável e desafiadora. Desejável, pois significará a adoção de
um modelo que deverá valorizar, crescentemente, a qualidade da produção científica, uma vez que o
patamar de exigências é móvel no sentido continuamente ascendente e guarda relação complexa com a
política editorial dos periódicos em circulação, considerados em termos de rede. Desafiadora, uma vez
que implicará em mudanças relevantes na organização dos grupos de pesquisa e na lógica de produção
de conhecimento científico tanto do corpo docente como do corpo discente dos programas de pósgraduação stricto sensu.
Por último, cabe registrar uma preocupação. O fator de impacto, para ser utilizado como modelo de
avaliação, requer a indexação de periódicos em pelo menos uma base de dados confiável e com
reputação científica. No Brasil, a base de dados mais reconhecida é a Scientific Electronic Library
Online (SciELO), que produz estatísticas sobre periódicos e possibilita acesso livre ao conteúdo
daqueles que estão indexados. No entanto, o processo de indexação de periódicos e bastante lento
nessa base de dados e hoje a ScieLO relaciona apenas três periódicos da área de administração, o que
inviabiliza o cálculo do FI no curto prazo.
Artigo recebido em 08.01.2008. Aprovado em 02.07.2008.
AGRADECIMENTOS
Os autores agradecem à colaboração, na coleta dos dados que embasam o presente artigo, do Professor João Marcelo
Crubellate, da doutoranda Claudia Coser e dos seguintes mestrandos: Cristiane Mello, Deborah Pessoa, José Bonfim de
Albuquerque Filho, Karine Francisconi, Luiz Henrique França, Regina Nakayama, Sergio Filipe Chaerki e Vivian Ribeiro de
Oliveira.
NOTAS
1
Informações verificadas no site do SciELO (http://www.scielo.org) em 29 de Maio de 2008.
2
A primeira menção a um indicador de impacto como instrumento de avaliação foi realizada anos antes por Garfield, na
revista Science em 1955. Cinco anos depois iniciou o projeto de Genetics Citation Index, que culminou na publicação, em
1961, do Science Citation Index [SCI] (Garfield, 2005).
3
O Instituto de Informação Científica [ISI], atual Thomson Scientific, foi fundado por Eugene Garfield em 1955 (Moed,
2005). A empresa publica os índices mais relevantes para avaliação de periódicos, por meio da captação de todas as
informações bibliográficas incluindo citações e referências dos artigos ou itens em análise (Rousseau, 2002). Por vários anos,
a empresa foi dirigida por Eugene Garfield.
4
Além das informações mencionadas, o JCR apresenta outros indicadores bibliométricos, como vida-média das citações e
referências, e índice de imediatismo. A indicação da relação entre periódicos, como citantes e citados, também é possível de
ser observada, além da distribuição dessas referências no tempo.
5
Foram excluídos por indisponibilidade os seguintes periódicos: Revista Brasileira de Finanças, Alcance (UNIVALE), Faces
(FACE/FUMEC) e Revista Portuguesa e Brasileira de Gestão (Lisboa).
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
370
REFERÊNCIAS BIBLIOGRÁFICAS
Bertero, C. O., Caldas, M. P., & Wood, T., Jr. (1999). Produção científica em administração de
empresas: provocações, insinuações e contribuições para um debate local. Revista de
Administração Contemporânea, 3(1), 147-178.
Bollen, J., Rodriguez, M. A., & Van de Sompel, H. (2006). Journal status. Scientometrics, 69(3), 669687.
Caldas, M. P., & Tonelli, M. J. (2004). Pesquisa em gestão de recursos humanos: nos anos 1990: um
estudo bibliométrico, Revista de Administração de Empresas, 44(3), 100-114.
Camí, J. (1997). Impactolatría: diagnostico y tratamiento. Medicina Clínica, 109(13), 515-524.
Castiel, L. D., & Sanz-Valero, J. (2007). Entre fetichismo e sobrevivência: o artigo científico é uma
mercadoria acadêmica? Cadernos de Saúde Pública, 23(12), 3041-3050.
Coelho, P. M. Z., Antunes, C. M. F., Costa, H. M. A., Kroon, E. G., Lima, M. C. S., & Linardi, P. M.
(2003). The use and misuse of the “impact factor” as a parameter for evaluation of scientific
publication quality: a proposal to rationalize its application. Brazilian Journal of Medical and
Biological Research, 36(12), 1605-1612.
Cole, S. (2004). Merton´s contribution to the sociology of science. Social Studies of Science, 34(6),
829-844.
Coleman, A. (2007). Assessing the value of a journal beyond the impact factor. Journal of Education
Library and Information Science, 58(8), 1148-1161.
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2007). Avaliação de periódicos
científicos de administração, ciências contábeis e turismo (Relatório do processo de avaliação),
Brasília, DF, Autor.
Cronin, B. (1984). The citation process: the role and significance of citations in scientific
communication. London: Taylor Graham.
Cronin, B. (2004). Normative shaping of scientific practice: the magic of Merton. Scientometrics,
60(1), 41-46.
DuBois, F. L., & Reeb, D. (2000). Ranking the international business journals. Journal of
international business studies, 31(4), 689-704.
Frandsen, T. F. (2007). On ratio of citable versus non-citable itens in economics journals.
Scientometrics, 74(3), 439-451.
Garfield, E. (1955). Citation indexes for science. Science, 122(3159), 108-111.
Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178(4070), 471-479.
Garfield, E. (1990). How ISI selects journals for coverage: quantitative and qualitative considerations.
Essays of an Information Scientist, 13(22), 185-193.
Garfield, E. (1996). How can impact factors be improved? British Medical Journal, 313 (7054), 411413.
Garfield, E. (1999). Journal impact factor: a brief review. Canadian Medical Association Journal,
161(8), 979-980.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
371
Garfield, E. (2005, September). The agony and the ecstasy: the history and meaning of the journal
impact factor. Proceedings of International Congress on Peer Review and Biomedical
Publication. Chicago, EUA, 5.
Glanzel, W., & Moed, H. F. (2002). Journal impact measures in bibliometric research. Scientometrics,
53(2), 171-193.
Guedes, V. L. S., & Borschiver, S. (2005). Bibliometria: uma ferramenta estatística para a gestão da
informação e do conhecimento em sistemas de informação, de comunicação e de avaliação
científica e tecnológica. Anais do Encontro Nacional de Ciência da Informação, Salvador, BA,
Brasil, 6.
Ingwersen, P, Larsen, B., Rousseau, R., & Russel, J. (2001). The publication-citation matrix and its
derived quantities. Chinese Science Bulletin, 46(6), 524-528.
Jordão, A., Garcia, R., & Marchini, J. (2006). Fator de impacto e pós-graduação stricto sensu em
alimentos, nutrição e ciência e tecnologia de alimentos. Revista de Nutrição, 19(6), 793-802.
Ken, P., & Tang, Y. (2003). Identifying and evaluating the universe of outlets for information systems
research: ranking the journals. Journal of Information Technology Theory and Application, 5(1),
63-84.
Krauss, J. (2007). Journal self-citation rates in ecological sciences. Scientometrics, 73(1), 79-89.
Krzyzanovski, R. F., & Ferreira, M. C. G. (1998). Avaliação de periódicos científicos e técnicos
brasileiros. Ciência da Informação, 27(2), 165-175.
Krzyzanovski, R. F., & Ferreira, M. C. G. (2003). Periódicos científicos: critérios de qualidade.
Pesquisa Odontológica Brasileira, 17(supl.1), 43-48.
Leydesdorff, L. (1998). Theories of citation? Scientometrics, 43(1), 5-25.
Merton, R. K. (1957). Priorities in scientific discovery: a chapter in the sociology of science. American
Sociological Review, 22(6), 635-659.
Merton, R. K. (1988). The Matthew effect in science, II: cumulative advantage and the symbolism of
intellectual property. Isis, 79(4), 606-623.
Moed, H. F. (2005). Citation analysis in research evaluation. Netherlands: Springer.
Price, D. J. S. de (1965). Networks of scientific papers. Science, 149(3683), 510-515.
Rodrigues, S. B., & Carrieri, A. P. (2001). A tradição anglo-saxônica nos estudos organizacionais
brasileiros. Revista de Administração Contemporânea, 5(Edição Especial), 81-102.
Rousseau, R. (2002). Journal evaluation: technical and practical issues. Library Trends, 50(3), 418439.
Saha, S., Saint, S., & Christakis, D. (2003). Impact factor: a valid measure of journal quality? Journal
of Medical Library Association, 91(1), 42-46.
Schultze, S. (2005). Características de periódicos científicos produzidos por editoras universitárias
brasileiras. Informação & Sociedade, 15(2), 157-179.
Silva, J. A., & Bianchi, M. L. P. (2001). Cientometria: a métrica da ciência. Paidéia, 11(21), 5-10.
Souza, E. P., & Paula, M. C. S. (2002). Qualis: a base de qualificação dos periódicos científicos
utilizada na avaliação CAPES. InfoCAPES, 10(2), 6-24.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff
372
Strehl, L. (2005). O fator de impacto do ISI e a avaliação da produção cientifica: aspectos conceituais
e metodológicos. Ciência da Informação, 34(1), 19-27.
Testa, J. (1998). A base de dados ISI e seu processo de seleção de revistas. Ciência da Informação,
27(2), 233-235.
Uncles, M. (2004). Journal rankings: how much credence should we give them? Australasian
Marketing Journal, 12(2), 67-72.
Vergara, S. C., & Pinto, M. C. S. (2001). Referências Teóricas em Análise Organizacional: um Estudo
das Nacionalidades dos Autores Referenciados na Literatura Brasileira. Revista de
Administração Contemporânea, 5(Edição Especial), 103-121.
Vieira, F. G. D. (2003). Narciso sem Espelho: A Publicação Brasileira de Marketing, Revista de
Administração de Empresas, 43(1), 81-90.
Wouters, P. (1999). The citation culture. Tese de doutorado. Faculteit der Scheikunde, University of
Amsterdam, Amsterdam, Netherlands.
Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S., Bueno, J. L. O., &
Guedes, M. C. (2002). Avaliação de periódicos científicos brasileiros da área de psicologia.
Ciência da Informação, 31(2), 163-177.
Zwemer, R. L. (1970). Identification of journal characteristics useful in improving input and output of
a retrieval system. Federation Proceedings, 29(5), 1595-1604.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e
Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007
373
APÊNDICE
Periódicos investigados
Periódico
BAR. Brazilian Administration Review
Base (UNISINOS)
BBR. Brazilian Business Review
Cadernos EBAPE.BR (FGV)
GESTÃO.Org. Revista Eletrônica de Gestão Organizacional
O&S. Organizações & Sociedade
Organizações Rurais e Agroindustriais
RAC Eletrônica (Online)
RAC. Revista de Administração Contemporânea
RAE Eletrônica
RAE. Revista de Administração de Empresas
RAI. Revista de Administração e Inovação
RAM. Revista de Administração Mackenzie
RAP. Revista Brasileira de Administração Pública
RAUSP. Revista de Administração
REAd. Revista Eletrônica de Administração
REGE. Revista de Gestão USP
Revista Brasileira de Inovação
Revista Contabilidade & Finanças
Revista de Ciências da Administração (CAD/UFSC)
Revista de Gestão da Tecnologia e Sistemas de Informação
Revista de Negócios
Sigla
BAR
BASE
BBR
Cad. Ebape
Gestão.Org
O&S
OR&A
RAC-E
RAC
RAE-E
RAE
RAI
RAM
RAP
RAUSP
REAd
REGE
RBI
RC&F
RCA
RGTSI
RN
Qualis
B Inter.
A Nacional
A Nacional
A Nacional
B Nacional
A Nacional
A Nacional
A Nacional
A Nacional
A Nacional
A Nacional
B Nacional
A Nacional
A Nacional
A Nacional
A Nacional
B Nacional
B Nacional
A Nacional
B Nacional
A Nacional
B Nacional
ISSN
1807-7692
1807-054X
1807-734X
1679-3951
1679-1827
1413-585X
1517-3879
1981-5700
1415-6555
1676-5648
0034-7590
1809-2039
1518-6776
0034-7612
0080-2107
1413-2311
1809-2276
1677-2504
1519-7077
1516-3865
1807-1775
1413-3849
Obs: A lista completa dos periódicos da área de administração classificados pelo sistema Qualis da CAPES está disponível no
site www.CAPES.gov.br.
RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008
www.anpad.org.br/rac-e