O Ocaso da Ciência Nacional – Breves Considerações1 O Brasil tem se desenvolvendo na área de ciência ao longo dos últimos 50-­‐60 anos graças a institucionalização da atividade científica, que deixou de ser um hobby de médicos, naturalistas e físicos bem intencionados, para ser uma atividade realmente profissional. Três marcos que serviram de motores da ciência foram a criação do CNPq, da CAPES e da Fapesp. Nesse sentido, se olhamos para a produção nacional de ciência, que é publicada em grande parte em periódicos científicos do exterior (e em alguns periódicos nacionais que publicam em inglês e têm leitores no mundo todo) tem crescido realmente bastante. Aumento na quantidade de publicações (olhando ano a ano) reflete aumento na atividade científica. Para se ter uma ideia do crescimento na quantidade de artigos científicos do Brasil, em 1988 publicamos apenas 2 mil artigos (ver Hermes-­‐Lima et al. 2006). Posteriormente, em 2001, passamos para 14 mil artigos, e para 56 mil em 2012 (1,9% e 2,2% dos artigos científicos do mundo, em 2001 e 2012, respectivamente – de acordo com dados da Scopus**), vide figura ao lado. O mesmo grande crescimento tem acontecido em vários países “em desenvolvimento”, como México, Colômbia, Irã, China e etc. **O Scopus é um imenso banco de dados europeu que acompanha as publicações em milhares de revistas científicas de todo o mundo, assim como as citações desses artigos. Eles têm um site (Scimago) onde os dados são agrupados por ano, por pais e por área/sub-­‐área do saber. É de acesso livre e muito simples de utilizar. http://www.scimagojr.com/ Um certo nível de crescimento anual é bom, pois mostra que estamos avançando. Mas quando o crescimento é rápido demais (e isso passa a acontecer no Brasil de 2005 em diante), cria-­‐se um problema, pois se passa a focar mais na quantidade que na qualidade da ciência. Pesquisa científica é uma atividade que precisa de tempo para ser maturada. Geralmente se leva de 1 a 3 anos coleta de dados, para depois um período de análise global do que foi observado (para se chegar a conclusões, ver se a hipótese original da pesquisa foi confirmada ou não, e também entender os mecanismos que levaram a tais resultados, sejam eles processos biológicos, moleculares, físicos, patológicos e etc) e finalmente a fase crucial, que é escrever o artigo científico – que pode levar de 3-­‐6 meses até 1-­‐2 anos, dependendo do grau de dificuldade e complexidade do trabalho. Quando um grupo de pesquisa publica em grande quantidade e/ou com muita velocidade, isso quase sempre compromete a qualidade do que é produzido. Isso gera artigos que são, em geral, de baixa relevância acadêmica, sendo assim pouco citados. 1
Estudo realizado por colaboradores do Instituto Teotônio Vilela 1 Mas como medir a qualidade da ciência? É um assunto que vem sendo tema de debate por pelo menos 2 décadas. A forma mais adequada seria ver a importância científica do estudo em si. E quem é da área/sub-­‐área do estudo que foi publicado, sabe diferenciar a boa ciência de má ciência (má ciência não é ciência fraudada, mas ciência com pouca relevância acadêmica). Porém, quando se analisa a produção de uma universidade, de uma grande cidade ou de um pais inteiro, é impossível se fazer uma análise qualitativa, pois estamos falando de centenas ou milhares de artigos científicos publicados por ano. Neste sentido, uma maneira que tem sido muito utilizada é verificar o impacto dos trabalhos (de um pais, por exemplo) por meio das citações que esses artigos recebem. Em geral (mas não é sempre a regra), boas pesquisas recebem mais citações que pesquisas que não são tão importantes (olhando isso dentro da mesma sub-­‐área do conhecimento, por exemplo, comparando a produção de artigos de química de uma pais com o de outro). Se os países apresentam uma população de químicos-­‐pesquisadores mais ou menos de igual tamanho, o pais que tiver mais citações, seria aquele com melhor impacto da área de química -­‐ ou seja, o pais que produziu estudos químicos com maior relevância acadêmica. Outra forma de quantificar a qualidade da ciência é olhar para os patentes que são gerados como frutos de pesquisas acadêmicas. Apesar de ser um excelente indicador de utilidade (e aplicabilidade) da pesquisa, não iremos abordar esse tema no presente texto. O banco de dados que utilizamos em nossas análises (Scopus/Scimago) não cobre patentes – além disso, é uma discussão complexa que não domino. Vamos então focar de aqui em diante na questão das citações. Olharemos um exemplo, o caso da química, em um ano específico. Em 2010 a Alemanha produziu 10.019 artigos de química (de acordo com dados do Scimago) e estes artigos receberam 85.139 citações, enquanto o Japão produziu 10.012 artigos (quase o mesmo que a Alemanha), que foram citados 66.689 vezes. Nesta comparação, observamos facilmente que os químicos da Alemanha produziram estudos de maior impacto que os do Japão (8,50 versus 6,66 citações por artigo). Se utilizamos “impacto” como proxy de “qualidade” (ver Hermes-­‐Lima et al. 2007), podemos dizer com boa dose de certeza que a ciência química da Alemanha, em 2010, produziu estudos de mais qualidade que os do Japão. Essa normalização qualidade-­‐impacto só pode ser usada quando estamos nos referindo a um conjunto de milhares de estudos. Se comparamos populações que produziram, por exemplo, 10 estudos cada, dai a quantidade da variáveis de impacto é grande demais a ponto de não poder ser mais proxy de “qualidade”. Isso porque há estudos de altíssima qualidade com poucas citações (e também é normal que certos artigos levem anos para serem reconhecidos e citados) e artigos de baixa qualidade com muitas citações. Mas isso se “normaliza” quando estamos falando de duas populações grandes. Ou seja, uma minoria de artigos ruins (de cada pais) recebe muitas citações, e uma minoria de bons artigos recebe poucas citações. Nesse sentido, podemos dizer que a quantidade de citações é um excelente termômetro de qualidade. Mas isso só serve se os países em comparação são mais ou menos parecidos em termos populacionais. Vamos ver um outro exemplo, olhando agora para a pequena ilha de Singapura. Em 2010 eles publicaram 1.256 artigos de química (8 vezes menos que Japão ou Alemanha), e estes artigos que receberam “apenas” 15.927 citações (menos que Alemanha ou Japão). Ora, uma pessoa desavisada diria que o impacto dos artigos de química de Singapura é MUITO MENOR que os do Japão ou Alemanha, afinal receberam MUITO menos citações. Ora, isso seria totalmente injusto! Como então comparar Singapura com Alemanha ou Japão? Simples, pela quantidade de 2 citações por artigo (vamos passar a usar o termo CPP -­‐ “citations per paper”). O índice CPP de Singapura em 2010 foi de 12,68, ou seja, quase o dobro do CPP do Japão (que foi 6,66), e 49% maior que o da Alemanha (CPP = 8,50). Acho que agora o leitor deve ter ficado curioso sobre os indicadores do Brasil, certo? Pois bem, em 2010, os químicos brasileiros publicaram 2.553 artigos (bem mais que Singapura), que foram citados 4.604 vezes. Isso dá um índice CPP de 4,66. É 2,7 vezes menor que o de Singapura (observem que o Brasil publicou mais artigos que Singapura, porem teve MENOS citações!). Neste sentido, a melhor forma de se comparar países em termos de impacto (proxy de qualidade) da ciência é pelo índice CPP. Há ainda a facilidade que o site Scimago nos dá todos os números de forma facilmente acessível – e de graça. Veja abaixo o link para os dados de produção de química no mundo para países que publicaram pelo menos 500 artigos naquele ano. Essa listagem inclui 43 países. No ranking CPP, o Brasil está na posição 36 (bem ruim, posição 36 entre 43 países!). Singapura é o 1º colocado, Alemanha está na posição 12 e o Japão na posição 23. Nossa vizinha Argentina está na posição 31 (CPP = 5,44). Ranking de países que publicaram pelo menos 500 artigos de química em 2010 http://www.scimagojr.com/countryrank.php?area=1600&category=0&region=all&year=2
010&order=cd&min=500&min_type=it Quando fazemos uma análise da posição do Brasil em termos de quantidade de artigos de química, nessa mesma lista de 43 países, estamos na posição 16. Em termos de quantidade nominal de citações, estamos na posição 21. Em uma visão ufanista, poderíamos comemorar ser o 16º lugar em quantidade de artigos de química (e essa posição, a 16, é a mesma se analisamos a lista dos 100 países que mais publicaram artigos de química em 2010). Mas como pudemos ver, quantidade não é qualidade, nem em química e nem em nenhuma área da ciência. Por exemplo, em medicina, estamos na posição 13 entre os países que mais publicaram artigos médicos em 2010. Mas a posição do Brasil no ranking CPP é 32 entre os países que publicaram pelo menos 2 mil artigos médicos (são 37 países na lista) em 2010 (ver link abaixo). O CCP do Brasil em medicina (em 2010) é 3,61 enquanto que o do 1º lugar, a Finlândia, é de 9,55 – uma diferença de 2,6 vezes! Ranking de países que publicaram pelo menos 2000 artigos de medicina em 2010 http://www.scimagojr.com/countryrank.php?area=2700&category=0&region=all&year=2
010&order=cd&min=2000&min_type=it Essa posição ruim do Brasil no ranking CPP acontece em TODAS as áreas da ciência (fiz uma análise detalhada sobre isso em meu blog em março de 2013). Não vale a pena listar área por área (vejam o link para a postagem do blog logo abaixo), mas vamos colocar alguns exemplos. Em física, estamos na posição 35 entre 46 países que publicaram pelo menos 500 artigos de física em 2010 (CPP do Brasil = 4,47; CPP do 1º lugar, a Dinamarca = 10,26). Em biologia (incluindo agricultura) estamos na posição 43 entre os 45 países que publicaram pelo menos 500 artigos em 2010 (CPP do Brasil = 2,29; CPP do 1º lugar, a Suíça = 8,48). Em todos os casos estamos em um posição MUITO RUIM nesse ranking – é uma vergonha. Se olharmos e, anos diferentes de 2010, a situação do Brasil de lanterninha no ranking CPP não muda. Mas vamos focar no caso da biologia. Em 2011 estávamos na posição 48 do ranking CPP 3 dentre os 50 países que publicaram pelo menos 500 artigos de biologia naquele ano (CPP do Brasil = 1,09; CPP do 1º lugar, a Suíça = 3,73). No ano de 2008 estamos na posição 38 dentre os 45 países que publicaram pelo menos 500 artigos de biologia (CPP do Brasil = 5,28; CPP do 1º lugar, a Suíça = 15,53). Observa-­‐se que em 2008 estamos um pouco menos pior que em 2010 e 2011 – pelo menos em biologia. Impacto ao longo do tempo Um ponto que precisa ser avaliado é como está a situação do impacto dos artigos brasileiros ao longo dos anos, para saber se melhorou, piorou ou se ficou estável. Não se pode fazer isso olhando os valores de CPP ao longo dos anos, pois eles diminuem a medida que avançamos de anos mais distantes para o presente. Isso porque os artigos precisam de tempo para serem citados. Um trabalho publicado em 2008 terá mais anos para ser citado que um publicado em 2012. Como vimos acima, os valores de CPP para trabalhos de biologia do Brasil eram 5,28 em 2008, caindo para 2,29 em 2010 e 1,09 em 2011. Se olhamos mais para trás, digamos, 2001 e 2005, o valores de CPP são maiores: 14,83 e 11,39, respectivamente (o valor de CPP do 1o lugar em 2001 foi de 30,37 – da Suíça). Assim, a melhor forma de avaliar o impacto de um pais ao longo dos anos é saber o quão perto ou longe ele está do 1º lugar em termos do índice CPP. Vamos dar um exemplo. Em 2001 o valor de CPP do Brasil (em biologia) era 48,8% do valor da Suíça (como que se chega nesse valor? 14,83 dividido por 30,37 x 100). Em 2005, o valor do CPP brasileiro (em biologia) era 50,4% do valor do 1º lugar – naquele ano UK foi o 1º lugar (CPP = 22,59). Em 2008 o CPP do Brasil foi 40,0% do valor do 1º lugar (Suíça, CPP = 15,53). Em 2010 passou para 27,0% do valor do 1º lugar (Suíça, CPP = 8,48). Em 2011 passou para 29,2% do 1º lugar – a Suíça. Podemos olhar mais para trás, para o final do século 20. Em 1998, o CPP do Brasil em biologia (CPP = 13,33) foi 42,5% do valor do 1º lugar – no caso foi a Holanda (CPP = 31,35). Se plotamos esses valores citados acima – sobre o impacto da pesquisa biológica nacional -­‐ em uma curva do tempo (adicionando o resto dos anos) percebemos um pequeno aumento do CPP-­‐em-­‐relação-­‐ao-­‐1º lugar (é o que podemos chamar de índice de impacto relativo) entre o final dos anos 90 e 2005, seguindo por uma queda acentuada até 2012 – ver figura ao lado (os dados dessa figura estão na tabela abaixo). Esse perfil de aumento até 2005, seguido de queda até 2012 mostra que a ciência biológica brasileira teve uma pequena melhora de impacto (proxy de qualidade) até 2005, seguindo de uma queda nos anos seguintes (de 2005 em diante temos os efeitos das novas políticas da CAPES na ciência e tecnologia, que discutiremos a seguir – causaram efeitos devastadores na qualidade de nossa ciência). Valor percentual do CPP do Brasil em biologia em relação ao 1º lugar do mundo 4 1997 – 41.0% (CPP do Brasil = 12,77; CPP da Suíça = 31,17) 1998 – 42,5% (dados no texto acima) 1999 – 44,6% (CPP do Brasil = 13,67; CPP da Suíça = 30,63) 2001 – 48,8% (dados no texto acima) 2002 – 45,9% (CPP do Brasil = 13,50; CPP da Suíça = 29,39) 2005 – 50,4% *ponto de inflexão da curva* (dados no texto) 2006 – 38,6% (CPP do Brasil = 7,93; CPP da Suíça = 20,56) 2007 – 38,3% (CPP do Brasil = 7,18; CPP da Suíça = 18,73) 2008 – 40,0% (dados no texto acima) 2009 – 32,3% (CPP do Brasil = 3,83; CPP da Suíça = 11,85) 2010 – 27,0% (dados no texto acima) 2011 – 29,2% (dados no texto acima) 2012 – 27,1% (CPP do Brasil = 0,23; CPP da Suíça = 0,83) Obs: dados de 2003 e 2004 foram plotados direto no gráfico O caso da química Mas não podemos ficar apenas na situação da biologia, pois há muitas áreas em ciência que são cobertas pelo site Scimago. Daria um trabalho monstro saber o que acontece em cada área do saber ao longo dos anos. Mas para ilustrar pelo menos mais uma área da ciência, vamos ver o que aconteceu com a química (que foi mencionada nos parágrafos acima) entre 1997 e 2012. O que se verificou aqui é o impacto relativo das publicações do Brasil se mantiveram estáveis entre 1997 e 2006 (ou seja, o CPP do Brasil dividido pelo CPP do 1º lugar). A partir de 2007 começa um mergulho para o abismo (ver figura ao lado). Passamos de um impacto de aproximadamente 50% do 1º lugar em 2006 (EUA foi o 1º lugar no ranking CPP em 2006, entre países que publicaram pelo menos 500 artigos de química naquele ano) para menos 24% em 2012 (nesse ano Singapura foi o 1º lugar). O que observamos é que tanto na química, como na biologia, há uma brutal perda de impacto relativo de nossas publicações a partir de um determinado ano. Na biologia esse ano foi 2006 e na química foi 2006. 5 Todas as áreas da ciência reunidas O gráfico ao lado mostra a evolução do impacto relativo de todas as áreas da ciência brasileira juntas. E verificamos um resultado MUITO semelhante ao observado para a biologia: uma melhora do índice de impacto relativo (CPP do Brasil dividido pelo CPP do 1º lugar – dependendo do ano foi a Suíça ou a Dinamarca) entre 1997 e 2005 (em 2005 estávamos com quase 48% do CPP do 1º lugar). É seguido de uma queda dramática até 2012. Como podem perceber, é um filme que se repete essa queda de impacto relativo da ciência nacional (vimos isso acima no caso da biologia e química). Mas seria uma “sina” dos países em desenvolvimento apresentar essa perda de impacto científico? A reposta é não. Fiz recentemente (em 2013) uma análise do Chile e da Argentina e verifiquei que a coisa é diferente por lá. No caso da Argentina há uma melhora do impacto relativo, verificando todas as áreas da ciência reunidas, comparando o período 2003-­‐2011 com o período 1997-­‐2002 (ver gráfico abaixo). Além disso, verifiquei também que o impacto em 2012 foi superior ao de 2011: passou para 58,5% do 1º lugar em 2012! O Chile também apresentou uma melhora entre 2009 e 2012. O impacto relativo as publicações chilenas em 2012 foi de 66% do 1º lugar – MUITO MELHOR que o do Brasil, que foi apenas de 34% (em 2012)! Importante deixar bem claro que esse tipo de análise de impacto relativo nunca foi divulgado pela imprensa (apenas o meu blog tem mostrado esses dados). O que saiu uma vez, na Folha de SP (em 22/04/2013, artigo de página inteira, e no editorial da Folha no dia seguinte), foi o fato do Brasil estar bem na lanterninha mundial em termos de ranking CPP em um determinado ano (eu que passei todos os dados para a jornalista que escreveu a reportagem). Mas nunca se mostrou na imprensa que o impacto da ciência brasileira só vem piorando. Não sei o motivo, talvez vergonha. O que a CAPES (que é comandada desde 2003 por um veterinário ligado ao PT) vem mostrando de forma enfática (e com grande repercussão na mídia) é que o Brasil, a cada ano, tem melhorado sua posição mundial no ranking de quantidade de publicações. Mas nunca teve coragem para mostrar que a qualidade de nossa ciência, olhando o seu valor médio, só tem piorado. 6 Mas a culpa é do pesquisador? Não. Posso afirmar que não. E explicarei o que está acontecendo em um próximo artigo. A culpa é da pressão sem limite (em especial da CAPES; o CNPq já foi assim, mas tem revisado seus conceitos de política científica nos últimos anos, graças a Deus; a FAPESP nunca se pautou por quantidade de artigos) para se publicar cada vez mais rápido em vasta quantidade. O que interessa ao governo é mostrar que o Brasil está publicando cada vez mais artigos, como se isso tivesse alguma relevância. Mas conta muito em eleições, pois o eleitor é ufanista e adora números que nos elevem a patamares “mundiais”. Posição do Brasil em termos de quantidade de publicações (todas as áreas da ciência reunidas): 2012 = 13º lugar (55,8 mil artigos) – o 1º lugar (EUA) publicou 537 mil artigos 2010 = 13º lugar (47,2 mil artigos) – o 1º lugar (EUA) publicou 526 mil artigos 2008 = 13º lugar (40,3 mil artigos) – o 1º lugar (EUA) publicou 477 mil artigos ** 2006 = 15º lugar (32,6 mil artigos) – o 1º lugar (EUA) publicou 472 mil artigos 2004 = 16º lugar (22 mil artigos) – o 1º lugar (EUA) publicou 418 mil artigos 2002 = 17º lugar (16,6 mil artigos) – o 1º lugar (EUA) publicou 341 mil artigos 2000 = 17º lugar (13,2 mil artigos) – o 1º lugar (EUA) publicou 313 mil artigos **Observem que a quantidade de artigos do Brasil em 2008 foi quase o dobro que a quantidade de 2004. O 1º lugar (Estados Unidos) teve um pequeno aumento no período de 2004 a 2008. Link para a situação em 2012: http://www.scimagojr.com/countryrank.php?area=0&category=0&region=all&year=2012&order=i
t&min=1000&min_type=it 7