Indicadores em escala nacional:
discussão conceitual e possibilidades
para a PC&T brasileira
Rogério Mugnaini
Indicador: definições
Indicadores proveem informação indireta do
fenômeno ou evento a que eles estão
aplicados. Um indicador é uma medida de um
item usado para prover informação de outro,
item imensurável (STEAD apud HOLBROOK,
1992, p. 264).
Indicador: definições
Chaparro (1996) explica que indicadores
complementam estatísticas (medidas
estáticas), ao passo que focam a dinâmica do
processo de desenvolvimento da C&T a partir
da análise conjunta de variáveis e verificando
sua influência no processo.
Indicador: definições
Mais precisamente, um indicador em C&T é, em
analogia a um indicador social ou econômico,
uma medida em geral quantitativa usada para
substituir, quantificar ou operacionalizar
dimensões relacionadas à avaliação do
processo e grau de desenvolvimento científico
e tecnológico (JANNUZZI, 2001 e 2002).
Indicadores e as políticas nacionais
Indicadores de C&T propostos no PADCT III
(Mugnaini et al., 2004)
Cadeia de avaliação dos esforços e
resultados de PC&T
(Mugnaini et al., 2004)
Princípios do indicador
Excellence in Research
for Australia
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
1. Quantitativo
– Medidas objetivas com metodologia definida que produzirá
resultados sempre confiáveis, independente de quando ou por
quem os princípios são aplicados;
2. Reconhecido internacionalmente
– Considerando que nem todos os indicadores permitirão
comparabilidade internacional direta, os mesmos devem ser
medidas de qualidade de pesquisa reconhecidas
internacionalmente;
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
3. Comparável a indicadores usados por outras áreas
– Devem ser capazes de identificar níveis comparáveis de
qualidade de pesquisa entre as áreas;
4. Capaz de ser usado para identificar excelência
– Devem ser capazes de avaliar a qualidade da pesquisa, e
quando necessário, focado em identificar excelência;
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
5. Relevante para pesquisa
– Devem ser relevantes à componente de pesquisa de
qualquer disciplina;
6. Reprodutível e verificável
– Devem ser baseados em metodologias transparentes
e disponíveis publicamente, ao ponto de instituições
poderem reproduzi-los por si mesmas;
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
7.
Temporal
– Devem ser específicos a um período de tempo particular
conforme o período de referência;
8.
Impacto contextual
– Devem sugerir respostas/conclusões numa direção desejável
e não resultar em consequências perversas indesejáveis;
– Devem limitar seu escopo para impedir que grupos de
interesses ou indivíduos manipulem o sistema a seu favor.
(AUSTRALIAN RESEARCH COUNCIL, 2008)
O que se deve esperar dos indicadores
Van Raan (1993) elenca alguns grupos de problemas metodológicos:
Validade e confiança relacionadas à:
• Aplicabilidade - A espera de que os indicadores sanem as
necessidades dos usuários e que eles meçam o que foram
designados para medir, se referindo a validade. Na questão da
segurança, espera-se que eles produzam os mesmos resultados
quando recalculados. Diferenças podem advir de bases de dados
utilizadas para construção dos indicadores.
• Precisão e significância estatística de valores numéricos calculados
e, em particular, de tendências de indicadores; e relatividade - Não
há um padrão para comparação dos indicadores. Não se sabe o
significado de magnitudes altas ou baixas (o autor diz que uma
solução prática é a comparação com a média mundial, por
exemplo).
Fonte de dados dos indicadores
cientométricos
• Tipos de fontes de informação:
– Bases de dados de periódicos;
– Bases de dados de currículos;
– Sistemas de bases de dados institucionais;
– Bases de dados das agências de fomento.
Bases de dados de periódicos
 Vantagens
o Agregação de periódicos;
o Estabelecimento de parâmetros de qualidade,
proporcionando benchmarking;
o Garante as informações do artigo.
 Desvantagens
o Seu escopo de ação não chega ao nível dos autores;
o Não garante a informação de autoria, nem mesmo das
referências bibliográficas do artigo.
 Iniciativas
o Author finder (Web of Science): efetiva, mas para buscas
pontuais;
o Researcher and Contributor ID (Orcid): recente e
promissora.
Bases de dados de currículos
 Vantagens
o Contempla a produção do autor;
o Contempla os vários tipos de documento;
o Agrega outras informações sobre a carreira acadêmica
(bancas, orientações, projetos, cargos administrativos,
atividades de extensão).
 Desvantagens
o Veracidade/validação da informação (autopreenchimento);
o Informação incorreta. (SILVA & SMIT, 2009)
 Iniciativas
o Crescente utilização em estudos cientométricos, vindo a
ser conhecida mundialmente; (LANE, 2010 , p.489)
o Script Lattes.
Sistemas de bases de dados
institucionais
 Vantagens
o Contempla a produção do autor;
o Garante a utilização de dados da carreira acadêmica;
o Possibilita a análise das condições de trabalho.
 Desvantagens
o Depende da iniciativa do pesquisador;
o Limita-se aos dados do currículo, que são autopreenchidos.
 Iniciativas
o Integração com a Plataforma Lattes.
Bases de dados das agências de
fomento
 Vantagens
o Seleciona a produção da pós-graduação;
o Permite identificar a área de atuação do pesquisador,
assim como a linha de pesquisa;
o Possibilita a análise da comunidade científica nacional.
 Desvantagens
o Limita-se aos dados do currículo, que são autopreenchidos.
 Iniciativas
o Coleta Capes.
Possibilidades para a consolidação
das fontes
• Identificação de bancos de autoridade de cada
fonte de informação;
• Integração de informações dos diferentes
sistemas, de modo a minimizar vieses;
• Definição de aspectos do Sistema de C&T a se
mensura;
• Proposição, teste e validação de indicadores.
Referências bibliográficas
•
•
•
•
•
•
•
•
•
AUSTRALIAN RESEARCH COUNCIL. ERA Indicator Principles. Canberra: Commonwealth of
Australia, 2008. http://www.arc.gov.au/pdf/ERA_Indicator_Principles.pdf Accessed 10 March 2009
CHAPARRO, F. Introduction: some reflections on science and technology indicators. Research
Evaluation, v. 6, n. 3, p. 175-178, 1996.
HOLBROOK, J. A. D. Why measure science? Science and public policy, vol. 19, n. 5, p. 262266, out. 1992.
JANNUZZI,P.M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicações.
Campinas: Ed. Alínea, 2002. 141 p.
JANNUZZI,P.M. Considerações sobre o uso, mau uso e abuso de indicadores sociais na
avaliação de políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro,
v.36, n.1, p.51-72, 2002.
Lane, J. Let´s make science metrics more scientific. Nature, v. 464,p. 488-489, 2010.
MUGNAINI, R.; JANNUZZI, P.; QUONIAM, L. Indicadores bibliométricos da produção científica
brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasilia, v. 33, n. 2, p.
123-131, 2004
SILVA, F. M.; SMIT, J. W. Organização da informação em sistemas eletrônicos abertos de
Informação Científica & Tecnológica: análise da Plataforma Lattes. Perspectivas em ciência da
informação. 14: 77-98, 2009.
VAN RAAN, A. F. J. Advanced bibliometric methods to assess research performance and
scientific development: basic principles and recent practical applications. Research
Evaluation, vol. 3, n. 3, p. 151-166, dez. 1993.
Obrigado!
Rogério Mugnaini
[email protected]