Avaliação de Programas da FAPESP:
desenvolvimento e aplicação de
métodos de avaliação de impactos e
para avaliações sistemáticas
IV SEMINÁRIO DA REDE
BRASILEIRA DE
MONITORAMENTO E
AVALIAÇÃO
Sergio Salles Filho
Ana Maria Carneiro
Camila Zeitoum
GEOPI
• Grupo de Estudos sobre Organização da Pesquisa e da Inovação
▫ Fundado em 1995
▫ Sediado no Departamento de Política Científica e Tecnológica/UNICAMP
▫ Multidisciplinar e Multi-institucional
• Competências
▫ Planejamento e gestão de ciência, tecnologia e inovação
• Áreas
▫
▫
▫
▫
▫
▫
▫
Planejamento e Gestão
Avaliação
Prospecção
Gestão da Propriedade Intelectual
Financiamento
Dinâmica setorial da inovação
CT&I para Sustentabilidade
GEOPI – Avaliação de Programas e Organizações
• Programas Fapesp II (Fapesp),
2009-2012
• Modelo de Gestão Embrapa,
(Embrapa), 2011
• Lei de Informática (MCT),
2011
• INCAGRO (World Bank –
Peru), 2009
• FIA (Governo Chileno), 2009
• Programas Fapesp I (Fapesp),
2006-2008
• FUNNTEL (Finep), 2007
• ANEEL (CPFL, 2008)
• Procisur (IICA), 2006
• Procitropicos (IICA), 2005-2006
• Fontagro (IICA), 2005
• Impactos do Software Livre
(Softex/MCT), 2004
• Programa
de
Pesquisa
em
Saneamento - PROSAB (Finep),
2003-2005
• Metodologia de Avaliação de
Impactos (Fapesp/Finep), 19992003
• CT-Infra (Finep), 2002
• Programas WWF e USAID
(USAID), 2000 - 2001
• PROBIO e FUNBIO (GEF), 1999
• OEPAs (IICA/Embrapa), 19971998
Metodologia GEOPI de Avaliação
• Abordagem multidimensional de impactos
• Metodologia flexível para lidar com programas de
diferentes naturezas, propósitos, objetos e sujeitos
• Mensuração e combinação de variáveis quantitativas e
qualitativas
• Atribuição da causalidade:
▫ Desenvolvimento do método de adicionalidade
▫ Desenho quase experimental
• Abordagem participativa
• Produção de resultados para apoiar a tomada de decisão
e planejamento institucional
Avaliação dos programas da Fapesp
Objetivo: Desenvolver e aplicar metodologia de
avaliação de resultados e de impactos para
programas da FAPESP para integrar o processo
de avaliação ao planejamento e accountability dos
programas
Coord. Prof. Sergio Salles-Filho (DPCT/Unicamp)
▫ 10 programas avaliados
▫ Fase 1 – 2006 a 2008
▫ Fase 2 – 2009 a 2012
Programas Avaliados – Fase 1
Programa
1. PIPE - Pesquisa Inovativa
em Pequenas Empresas
Amostra válida de
projetos concluídos até
2006
108 da Fase 1
106 da Fase 2
Recursos aportados
pela FAPESP nos
projetos avaliados
R$ 52,9 milhões
214 projetos (70%)
2. PITE - Programa de Apoio
60 Inst. Pesquisa (90%)
à Pesquisa em Parceria para
42 Empresas (65%)
Inovação Tecnológica
3. JP - Programa Jovens
299 JPs (78%)
Pesquisadores em Centros
258 IAs (74%)
Emergentes
4. PPP - Programa de
68 Inst. Pesquisa (77%)
Pesquisa em Políticas
48 Inst. Parceiras (62%)
Públicas
R$ 34,1 milhões
R$ 64,6 milhões
R$ 10,2 milhões
Programas Avaliados – Fase 2
Programa
Programas de Bolsas no país
5. Iniciação Científica
6. Mestrado
7. Doutorado Regular
8. Doutorado Direto
9. BIOTA – Prog. Pesq.
Caracterização,
Conservação, Recuperação e
Uso Sustentável da
Biodiversidade do Estado SP
10. Programa Equipamento
Multiusuários
Amostra válida de
projetos concluídos até
2009
Recursos aportados
pela FAPESP
6.802 concedidos
2.019 denegados
(13%)
R$ 1,5 bilhões
56 Biotas (85%)
86 Controle (74%)
Biotas: R$ 28,3
milhões
Controles: R$ 13,5
milhões
130 Concedidos (70%)
117 denegados (48%)
R$102,1 milhões
Avaliação continuada do PIPE, PITE, JP
e PPP
• Obtenção de dados antes, durante e após a conclusão dos
projetos
▫ geração de relatórios gerenciais
▫ acompanhamento de um pequeno número de
indicadores de avaliação de resultados impactos
• Em 2012
responde
sobre 2011
Formulário de
Proposta
2011
2012
Relatório Final
• Em 2016
responde
sobre 2012 a
2015
2013
2014
• Em 2018
responde
sobre 2016 e
2017
Questionário
Suplemementar
2015
2016
2017
Avaliação continuada do PIPE, PITE, JP
e PPP
• Construção dos Guias Metodológicos
▫ Título do conjunto de indicadores
▫ Periodicidade
▫ Questão: a) Título da(s) questão(ões), b) Alternativas
de resposta, c) escala.
• Apresentação e validação junto à FAPESP
• Conclusão dos Guias Metodológicos
• Implementação a cargo da Diretoria Científica
PIPE
Tema
Indicadores de
input e output de
PD&I
Indicador
Estruturação das atividades de PD&I
Pessoal ocupado em PD&I
Dispêndio em PD&I
Inovações de produto e processo
Acervo de propriedade intelectual da empresa e transferência de
tecnologia
Demais projetos de PD&I relacionados com o projeto
Estabelecimento de parcerias industriais, comerciais e financeiras
Desempenho da
empresa
Pessoal ocupado na empresa
Faturamento da empresa
Impacto do PIPE no faturamento
Considerações finais
• 6 anos e 10 programas avaliados de forma
participativa
• Institucionalização de sistema de avaliação
continuada
• Criação de coordenação adjunta de avaliação
• Aperfeiçoamentos nos programas a partir dos
resultados das avaliações – Ex.
▫ Reforço dos editais conjuntos com empresas no
PITE
▫ Extinção da fase 1 do PPP
▫ Reforço do papel da coordenação do Biota e do
formato de projetos temáticos