! "#$!% %
AVALIAÇÃO DE POLÍTICAS PÚBLICAS PARA O DESENVOLVIMENTO
TECNOLÓGICO
José Henrique Souza
Universidade Estadual de Campinas / Instituto de Geociência (Unicamp/IG)
Faccamp / Puc de Campinas.
[email protected]
Resumo
Nas últimas décadas o Estado brasileiro tem apoiado diferentes programas de
desenvolvimento tecnológico com inúmeros resultados positivos alcançados. Entretanto, tais
esforços não são acompanhados por formas sistemáticas de avaliação econômicas. Estudos
sobre impactos das políticas de inovação podem otimizar o gerenciamento de recursos e
auxiliar a difusão de casos de sucesso.
O presente artigo pretende apresentar algumas diretrizes que podem auxiliar o
desenvolvimento de avaliações de inovações patrocinadas com dinheiro público no Brasil.
Para encontrar tais diretrizes estudamos formas de avaliação desenvolvidas por agências de
fomento nos países centrais e por institutos de pesquisa no Brasil.
Abstract
In the last decades Brazilian State has implemented different technological
development program with a lot of positives effects. However, such activities has been
implemented without economic evaluations. The studies about impact of innovation policies
can optimize the management of resources and improve the diffusion of success cases.
The present article intends to present some guidelines for proposing economic
evaluation studies of Brazilian publicly financing innovation. We search such guidelines
looking for evaluation practices in developed countries agencies and Brazilian technological
development centers.
1. Introdução
O apoio do Estado ao desenvolvimento tecnológico é essencial para a melhoria do
padrão de vida e para o desenvolvimento econômico de qualquer país. No Brasil, o Estado
tem fomentado o desenvolvimento tecnológico sem se dar muito ao trabalho de avaliar se esse
apoio está, realmente, gerando os resultados previstos.
Nos países da OCDE essa deficiência já vem sendo combatida há pelo menos duas
décadasi. Talvez fosse o caso do Estado brasileiro estimular que suas agências de fomento
estudem e adaptem soluções já testadas com sucesso nos países centrais ou, simplesmente,
difundam experiências bem sucedidas de avaliação de políticas de fomento já executadas por
agências de fomento e instituições de pesquisa no Brasilii.
2. O Conceito
A avaliação pode ser entendida como um conjunto de critérios e métodos usados para
verificar os resultados de ações executadas com determinados objetivos. No caso da política
de desenvolvimento econômico, a avaliação deve aferir resultados em termos de objetivos e
! "#$!% %
metas alcançadas para justificar, perante a sociedade, o custo de seus programas e para
melhorar o planejamento e a execução dessas e de novas ações.
Para ser satisfatória a avaliação não pode se prender somente às descrições contábeis
dos volumes de recursos aplicados nas diferentes agências e programas. Ela deve ser capaz de
demonstrar a eficácia ou as fragilidades dos instrumentos da política de desenvolvimento que
está sendo observado. Desse modo, a avaliação pode auxiliar a gestão dos recursos públicos
orientando o planejamento, a detecção de falhas e a mudança de rotas quando for o caso.
A avaliação também não pode ser executada apenas pelos agentes ou agências
públicas que serão avaliadas. O próprio agente avaliado deve recorrer a especialistas externos
além de procurar “ouvir” a opinião dos “beneficiados” da política públicaiii.
3. A Avaliação nos Países Centrais
Nos países centrais a burocracia pública tem procurado gerenciar os recursos voltados
para o desenvolvimento econômico de forma mais profissional e “científica”. Para isso, vêm
considerando a avaliação de suas ações como um instrumento de auxílio à gestão e à tomada
de decisão, sobre alocação de recursos públicosiv.
Tamanho interesse, obviamente, se deve ao fato que os eleitores dos países
desenvolvidos esperam de seus governantes um combate à corrupção, à ineficiência e ao
desperdício de recursos públicos. As ações do Estado devem apresentar o maior número de
impactos positivos possível (Behn, 1998 e Mcdonald e Teather, 1997: 01).
4. Tipos Básicos de Avaliação
As informações coletadas pela avaliação têm a função de auxiliar o planejamento da
instituição e promover a transparência das ações das agências governamentais. Assim, a
avaliação é uma forma do Estado prestar contas ao cidadão, possibilitando que este
acompanhe as ações das instituições públicas.
Também é importante notar que a avaliação é um dos processos de aprendizado que as
agências públicas percorrem. Assim, ela é um instrumento em desenvolvimento de uma
organização que evolui. Portanto, ambas, avaliação e agências públicas, são dinâmicas e
exigem melhorias constantes.
A avaliação pode atender três níveis de abrangências e utilidades. Pode-se avaliar o
desempenho da instituição em seu ambiente, a eficácia dos instrumentos de ação da
instituição e os resultados sócio-econômicos alcançados por seus esforços.
Baseados em Mello (1999), Menezes e Gonzaga (1996), Miranda (1999) e Ruegg
(1998), podemos dizer, de modo bastante resumido, que a experiência nacional e internacional
inclui as seguintes formas básicas de avaliação:
1.
Avaliação Ex-Ante. Ocorre antes do início do programa ou projeto como um processo de
seleção. Procura avaliar os efeitos alternativos de instrumentos de intervenções para efeito de
tomada de decisão. Examina, a partir do desenho do programa, sua viabilidade e prováveis
efeitos positivos. Está ligada à formulação da Política de C&T ou institucional e à alocação de
recursos.
2.
Informações Sobre Aplicações. Avaliação para coletar dados sobre o volume de recursos
aplicados comparando-os com as demais formas de fomento. Também identifica os objetivos
do apoiov, as regiões e os atores para os quais se direcionam os recursos públicos.
3.
Avaliação Ex-Post. Analisa os resultados atingidos por programas e projetos verificando
se são significativos e coerentes com os objetivos da instituição e quais as medidas futuras de
! "#$!% %
4.
5.
6.
7.
fomento devem ser tomadas. Nesse caso, a avaliação ocorre quando os resultados já se
manifestaram , podenco ser descritos ou estimados.
Monitoramento. É uma forma rotineira de checar a performance dos projetos para apoiar
a gestão do programa fazer correções de curso e relatar progressos. Envolve a coleta e a
análise de indicadores “chaves”, de preferência quantitativos e facilmente disponíveis, sobre o
andamento do projeto, recursos liberados e cronograma executado. Essa avaliação ocorre
durante o andamento do projeto ou programa baseando-se nos resultados e objetivos já
alcançados.
Estudos de Casos. Utilizados para verificar os resultados obtidos por projetos e
programas de fomento de uma forma mais profunda e extensa do que seria possível obter
através de avaliações mais amplas.
Projeções de Impactos Macroeconômicos. Os modelos macroeconômicos fornecem
projeções sobre os impactos globais gerados por esses projetos como, por exemplo: os efeitos
sobre o PIB, distribuição de renda e emprego.
Estudos Especiais. São estudos sobre temas ligados ao desenvolvimento como:
problemas setoriais, sociais e ambientais; comportamento das cadeias produtivas; redes de
inovação; segmentos prioritários; formas de difusão e propagação da tecnonolgia e
metodologias para avaliar estratégias tecnológicas e de negócios. São úteis, sobretudo, para as
agências públicas de apoio ao desenvolvimento ficarem atualizadas com os movimentos que
surgem na economia e na sociedade.
Essas formas mais conhecidas de avaliação permitem que a agência pública execute
avaliações que abarquem: três níveis temporais (ex-ante, monitoramento e ex-post) e três
níveis gerenciais (o desempenho da agência em seu ambiente, o desempenho de seus
instrumentos de ação e os resultados de seu apoio).
5. Orientações da Avaliação
As avaliações que são implementadas, tanto no Brasil quanto no exterior, são sempre
orientadas por uma “filosofia” ou critérios. A seguir apresentamos alguns critérios que têm
sido utilizados por agências de fomento nos países da OCDE.
A ação das agências públicas de fomento pode modificar o grau de desenvolvimento
de uma empresa, segmento ou setor trazendo melhorias para a sociedadevi e para a própria
empresa. Ocorre que tais melhorias não apareceriam ou se dariam em menor quantidade ou
mais tardiamente não fosse justamente a ação da agência pública de fomento. Desse modo, a
ação da agência pública provoca um benefício adicional ao processo de desenvolvimento.
O quadro abaixo ilustra o efeito desse fenômeno intitulado de adicionalidade.
Figura 1 O conceito de Adicionalidade
Indicador de
Objetivo
Com ação política
ADICIONALIDADE
Tempo (anos)
Fonte: TAFTIE, 1997: 14
Sem ação política
! "#$!% %
Para estimar a adicionalidade pode-se comparar atores (regiões, segmentos ou
empresas) que tenham recebido recursos com um grupo não apoiado pela agência. Em outros
casos pode-se estimar o que poderia ter ocorrido sem o apoio público.
Um esquema apresentado e utilizado por Jaffe (1996) e Ruegg (1998) no Departamento de
Comércio do governo americano (U. S. Department of Commerce, National Institute of
Standart and Technology), apresenta a adicionalidade de uma forma mais detalhada. Nele
podemos ver que os ganhos de um apoio público se espalham por inúmeros agentes
econômicos.
Figura 2 Adicionalidade para Jaffe e Ruegg
P&D da
empresa
Novo
conhecimento
Conhecimento
para outras
empresas
Produto
melhor ou
mais
barato
Produtos
melhores ou
mais baratos
Maior
competitivi
dade no
mercado
Outros
mercados
Lucro da
empresa
Inovadora
1 (1)
Benefício
para o
consumidor
da empresa
inovadora
Lucro de
outras
empresas
(2) (3)
Benefício
para o
consumidor
das empresas
seguidoras
(1) Retorno Privado
(2) Externalidades, Efeitos Indiretos, “Spillover Gap”
(3) Retorno Social
As agências de fomento necessitam avaliar se a administração de seus projetos
apresenta eficácia. Para isso precisam verificar se os trâmites e a liberação dos recursos dos
projetos que apóiam estão de acordo com os cronogramas estabelecidos. Essas informações
podem ser encontras nos próprios sistemas de informações gerenciais das agências.
Outras informações necessárias dizem respeito à qualidade do serviço prestado pela
agência como: os trâmites burocráticos, o atendimento e a assessoria. Informações que podem
ser aferidas através de pesquisas com usuários. Esse tipo de avaliação, para evitar um viés
simpático à instituição, requer o uso de especialistas externos.
A agência de fomento precisa saber se seu apoio alcançou os objetivos pretendidos e
se esses objetivos foram bem diagnosticados. É necessário verificar se o fomento atingiu os
objetivos propostos pela agência ou foram gerados outros tipos de resultados. Para enfrentar
esse desafio, muitas agências de fomento vêm medindo a relação entre o custo do apoio
concedido e os resultados totais obtidos (efeitos diretos e indiretos) para definir a eficiênciavii
de suas ações.
A montagem de um sistema de avaliação também implica em inúmeras questões
técnicas e conceituais que, quando não muito bem trabalhados, podem travar o andamento da
! "#$!% %
avaliação. Três dessas questões técnicas são de extrema importância para o processo de
avaliação chegar a resultados satisfatórios.
Para projetos com resultados e impactos imediatos pode-se coletar informações no
início, durante e após o seu término. Porém, muitos impactos apresentam um hiato-temporal,
isto é,.podem demorar vários anos para se manifestar. Para avaliá-los muitas agências fazem
estimativas sobre os impactos prováveis no futuro ou acompanham os dados de um projeto
por um período determinado após sua finalização.
O Sistema de Avaliação pode utilizar três fontes principais de informações: as
empresas, a própria agência e os avaliadores externos. Cada fonte de informação apresenta
vantagens e desvantagens. As empresas e demais agentes que solicitam apoio público tendem
a exagerar as estimativas e a avaliação dos resultados dos projetos. Esse problema pode ser
contrabalançado pelo uso de avaliadores externos e através de estudos de casos capazes de
gerar informações e conclusões mais detalhadas, profundas e precisas. A desvantagem é que
estes recursos representam um custo muito elevado e a agência precisaria construir uma rede
confiável e flexível de avaliadores capaz de tratar com um amplo leque de temas. Também
para que o sistema de avaliação esteja vinculado ao aprendizado, ao planejamento e à
prestação de contas é necessário que ele conte com funcionários da própria instituição.
Não há fonte de informação livre de tendências. Por isso, o ideal seria que o sistema
de avaliação utilizasse mais de um ponto de vista já que o papel e a confiabilidade de cada
fonte dependem da fase da avaliação e do tipo de informação que se quer colher.
Existe uma probabilidade muito pequena de que as agências de fomento cheguem a
dados muito precisos sobre os impactos de seu apoio. É quase impossível isolar os resultados
de projetos executados em conjunto com outros projetos. Do mesmo modo é difícil detectar
impactos de ações sobre fatores que sofrem interferência do ambiente. Estamos falando,
portanto, de atribuição e causalidade. Em alguns casos, já estaria de bom tamanho se fosse
possível verificar se o agente econômico apoiado não executaria o projeto ou em que grau ele
seria executado sem o apoio.
O ideal, obviamente, seria identificar a proporção do resultado do projeto que pode ser
atribuído ao apoio público. Como é quase impossível “isolar” os benefícios atribuíveis ao
apoio público a saída mais plausível e menos custosa parece ser a estimativa. Assim, os
executores do projeto podem estimar os ganhos atribuídos exclusivamente ao apoio recebido.
Para que essas estimativas não se transformem em mero exercício de adivinhação, pode-se,
como ocorre com agências norte americanasviii, utilizar séries de dados históricos sobre as
empresas apoiadas e sobre empresas não apoiadas (grupos de comparação)ix.
6. Considerações Finais
A experiência internacional, sobretudo das agências de fomento da OCDE, tem
demonstrado que a eficiência do processo de avaliação institucional depende de condições
favoráveis e de cuidados especiais. Sem a devida atenção para alguns detalhes o trabalho de
levantamento dos dados é dificultado e a utilização das informações recolhidas é reduzida à
montagem de relatórios.
A participação dos funcionários das agências públicas de fomento tecnológico também
é fundamental para o sucesso da avaliação. Esses trabalhadores precisam conhecer e se
envolver com a missão da instituição e com uma visão comum sobre a importância do papel
da avaliação no processo de aprendizado organizacional. Para a avaliação ter o apoio dos
funcionários ela não pode ser encarada como instrumento de vigilância e punição e sim como
recurso auxiliar voltado para o desenvolvimento de estratégias internas e ferramenta de
! "#$!% %
auxílio ao planejamento e à gestão de agências públicas.
É igualmente indispensável à criação de um sistema de informações gerenciai e de
divulgação de informações sobre o desempenho da instituição. Esse sistema deve ser capaz de
gerar informações rápidas, úteis e confiáveis. Essa tarefa é facilitada com o desenvolvimento
de um sistema de gestão de projetos que favoreça a coleta, a análise, a divulgação e o uso de
informações sobre desempenho. Sem a divulgação e o uso efetivo dos resultados das
avaliações, essas, perdem o sentido e caem no descrédito. Somente a institucionalização da
avaliação pode transformá-la em um recurso de auxílio ao aprendizado, ao gerenciamento e à
transparência das agências públicas de fomento.
O Sistema de Avaliação deve ser orientado por uma “filosofia” de transformação
constante das atividades da instituição. Deve estar vinculado ao esforço de inovação, de
aperfeiçoamento das ações e de planejamento e administração estratégica com foco no
objetivo institucional, no resultado operacional, na efetividade das ações e na opinião e
necessidades dos atores sociais e econômicos que demandam o apoio das agências. Assim, a
avaliação deve estar associada a um processo de aprendizado democrático, participativo e não
centralizador.
No campo normativo é necessário que um órgão tenha a função de coordenar e
providenciar as orientações básicas de sistemas de avaliação das várias agências de fomento
do Estado. Tal instância também pode homogeneizar metodologias e publicar os resultados
das avaliações de várias agências o que permite a prática de análises comparativas e
“benchmarking”.
Por fim, no campo operacional, espera-se, dos avaliadores, o cuidado com a
competência, a integridade e a responsabilidade. Por isso, é preciso manter uma rede de
colaboradores especialistas em avaliação. Esses avaliadores independentes têm a função de
garantir a transparência, a imparcialidade, a credibilidade e a atualização constante dos
critérios, métodos e instrumentos de coleta de dados.
8. Abreviaturas:
ATP: Advanced Technology Program do NIST
CEPEL: Centro de Pesquisa da Eletrobrás
CNPq: Conselho Nacional de Desenvolvimento Científico e Tecnológico
CPqD: Fundação Centro de Pesquisa e Desenvolvimento em Telecomunicações.
DPCT/IG/UNICAMP: Departamento de Política Científica e Tecnológica do Instituto de
Geociências da Universidade Estadual de Campinas
FAPERJ: Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro
FAPESP: Fundação de Amparo à Pesquisa do Estado de São Paulo
FINEP: Financiadora de Estudos e Projetos
MCT: Ministério da Ciência e Tecnologia
NIST: National Institute of Standards and Technology do U. S. Department of Commerce
PROTAP: Programa Modular de Treinamento em Administração de Pesquisas Científicas e
Tecnológicas do PACTo/FIA/USP,
PUC-RIO: Pontifícia Universidade Católica do Rio de Janeiro.
SECAV: Secretaria de Avaliação e Acompanhamento do MCT
! "#$!% %
9. Bibliografia
ALMEIDA, Maria Lúcia Horta de. Entrevista, realizada na FINEP/RJ nos dias 08 e
23/02/1999.
ANDRADE, Rui Gregório. Entrevista, realizada na FINEP/RJ no dia13/01/98.
BACH et al. Evaluation of the Economic Efects Generated by R&D Service Provided to
Industry by Materials – Ireland, Strabusg, France, 1995b.
BACH et al. Evaluation of the Economic Efects of BRITE-EURAM Programmes on the
European Industry, Scientometrics, vol. 34, no. 3, pp 325-349, 1995a.
BACH et al. L’espace est-il rentable?, Réalités Industrialles, nov, pp 25-56, 1992a.
BACH et al. Measuring and Managing Spinoffs: The case of the spinoffs generated by
ESA Programs, in GREENBERG, J. S. e HERTZFELD, H. R. (eds) Space Economics,
Washington, DC, vol. 144, p. 171-206, 1992b.
BEHN, Robert D. The New Public Management Paradigm and the Search for Democratic
Accountability. International Public Management Journal, 1(2): p. 131-164. Stanford,
Connecticut. Estados Unidos, 1998.
BOTELHO, Antonio J. Junqueira. Entrevista realizada na PUC-RIO no dia 22/02/99.
CANADA. National Research Council Canada (NRC)– Conseil National de Rechherches
Canada (CNRC). Assessment of The Industrial Research Assistance Program. Review
Committee Report: planning and assessment”, novembro de 1996.
CAPELLA FILHO, Otávio. Entrevista realizada no CPqD/Campinas no dia 12/02/1999.
CULP, Rhonda e SHAPIRA, Philip (1997) Georgia’s Advanced Technology. Development
Center: na assessment. Disponível em: http://www.cherry.gatech.edu/mod/list.htm.
Consultado em: 01 janeiro 1999.
CURI, M.; CRUZ, O; TAKAHASHI, R. Uma Abordagem para Avaliação de Projetos no
CPqD. PROTAP/PACTo/FIA/USP, São Paulo, (Mimeografado), 1998.
FAÇANHA, Luis Otávio. Avaliação de Financiamentos da FINEP: uma síntese de
resultados. RJ, (Mimeografado), 1983.
FAÇANHA, Luis Otávio. Avaliação do Financiamento a P&D e o Progresso Técnico.
Revista de Administração, SP, n. 25 (1), p. 84-91, 1990.
FAÇANHA, Luis Otávio. Uma Avaliação de Resultados: projetos financiados pela FINEP
com recursos do Contrato de Empréstimo BID 498/OC-BR”, RJ,. (Mimeografado), 1992.
FAYL, G; et al. Evaluation of Research and Technological Development Programmes: a tool
for policy design. Research Evaluation, U. K.,vol. 7, número 2, 1998, p. 93-97.
FERNANDES da COSTA, Suzana. Entrevista realizada na FINEP/RJ, no dia 08/02/99.
FERNANDES SILVA, Lenildo. Entrevista realizada na FINEP/RJ, no dia 29/05/00.
FERNANDES SILVA, Lenildo. FINEP: Cenário Atual e Diretrizes Gerais. Ministério da
Ciência e Tecnologia – MCT, Financiadora de Estudos e Projetos – FINEP. Texto para
Discussão Interna. RJ, agosto de 1999. (Mimeografado).
! "#$!% %
FINEP. Critérios para Avaliação e Acompanhamento de Projetos Apoiados pela Finep
na Área de Competitividade, versão 14/11/1997. (Mimeografado).
FINEP. Relatórios de Atividades: exercício de 1993, 1994 e 1995.
FINEP/IBQN. Relatório de Avaliação Piloto do Produto AGQ: Apoio à Gestão da
Qualidade”, novembro de 1996. (Mimeografado).
FURTADO, A. e SOUZA, J. H. Levantamento das Principais Metodologias de Avaliação
de Projetos e Programas de P&D no Eixo Rio-São Paulo. ALTEC99, Madri, Espanha,
1999.
GEORGHIOU, L. e MEYER-KRAMER, F. Evaluation of Socio-economic Effects of
European Communit R&D Programmes in the Spear Network. Research Evaluation, U. K.,
vol. 2, número 1, p. 5-15, 1992.
GEORGHIOU, Luke. (1995) Research Evaluation in European National Science and
Technology Sistems. Research Evaluation, U. K., vol. 5, número 1, p. 3-10, 1995.
GEORGHIOU, Luke. Socio-economic Effects of Collaborative R&D – European
experiences. Policy Research in Engineering, Science and Technology (Prest), University
of Manchester, U. K., s.d. Mimeografado, s/d.
GUARANYS, Lúcia. Entrevista realizada na FINEP/RJ, nos dias 22.07.1998 e 29/05/00.
GUY, Ken e ARNOLD, Erik. UK Government Pratice in Science and Technology
Evaluation. Research Evaluation, U. K.,vol. 3, número 3, p. 179-186, 1993.
HILLS, Philip e DALE, Alison. Research and Technology evaluation in the United Kingdon.
Research Evaluation, U. K.,vol. 5, número 1, p. 33-44, abril, 1995.
INDUSTRY CANADA. Focusing on Results: A Guide to Performance Measurement.
Discussion Paper, Canada, março, 1995.
JAFFE, Adam B. (1996) Economic Analysis of Research Spillovers Implications for the
Advanced Technology Program. http:\\www.atp.nist.gov/www/cao/ger/J3.htm.
KUHLMANN, Stefan. Patterns of Science and Technology Policy Evaluation in Germany.
Research Evaluation, UK,vol. 5, n. 01, pp. 23-33, abril de 1995.
LIMA, Antonio G. Garcia. Entrevista realizada no CEPEL/RJ no dia 22/02/99.
LIMA, Antonio G. Garcia. Relatório Cepel, s.d. (Mimeoografado), s/d.
LIPSETT, M et. al. R&D and Innovation at the Firm Level: improving the S&T policy
information base. Research Evaluation, vol. 5, número 1, p. 11-21, abril, 1995.
McDONALD, Robert e TEATHER, George. Science and Technology Evaluation practices
in the government of Canada. OECD Conference: Best Practices in the Evaluation of
Technology and Innovation Policies. Paris, Junho, 1997.
MELLO, Henrique A. Entrevista realizada no CENPES/RJ no dia 22/02/99.
MENDES de CASTRO, Antonio. Entrevista, realizada na FINEP/RJ no dia 12/01/1998.
MENDES de CASTRO, Antonio. FINEP – Passado, Presente e Futuro. Documento
dirigido à Diretoria da FINEP. (Mimeografado), 1987.
! "#$!% %
MENEZES, Ana C. Lima e GONZAGA, Solange M. Indicadores de Desempenho do
Cenpes: um instrumento de gerenciamento para o Cenpes. Rio de Janeiro, 1996.
MIRANDA, Jayr Augusto. Avaliação de Resultados do Processo Tecnológico na
Petrobrás. Rio de Janeiro, 1996. (Mimeografado).
MIRANDA, Jayr Augusto.Entrevista realizada no Cenpes/RJ no dia 22/02/99.
OECD. Impacts of National Technonogy Programmes. Paris, France, 1995b.
OECD. Manual de Frascati: medición de las actividades científicas y tecnológicas. Paris,
France, 1993a.
OECD. National Systems For Financing Innovation. Secretary-General of OECD,
Committee for Scientific and Technological Policy. Paris, France, 1995a.
OECD. Oslo Manual. Directorate for Science, Technonogy and Industry. Committee for
Scientific and Technological Policy, Paris, France, outubro, 1996.
OHAYON, Pierre. Entrevista realizada na PUC-RIO no dia 23/02/99.
ORMALA, Erkki. Research Evaluation Benefits for International Exchange. Research
Evaluation, U. K., vol. 5, número 1, p. 2, abril, 1995.
PENTZAROPOULOS, A e HATZIPARADISSIS, G. Evaluation of Publicly-funded Research
in Greec: a time-level analysis of the Information Technology Sector. Research Evaluation,
vol. 4, número 2, p. 89-96, agosto, 1994.
PIANTA, M. e SIRILLI, G. Impact of Innovation Policies: evidence from the italian
innovation survey”. Science And Public Policy, U. K., vol. 24, agosto, p.245-253, 1997.
PINHEIRO, Luis Otávio. Entrevista, realizada na FINEP/RJ, no dia 22.07.1998.
RODRIGUES da CRUZ, E.; PALMA, V.; e DIAS AVILA, A. Taxas de Retorno dos
Investimentos da Embrapa. Embrapa – Empresa Brasileira de Pesquisa Agropecuária,
Ministério da Agricultura, Departamento de Diretrizes e Métodos de Planejamento,
Departamento de Informação e Documentação. Brasília, DF, 1982.
ROTHWELL, R. e DODGSON, M. European Technology Policy Evolution: convergence
towards SMES and regional techology transfer. Technovation. Dorset, U. K., vol. 12, no. 04,
pp. 223-238, 1992.
RUEG, Rosalie. Guidelines for Proposing Economic Evaluation Studies to the Advanced
Technology Program (ATP). National Institute of Stantards and Tecnhology Administration
(NIST). US Department of Commerce.Gaithersburg, MD 20899 USA, 1996. Disponível em:
<http://ww.atp.nist.gov/www.eao/ir5896.htm#1.1> Consultado em 01 maio 1999.
RUEG, Rosalie. The Advanced Technology Program’s Evaluation Plan & Progress. National
Institute of Stantards and Tecnhology Administration (NIST). US Department of Commerce,
November. Gaithersburg, MD 20899 USA, 1998.
RUEG, Rosalie. The Advanced Technology Program’s Evaluation Plan & Progress.
National Institute of Stantards and Tecnhology Administration (NIST). US Department
of Commerce, November. Gaithersburg, MD 20899 USA, 1998. Disponível em:
<http://www.atp.nist.gov/www.eao/7 thiftm.htm> Consultado em 01 maio 1999.
! "#$!% %
SALLES-FILHO, Sérgio L. M. Políticas Públicas para Inovação Tecnológica na
Agricultura do Estado de São Paulo: métodos para avaliação de impactos da pesquisa.
Projeto para o Programa de Pesquisa da Fapesp – Políticas Públicas. UNICAMP/DPCT.
Campinas/SP, 1998. Mimeografado.
SANZ-MENENDEZ, Luis. (1995) Research Actors and the State: research evaluation and
evaluation of science and technology policies in Spain”. Research Evaluation. U. K., vol. 5,
número 1, p. 9-88, abril, 1995.
SCÉ. Société Canadienne D’évaluation. Lignes Directrices de la SCÉ Concernant la Ligne
de Conduite en Matière d’éthique, 1999. Disponível em:
<http:\www.unites.uqam.ca/ces/ethicsf.html>. Consultado em 01 maio 1999.
SEIDL, Peter Rudolf. Entrevista realizada na Faper/RJ, no dia 08/02/1999.
SHAPIRA, Philip et al. Current Practices in the Evaluation of Industrial Modernization
Program, Research Policy, U. K.,25 185-214, 1996.
SILVA, Aloysio Manso. Acompanhamento de Processos. Documento de uso interno da
Faperj, Rio de Janeiro, 1998. (Mimeografado).
SILVA, Aloysio Manso. Entrevista realizada na Faper/RJ no dia 08.02.1999.
SILVANI, Alberto e SIRILLI, Giorgio. R&D Evaluation in Italy: a science and technology
policy view.). Research Evaluation, U. K., vol. 5, número 1, abril, 1995.
SIRILLI, Giorgio e MELICIANI, Valentina. Research Evaluation at The National Research
Council of Italy: a survey of decision-makers”. Research Evaluation, U. K., vol. 4, número
2, p. 75-88, agosto, 1994.
SOUZA, José Henrique. Os Núcleos de Articulação com a Indústria: um instrumento de
Política Tecnológica para o Setor de Bens de Capital. 1997. Dissertação apresentada ao
Instituto de Geociências da Universidade Estadual de Campinas – UNICAMP, 1996.
TAFTIE. Taftie Guidelines on Performance Indicators for Evaluation and Monitoring.
TheTAFTIE Evaluation Network. Madri, Espanha, 1997.
TSIPOURI, Lena. Evaluating The Economic Effects of R&D In Less Favoured Countries: the
notions of complementarity. Research Evaluation, U. K.,vol. 2, no. 1, p. 27-35, abril, 1992.
VASCOLNSELLHOS, E. e KRUGLIANSKAS, I. Avaliação de Desempenho em Instituições
de Pesquisa. Revista de Administração, São Paulo, v. 26, no. 4, p. 73-86, outubro/dezembro,
1991.
VILELA, Sérgio Luiz de O., PINTO, João B. G. e MORAES, Maria D. C. de. A
Problemática da Avaliação dos Impactos Sociais das Tecnologias Agropecuárias:
construindo uma metodologia. Trabalho elaborado para apresentação no XXXIII Congresso
da SOBER. (Mimeografado), s/d.
VIVARELLI, M., EVANGELISTA, R. e PIANTA, M. Innovation and Employment in Italian
Manufacturing Industry. Research Policy, U. K.,25,p. 1013-1026, 1996.
VONORTAS, Nicholas S. e XUE, Lan. Process Innovation in Small Firms: case studies on
CNC machine tools. Technovation. Dorset, UK, 17(8), p. 427-438, 1997.
WEISZ, Joel. Entrevista realizada na FINEP/RJ no dia 23.02.1999.
! "#$!% %
WILLIAMS, D. e RANK, D. Measuring the Economic Benefits of Research and
Development: the current state of the art”, Research Evaluation, U. K., vol. 2, número 1, p.
17-30, abril, 1998.
WILLIAMS, Doug. Methods for Assessing the Socioeconomic Impacts of Government
S&T. ARA Consulting Group Inc. Canada, maio, 1993.
ZANCO FILHO, Romulo A. Entrevista realizada no CPqD/Campinas no dia 12.02.1999.
i
Ver, por exemplo: Bach, 1992a, 1992b; 1995a e 1995b, Culp e Shapira, 1999; Georghiou, s.d; Georghiou e
Meyer-Krahmer, 1992; Guy e Arnold, 1993; Industry Canada (1995); Kuhlmann, 1995; Salles-Filho, 1998;
Ruegg, 1998 e TAFTIE, 1997.
ii
Por exemplo, os casos do: ATP/NIST (Ruegg, 1998 e Shapira et al., 1996); CENPES (Mello, 1999; Menezes e
Gonzaga, 1996 e Miranda, 1996 e 1999); CEPEL (Lima, 1999 e sem data); CPqD (Capela Filho, 1999, Curi et
al, 1998 e Zanco Filho, 1999); EMBRAPA (Rodrigues, 1982; Vilela et al, sem data); FAPERJ (Seidl, 1999 e
SILVA, 1998 e 1999); FINEP (Almeida, 1999; Andrade, 1998; Fernandes Silva, 1999; Fernandes da Costa,
1999; Guaranys, 2000; Mendes de Castro, 1987; Pinheiro, 1998; Souza, 1996 e Weiz, 1999); PUC-RIO
(Botelho, 1999 e Ohayon, 1999).
iii
CANADA, 1996: 03-07; Lima, 1999 e Ohayon, 1999.
iv
Canada, 1996: 03-07; Fayl et al, 1998; Georghiou e Meyer-Krahmer, 1992; Guy e Arnold, 1993; Lima, 1999;
Ohayon, 1999; Ormala 1995, Pianta e Sirilli, 1997; Rothwell e Dodgson, 1992; Rueeg, 1998 e Sanz-Menendez,
1995; Shapira et al., 1996; TAFTIE, 1997.
v
Como, desenvolvimento tecnológico, geração de renda, preservação do meio ambiente, por exemplo.
vi
Como, por exemplo: geração de renda e emprego, respeito ambiental, aumento na segurança do trabalho,
exportações, melhoria na qualidade dos produtos, barateamento dos preços, etc.
vii
Alguns especialistas utilizam o conceito de efetividade (“effectivenesss”) para denominar os benefícios sociais
gerados pelo apoio público. Ver, por exemplo: FAYL et al., 1998: 95.
viii
Ver, por exemplo, Shapira et al. 1996: 202.
ix
Essa tática também pode induzir as empresas apoiadas a responder os questionários de avaliação. É o que
ocorre, por exemplo, no Industrial Technology Institute (ITI) em Ann Arbor, Michigan (Shapira et al. 1996:
203). No ITI as empresas apoiadas podem comparar seus dados econômicos e tecnológicos aos dados agregados
de empresas do mesmo segmento. A disponibilidade dos dados das avaliações, para o grupo de empresas
participantes das avaliações, permite que as empresas façam “benchmarking”, o que estimula novas empresas a
colaborarem com o Sistema de Avaliação do ITI