Sistemas de Avaliação:
Promovendo o Encontro entre
Oferta e Demanda
Ricardo Barros
Karina Bugarin
Diana Grosner
Adriana Mascarenhas
Rio de Janeiro, 15 de agosto de 2012
Uso interno:
Uso da avaliação para aprimorar o desenho
ou a forma de gestão e funcionamento do
próprio programa avaliado.
Uso externo:
Uso da avaliação de um programa para
aprimorar o desenho ou a forma de gestão e
funcionamento de outros programas.
Histórico:
Aprendendo com os próprios erros e acertos.
Melhores práticas:
Aprendendo com os erros e acertos dos
outros.
Diversidade:
O federalismo com política social
descentralizada permite elevada dose de
experimentação.
Documentação:
Experimentação sem documentação não leva
a ganhos de efetividade.
Avaliação:
Não basta acumular informação sobre os
programas utilizados. Para que ganhos de
efetividade sejam alcançados é necessário
que cada uma dessas experiências seja
avaliada.
 Compartilhamento:
Para que ganhos de efetividade sejam
alcançados é necessário que os resultados
das avaliações sejam compartilhados.
 Acesso Formal
Disponibilidade:
Programas avaliados precisam disponibilizar
suas avaliações.
 Repositório:
Avaliações disponíveis precisam
ser armazenadas em um mesmo
ambiente (possivelmente virtual).
 Acesso Efetivo
Classificação:
Avaliações precisam ser catalogadas e
classificadas quanto à natureza do programa
avaliado e ao tipo de avaliação realizada.
 Acesso Efetivo
Sumário Executivo:
Necessário que cada avaliação tenha um sumário
executivo padronizado que facilite a busca.
Meta-análise:
Necessário que existam resenhas e meta-análises
periódicas que facilitem a comparação dos
resultados das avaliações existentes.
1. Explorando a diversidade de
políticas públicas produzidas
em um país federativo
- Quatro Questões Fundamentais -
1ª Questão:
Que países, blocos de países (OECD, EU, etc.)
ou organismos internacionais (Banco Mundial,
PNUD, BID, etc.) desenvolveram sistemas que
permitem, facilitam e promovem o
compartilhamento de informações sobre o
desenho e a eficácia das intervenções?
Que países federados desenvolveram
sistemas eficazes para compartilhar
experiências locais bem sucedidas?
Como esses sistemas funcionam?
2ª Questão:
Como estabelecer um marco legal capaz de
incentivar gestores a disponibilizar
publicamente os desenhos e os resultados das
avaliações das intervenções das quais são
responsáveis?
O todo ou algum componente desse
marco legal já foi ou vem sendo utilizado
na prática?
Quais os resultados alcançados
(mostraram-se eficazes)?
3ª Questão:
Que esquema de incentivos poderia ser
implementado para que a obrigatoriedade de
disponibilizar publicamente avaliações não
funcione como um mecanismo de desincentivo
para os gestores não avaliarem seus
programas?
Algum desses esquemas já foi
efetivamente utilizado na prática?
Quais os resultados alcançados
(mostraram-se eficazes)?
4ª Questão:
É importante reunir as avaliações em um único
lugar?
Em caso afirmativo, qual o perfil do órgão
nacional incumbido de buscar e reunir as
experiências?
2.Tornando a utilização
dos resultados das
avaliações mais efetiva
- Cinco Questões Fundamentais -
1ª Questão:
É necessário o desenvolvimento de um sistema
classificatório ou basta a utilização de um sistema
com software de busca ativa eficiente?
2ª Questão:
Existe algum esforço para criar um sistema
classificatório de políticas públicas? O todo ou
algum componente desse marco legal já foi ou
vem sendo utilizado na prática?
Se existe que sistema é esse?
Como classifica as políticas públicas?
Quão refinado (quantas categorias
considera) e quão estruturado (em quantos
níveis a classificação pode ser realizada) é
esse sistema?
3ª Questão:
Existe algum tipo de sistema que permita
classificar as avaliações por tipo?
Se existe que sistema é esse?
Como classifica as avaliações?
Quão refinado (quantas categorias
considera) e quão estruturado (em quantos
níveis a classificação pode ser realizada) é
esse sistema?
4ª Questão:
Qual a importância da elaboração de metaanálises e resenhas para tornar a utilização das
avaliações mais efetiva?
Como estimulá-las?
5ª Questão:
Como tornar as avaliações mais amigáveis (o
papel de sumários executivos e padronização: a
importância, a possibilidade de realização e
experiências existentes)?