Monitoramento e Avaliação de Programas
Sociais
Kathy Lindert, Banco Mundial
Qualidade do Gasto Público no Brasil
26-27 Junho, 2003
1
Plano de Apresentação
Objetivos do M&A
Marco conceitual, exemplo
Monitoramento (papel, etapas, etc.)
Avaliação (papel, etapas, etc.)
Disseminação e utilizações
Questões institucionais e
sustentabilidade
2
Objetivos do M&A
Monitoramento e avaliação podem ajudar os
formuladores de política de diversas formas:

Como um instrumento para o planejamento e a elaboração do
orçamento: para garantir alocações efetivas dos recursos públicos
– planejamento, processo decisório e estabelecidmento de
prioridades

Como um instrumento de gestão, revelando o desempenho de
atividades em curso, em nível de projeto, programa ou setor, para
informar decisões sobre expansão, modificação ou eliminação de
programas de acordo com a sua efetividade

Como um mecanismo de accountability, para que haja controle
sobre os gestores pela performance de seus programas/projetos e
sobre controle sobre os governos pelo desempenho geral

Para obter e manter apoio político, flexibilidade institucional
(mesmo entre administrações) e financiamento para atividades
bem-sucedidas
3
Implementação
Objetivos
Marco Conceitual
•
Longo prazo, ampla
melhoria na sociedade
Resultados
•
Efeitos intermediários
dos produtos sobre os
clientes
Produtos
•
Produtos e serviços
produzidos
Metas
(Impactos)
• Tarefas empreendidas
Atividades
Insumos
para transformar insumos
em produtos
• Financeiros, humanos, e
recursos materiais
4
Exemplo: Ensino médio
•
Níveis mais altos de renda;
aumentar o acesso a
empregos de maior
qualificação
Resultados
•
Qualificação mais alta; mais
oportunidades de emprego
Produtos
•
Número de jovens
completando o ensino médio
Metas
(Impactos)
Atividades
Insumos
• Educação escolar
•
$, recursos, professores,
materiais
5
Monitoramento
6
Monitoramento da Implementação e
Resultados
Monitoramento é um processo contínuo de coleta e
análise de informações para comparar a qualidade da
implementação do programa com seus resultados
esperados
Monitoramento se refere tanto à implementação
quanto aos resultados
Enfoque tradicional: Monitoramento de atividades


Definir atividades e responsabilidades
Monitorar atividades é importante
No entanto:

É possível executar as atividades, cumprir as
responsibilildades, mas não progredir até as metas
Questão: como saber quando você obteve sucesso?
“Se não se reconhecer o sucesso, vai se valorizar o
fracasso”
7
Resultados
Principais tipos de Monitoramento
Impacto
Monitoramento de
resultados
Resultado
Implementação
Produto
Atividade
Monitoramento de
implementação
(enfoque tradicional)
Insumo
8
Principais etapas do
Monitoramento
Acordo sobre os resultados a monitorar
Seleção de indicadores destes
resultados
Medição de “baseline”
Eleição de metas quantitativas
Gerenciamento com relação às metas
9
1. Acordo sobre os resultados a
monitorar
Os resultados explicitam os objetivos pretendidos da ação
governamental – a visão
Consenso sobre estes resultados e sobre esta visão é
importante


Participação no acordo sobre os resultados é essencial
Principais atores interessados devem estar envolvidos (e.g., governo,
sociedade civil, doadores, etc.)
Desenhar para o sucesso

Evitar resultados impossíveis
Motivar pessoal com uma visão inspiradora

Criar linha de vista (“line of sight”) para todos que trabalham no
sistema entre as suas ações e o resultado desejado
“Se você não sabe para onde vai, todos os caminhos estão
certos”
10
2. Seleção de indicadores
Indicadores de resultados não são o mesmo que
resultados
Indicadores devem medir resultados, mas também
processos e produtos
Um resultado corresponderá tipicamente a mais
do que um indicador
Respondem à pergunta:
“Como conheceremos o sucesso, se o virmos?”
11
2. Seleção de indicadores,
cont.
Um bom indicador de performance deve ser
Claro
(Preciso e não ambíguo)
Relevante
(Apropriado ao assunto em questão)
Econômico
(Disponível a um custo razoável)
Adequado
(Deve proporcionar uma base suficiente para
estimar a performance)
Monitorável
(Deve poder ser utilizado para validação
independente)
12
3. Estabelecendo Dados de
“Baseline” sobre Indicadores
Uma “baseline” ou base de
performance é...
Informação (quantitativa ou
qualitativa) que proporcione dados
no começo ou logo antes do
período de monitoramento. A
“baseline” é usada para:


Aprender sobre níveis e padrões
recentes de performance sobre o
indicador; e para
Medir a performance do projeto,
programa ou política subseqüente
13
As fontes de dado podem ser
primárias ou secundárias
DADOS PRIMÁRIOS são coletados
diretamente pela organização, por exemplo,
através de surveys, observação direta e
entrevistas.
DADOS SECUNDÁRIOS foram coletados por
outra pessoa, para um propósito diferente
daquele do programa. Exemplos incluem
dados de survey coletados por outra agência,
uma Pesquisa Demográfica de Saúde, ou
dados de um mercado financeiro.

Dados secundários podem poupar dinheiro na
aquisição de dados, mas tome cuidado!
14
Dados de “Baseline”
Pesquisas
de painel
Entrevistas com
interlocutores
chaves
Conversas
com
pessoas
afetadas
“Grupos
focais”
Análises
dos
registros
oficiais
Observação de
participantes
Visitas
de
campo
Pesquisas
únicas
Observação
direta
Censos
Entrevistas
das
comunidades
Métodos informais/menos estruturados
Experiências
controladas
Questionários
Métodos formais/mais estruturados
15
Praticidade
Os dados estão associados com o indicador
prático?
Pergunte se…
 Dados de qualidade estão atualmente
disponíveis
 Os dados podem ser obtidos de forma
regular e em tempo
 A coleta de dados primários, quando
necessária, é viável e efetiva em termos
de custos
16
4. Metas
Metas são os níveis quantificáveis dos
indicadores que um país deseja atingir num dado
ponto no tempo
Precondições


Clara compreensão do passado recente
Conhecimento dos recursos disponíveis
Considerações políticas


Talvez o mais importante seja o custo de não cumprir a
meta…
Gerenciamento para o sucesso



Seja realista!
Faixas?
Nota: gestão por resultados não depende criticamente das
metas
17
5. Monitoria e gestão por
Metas
“Abertura” faz parte do enfoque

Desenvolver estratégias de divulgação para o
público, internet, etc.
Monitoramento deve ser contínuo
Informações devem correr “verticalmente” e
“horizontalmente”
Em nenhum ponto do sistema devem ser
coletados dados sem ser analisados

Cria incentivos em favor da qualidade dos dados
18
5. Monitoria
Fidelidade
Validade
Medida clara e direta
do desempenho relevante
Metodologia estável
e consistente
Pontualidade
Dados atualizados e
suficientemente freqüentes
para influenciar decisões gerenciais
19
5. Monitoria: Freqüência
Quanto mais observações houver, tanto
mais os diagnósticos serão
Seguros
 Sofisticados
?
Tempo
Melhorar acesso
aos mercados
Acesso
Acesso

Tempo
Melhorar acesso
aos mercados
20
Avaliação
21
O papel das avaliações
Avaliação baseada em resultados
• Uma avaliação de uma intervenção planejada, sendo
realizada ou já completada, para determinar sua
relevância, eficiência, efetividade, impacto e
sustentabilidade. A intenção é incorporar no processo
decisório lições aprendidas.
Propósitos da avaliação
Questões “Por que”: O que causou as mudanças que estamos
monitorando?
Questões “Como”: Quais foram as seqüências ou os processos
que levaram a resultados bem (ou mal) sucedidos
Questões de “Cumprimento/ Accountability”: As atividades
prometidas realmente aconteceram como foram planejadas?22
Utilização da Avaliação
Tomar decisões de recursos
Repensar as causas de um problema
Identificar questões referentes a um
problema iminente, i.e. evasão de crianças
da escola
Identificar alternativas
Promover apoio para a reforma ou
inovação do setor público
Ajudar a construir um consenso entre os
atores envolvidos sobre como responder a
um problema
23
Avaliação significa informação sobre:
Estratégia
se estamos fazendo as coisas certas
Raciocínio/justificação
 Satisfação do cliente

Operação
se estamos fazendo as coisas
corretamente


Efetividade em alcançar os resultados
esperados
Eficiência em otimizar recursos
Aprendizado
se há melhores formas de se fazer
Alternativas
 Melhores práticas
 Lições aprendidas

24
Tipos Gerais de Avaliações e
Avaliações de Gastos Públicos (PERs)
As avaliações podem ser feitas em vários níveis:




Avaliações do desempenho dos gerentes dos
programas e dos funcionários envolvidos na execuçao
dos programas
Avaliações institucionais
Avaliações de programas (enfoque dessa
apresentaçao)
Avaliações dos setores (assuntos que abrangem vários
setores, política fiscal, política de educaçao, etc.)
As avaliações de gastos públicos (PERs)
geralmente avaliam em nível mais geral (dos
setores), porém também deve-se utilizar as
avaliações dos programas
25
Tipos de Avaliações
Avaliações de processo de
implementação:




Provê informação detalhada sobre a operação do
programa segundo o que foi planejado (estamos
fazendo as coisas corretamente?)
Provê feedback contínuo para auxiliar os gestores
Provê informações detalhadas para aqueles
interessados em aumentar a escala ou replicar
Identifica gargalos
Avaliações de custo-benefício:


Calcula o custo da intervenção relativamente aos
resultados
Estamos fazendo as coisas de forma eficiente?
26
Tipos de Avaliações, cont.
Avaliações de impacto:




Mede os efeitos do programa para determinar se os
objetivos estão ou não sendo alcançados
Tenta estabelecer uma relação de causalidade entre
atividades e impactos
Impactos incluem tanto os planejados quanto os não
planejados
Avaliações de impacto requerem um contra-factual
claramente estabelecido:


O que teria acontecido sem o projeto?
Geralmente é preciso comparar aqueles “com” o projeto
(beneficiários, “grupo de tratamento”) e aqueles “sem” o
projeto (“grupo de controle”) antes e depois do projeto
27
Estágios da Avaliação
Esclarecer os objetivos da avaliação
Explorar as informações disponíveis
Desenhar a avaliação
Formar a equipe de avaliação (capacidade?)
Coletar informação (amostra, questionário,
piloto, coleta de dados, entrada, controle de
qualidade, etc.)
Análise
Relatar, disseminar e discutir os resultados
Usar os resultados: feedback para políticas,
orçamentos e planejamento
28
Disseminação e Utilidades da
Informação
29
Divulgação
Informar sobre o estado dos projetos
Prover índices sobre problemas
Explicar problemas
Criar oportunidades para considerar
melhoras ou alternativas
Prover informação sobre tendências
30
Usando as Conclusões
Como um instrumento para o planejamento e
orçamento:


Formular/justificar orçamentos
Ajudar na alocação operacional de recursos
Como um instrumento de gestão:

Melhorar os serviços
Como um instrumento de
performance/accountability :




Responder às demandas para “accountability”
Motivar pessoal
Monitorar fornecedores
Provocar debate sobre problemas
Reforçar confiança pública
31
Questões institucionais e
sustentabilidade
Demanda para M&A é crucial


Exigências estruturais (ex. lei nacional que exija M&A de todos
os programas federais)
Vínculos orçamentários e de planejamento
Papéis claros

Papel formal para organismos de planejamento e finanças
Credibilidade


Sistema deve entregar boas e más notícias!
Proteção dos gerentes contra conseqüências graves
Responsabilidade (“Accountability”)

Papéis da sociedade civil, mídia…
Capacidade técnica
32