Monitoramento Analítico como
Ferramenta para Aprimoramento
da Gestão de Programas Sociais
Paulo de Martino Jannuzzi
ENCE/IBGE e SEADE
Tem havido em esforço crescente
em M&A no Brasil nos últimos 20 anos
Ampliação da agenda, escopo e escala das Políticas Sociais, instituída na
Constituição de 1988
Potencializado pela pressão e controle social crescente (Imprensa, mov.
Sociais etc)
Viabilizado por mudanças institucionais importantes
- Reforma da Adm. Pública, para foco nos resultados
- Descentralização da ação governamental
- Emponderamento dos órgãos de controle (TCU, Min.Público etc)
- Recuperação da capacidade de gestão no setor
- Aumento do número de servidores, mais qualificados
Tem se ampliado Pesquisas e Estudos Avaliativos voltados
às diferentes etapas do Ciclo de Políticas e Programas
Avaliação de
desenhos de
implementação
Avaliação ex-ante
de demandas
Tipologia de
pesquisas de
avaliação segundo
maturidade do
programa
Avaliação de
processos
( Peter Rossi 2004)
Avaliação custoefetividade
Avaliação de
resultados e
impactos
Há muitas iniciativas para melhoria da captação e
disseminação de informação para Formulação
Fontes e Pesquisas
Avaliação ex-ante
de demandas
Avaliação de
desenhos de
implementação
Públicos-alvo (Censo
Demográfico, Pesquisas
amostrais. Cadastros e
registros de programas)
Agentes implementadores
( MUNIC, pesq. Inst. )
Participação social
(MUNIC, pesq. Inst. )
Avaliação de
processos
Avaliação custoefetividade
Avaliação de
resultados e
impactos
Tem se reconhecido a importância de se rever e discutir os
desenhos e lógicas de implementação dos programas
Avaliação de
desenhos de
implementação
Avaliação ex-ante
de demandas
Pesquisas de
avaliação
Análise Institucional
da Política
Análise da Lógica de
Intervenção do
Avaliação de
Programa
processos
Avaliação custoefetividade
Avaliação de
resultados e
impactos
Tem se reconhecido a importância de utilização de
diferentes abordagens metodológicas conjugadas
Unidades de análise
Produtos
Avaliação ex-ante
Serviços
prestados
de demandas
Públicos-alvo
Gestores
Técnicos atendentes
Instituições prestadoras
de serviços
Municípios
Estados
Outros Ministérios
Avaliação custoPesquisas
efetividade
encomendadas
Avaliações do TCU
Auditorias da CGU
Pesquisas do IBGE e
outras instituições
Avaliação de
desenhos de
implementação
Pesquisas de
avaliação
Abordagens
qualitativas
(Observação,
Entrevistas, Grupos
de Discussão)
Abordagens
quantitativas
(Amostras
intencionais,
probabilísticas,
desenhos quaseexperimentais)
Avaliação de
processos
Avaliação de
resultados e
impactos
Tem se reconhecido a importância de utilização de
diferentes abordagens metodológicas conjugadas
Triangulação
Triangular significa abordar o objeto de pesquisa a partir de mais
de uma técnica diferente de investigação ou sujeitos a entrevistar,
como linhas não paralelas na forma de um triângulo cercando o
objeto de pesquisa ao centro.
Plano de Avaliação Formativa do Programa Seguro-Desemprego
(Benefício SD, Intermediação de MO, Qualif.Profissional)
Estudos de caso
Pesquisa qualitativa
81 Grupos focais em todos os
estados da Federação
Entrevistas em profundidade
com 292 agentes em todos
estados da Federação
Pesquisa documental – CPUs,
PROESQs e relatórios em geral
Pesquisa quantitativa
Análise da Arquitetura do
Sistema de Informações
Pesquisa
em bases de dados
Oficinas Regionais
Pesquisa de opinião com 1990
empregadores em 17 estados
Pesquisa de opinião com 1999
trabalhadores em postos do
SINE em 44 municípios
Pesquisa de opinião com 2039
egressos do PNQ 2007 em 90
municípios
388 supervisores e entrevistadores
envolvidos na pesquisa de opinião
Pesquisa de opinião com 19618
beneficiários do SD em 109
municípios
RAIS, SIGAE, CAGED, Base de
Gestão e IBGE
6 Oficinas de Avaliação
Participativa em 5 regiões (duas
no Nordeste)
8
Experiência em M&A no MDS- O papel da SAGI
Em que pese todo o esforço, há um certo
desencanto com a Avaliação...
As metodologias de avaliação de programas sociais têm sido objeto de
severas críticas. Basicamente, afirma-se que, na prática, as avaliações
não subsidiam o processo decisório porque seus resultados são
inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das
próprias limitações deste tipo de estudo, inoportunos devido à
morosidade do processo avaliativo e irrelevantes, porque não
respondem às demandas informacionais de todos os agentes sociais
afetos à intervenção (COTTA 1998, p.118).
Alguns fatores que contribuem para o desencanto
Complexidade do objeto
• Problemas sociais são complexos e multi-causais,
• Públicos-alvo bastante distintos e dispersos
• Parte significativa dos programas são muito recentes
• Natureza diversa das “entregas” – benefícios monetários, produtos,
serviços
• Complexidade do contexto de operação dos programas, envolvendo
articulação entre setores da Política Social, entes federativos e
entidades público-privadas
Alguns fatores que contribuem para o desencanto
Desconhecimento sobre o estágio de Avaliabilidade dos Programas
- Antecipação de avaliações externas de natureza mais de auditoria
- Medição de resultados e impactos em detrimento de avaliações de
desenho da intervenção ou do processo de implementação, mais
voltados ao aprimoramento do programa
Avaliação de programas têm sido realizadas por equipes com boa
experiência em Análise de Macro-Políticas, Conjuntura Social ou
projetos de pesquisa acadêmicos, mas sem muita experiência ou
conhecimento na implementação real de programas. sem a
interdisciplinaridade exigida
Gestores e técnicos mais como expectadores do que protagonistas,
encarando M&A mais como espasmos ou estorvos avaliativos do que
como ferramentas para aprendizado e aprimoramento dos programas
Alguns fatores que contribuem para o desencanto
Gestores e técnicos mais como expectadores do que protagonistas,
encarando M&A mais como espasmos ou estorvos avaliativos do que
como ferramentas para aprendizado e aprimoramento dos programas
Deficiência na estruturação ou inexistência de Sistemas de Monitoramento
de Programas, que possam aportar subsídios analíticos para a gestão
Demandas cotidianas de gestão conspiram contra a disseminação de uma
cultura em M&A
Desafio: Enfoque multidisciplinar e maior envolvimento
das equipes dos programas nas atividades de M&A
Garcia, 2001, 17-18)
Desafio: Integração de Sistemas de Monitoramento e
Pesquisas de Avaliação
Monitoramento e avaliação são processos analíticos organicamente
articulados, que se complementam no tempo, com o propósito de
subsidiar o gestor público de informações mais sintéticas e
tempestivas sobre a operação do programa –resumidas em painéis
ou sistemas de indicadores de monitoramento – e informações
mais analíticas sobre o funcionamento desse, levantadas nas
pesquisas de avaliação.
Desafio: Integração de Sistemas de Monitoramento e
Pesquisas de Avaliação
M&A de programas compõe-se de ferramentas
Sistemas de Monitoramento
subentende um lógica da intervenção
vale-se de dados já coletados
busca dispor de indicadores
na forma de Painéis gerenciais
ou Painéis analíticos
- recursos e insumos
- processos e produtos
- resultados e impactos
- qualidade, produtividade
Pesquisas de Avaliação
desenho pode ser obj de avaliação
envolve em geral coleta primária
informação qualitativa e quantitat.
relatório de avaliação, respondendo
- mérito da demanda
- desenho e institucionalidades
- dificuldades da implementação
- resultados e impactos
- custo-efetividade
Aprimoramento da Gestão do Programa
Estrutura lógica de um Painel de Monitoramento
Monitoramento Gerencial e Monitoramento Analítico
Monitoramento gerencial: acompanhamento das ações,
em suas diferentes fases, para orientar a tomada de
decisão visando a prestação dos serviços e cumprimento
de prazos e metas previstos no programa
 Sistemas informatizados, planilhas de controle
 Muito intensivo em dados, estruturados ou não
 Subentende a lógica de encadeamento de ações
 Prazos e metas são os parâmetros de avaliação
Monitoramento Analítico
Exercício sistemático de análise de séries temporais
de indicadores de esforços e de processos-chave da lógica de intervenção
implícita de um programa- como indicadores de fluxos de desembolsos
financeiros, de realização de atividades-meio, de entrega de produtos e
serviçose de indicadores que permitam inferir os efeitos – resultados e, se possível,
impactos- dos programas junto a seus públicos-alvo,
tipificados segundo diferentes contextos socioeconômicos de vivênciacomo municípios ou regiões mais pobres ou mais desenvolvidas, com
menor ou maior oferta de infraestrutura de serviços públicos, por exemploou segundo arquétipos das estruturas organizacionais que lhes atendem nos
programas- como municípios ou regiões com agentes com menor ou maior
capacidade de gestão operacional do programa, ou menor ou maior controle
social, maior ou menor integração/articulação entre programas sociais, por
exemplo.
Monitoramento Analítico
- Painéis de Indicadores
- Construção de Indicadores-sintese
- Construção de Indicadores relacionais
Escolha dos eixos analíticos: vulnerabilidade do público-alvo
e capacidade de gestão do agente implementador
Indicador de
Capacidade
Gestão
Indicador de
bem estar
Escolha dos eixos analíticos: vulnerabilidade do público-alvo
e capacidade de gestão do agente implementador
Indicador de
Capacidade
Gestão
Por que minhas
“entregas” estão se
processando se
forma diferente
nesses dois
contextos?
Indicador de
bem estar
Perguntas a serem respondidas por meio de um
Painel de Indicadores de Monitoramento Analítico
a) Como se processam as adesões, convênios e entregas dos programas em
municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de
gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações
mais articuladas entre programas ?
b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum
critério de priorização que justifique tal comportamento ?
c) Como evoluem os indicadores de efeitos nos municípios ?
d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos
programas ?
e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função
dos esforços e da lógica de encadeamento ?
f) Que informações você pode inferir destas análises para aprimoramento incremental
do programa ?
g) Que tipo de problema identificado por esses indicadores sugere a necessidade de
realização de uma Pesquisa de Avaliação específica ?
Desafio: Especificar Painel de Indicadores para
Monitoramento Analítico de Programas para uso do Gestor
Avaliação de
desenhos de
implementação
Avaliação ex-ante
de demandas
Painel de
Indicadores para
Monitoramento
Analítico de
Programas
Avaliação custoefetividade
Avaliação de
resultados e
impactos
Avaliação de
processos
Exemplos de Painéis de Indicadores de Monitorameto
Analítico
• Painel de Controle do SIMEC
• Matriz de Informações Sociais da SAGI/MDS
• SIM-Trabalho da SERT e Seade/SP
• SIM-Escolas da Sec.Educ e Seade/SP
Etapas para Construção de um Painel de Indicadores
Indicadores de Monitoramento
como sequências de fotos - filme
Recurso metodológico para “filmar” as atividades, ações e programas
promovidas pelo setor público, assim como a mudança social
impactada pelos mesmos
Princípios relativos à construção do Painel de Indicadores
Os indicadores devem ter interpretação normativa clara
Os indicadores devem ser mutuamente consistentes e com importância equivalente
Os indicadores devem ser inteligíveis e acessíveis ao gestor
Os indicadores devem ser atualizados a partir de fontes de dados já existentes,
periodicamente.
Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos
ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de
Pesquisas Domiciliares)
Princípios relativos à construção do Painel de Indicadores
O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre
as dimensões de acompanhamento
Os indicadores devem ser organizados por níveis de atuação estratégica-operacional,
setorialmente, lógica sintese-análise ou por nível de criticidade para as demais
atividades
Os indicadores devem permitir evolução dos esforços, processos e efeitos
Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa,
ainda que com problemas de validade de constructo ou de cobertura
Indicadores devem estar suportados em aplicativos de fácil implementação operacional,
que buscam informação em outros sistemas transacionais
FIM
Obrigado !