Monitoramento e Avaliação na
Gestão Pública
Glauco Knopp
[email protected]
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO
 A prática de Avaliação na Gestão Pública tem início após a II Guerra
Mundial
 Esforço de reconstrução dos países, avaliações de alguns programas
sociais de grande vulto
 Incentivo de organismos multilaterais (BIRD)
www.institutopublix.com.br
2
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO
 Países em desenvolvimento: M&A nos governos incipiente até início de
1990.
 Os avanços da nova administração pública têm muitas implicações
sobre a função e a prática da avaliação
www.institutopublix.com.br
3
Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE)
Estado tradicional: Protagonismo isolado na
cena do desenvolvimento
Estado em rede: Concertador ativador e direcionador
estratégico das capacidades do mercado e da sociedade
•
•
Reformas de primeira
geração, o ajuste fiscal
–
–
–
Se basta: ajuste pelo
ajuste
como pré-condição:
primeiro o ajuste, depois
o desenvolvimento
É uma agenda negativa:
“custos de oportunidade
ao desenvolvimento”
Reformas de segunda geração: a estratégia
“dual”
–
Ênfase no desenvolvimento e no
fortalecimento institucional
+
–
Qualidade (com responsabilidade) fiscal e
consolidação do ajuste pelo ganho de
eficiência: “fazer (o que deve ser feito) mais
e melhor com menos”
... Gerando resultados que criam VALOR PÚBLICO sustentável
www.institutopublix.com.br
4
Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE)
Estado tradicional: Protagonismo isolado
na cena do desenvolvimento
Estado em rede: Concertador ativador e direcionador
estratégico das capacidades do mercado e da sociedade
•
•
Reformas de primeira
geração, o ajuste fiscal
–
–
–
Se basta: ajuste pelo
ajuste
como pré-condição:
primeiro o ajuste, depois
GESTÃO DA
o desenvolvimento
EFICIÊNCIA
OPERACIONAL
É uma agenda negativa:
“custos de oportunidade
ao desenvolvimento”
Reformas de segunda geração : a
estratégia “dual”
–
Ênfase no desenvolvimento
e noDA
GESTÃO
ESTRATÉGIA
fortalecimento institucional
+
–
Qualidade (com responsabilidade) fiscal e
consolidação do ajuste pelo
ganho
GESTÃO
DA de
EFICIÊNCIA
eficiência: “fazer (o que deve ser feito) mais
e melhor com menos” OPERACIONAL
... Gerando resultados que criam VALOR PÚBLICO sustentável
www.institutopublix.com.br
5
Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE)
BUROCRACIA ORTODOXA
 Orientada para a
conformidade normativa
 Fragmentada
 Comando-controle
GOVERNANÇA SOCIAL
 Orientada para resultados que
geram valor público
 Sistêmica
 Relacional (em rede)
www.institutopublix.com.br
6
UM NOVO PADRÃO DE GESTÃO PÚBLICA: O QUE MUDA?
 Orientação para o cidadão-usuário, ênfase na qualidade do serviço e do
atendimento (integrado)
 Gestão orientada para resultados: planejamento estratégico, orçamento por
resultados, acordos de resultados, gerenciamento intensivo de programas e
projetos, monitoramento & avaliação
 Flexibilização, simplificação burocrática e autonomia (com responsabilização)
 Novas formas de prestação de serviços públicos por meio de parcerias com
entes de cooperação e parcerias público-privada
 Fortalecimento do núcleo estratégico de governo por meio da
profissionalização da alta burocracia e do desenvolvimento de formas
inovadoras na gestão de políticas públicas
 Gestão em rede fortalecendo a capacidade relacional para lidar com a
transversalidade e relações intergovernamentais
 Uma nova gestão de pessoas: estratégica e profissional (carreiras,
desenvolvimento de competências, remuneração variável por desempenho,
sistema de gerência pública)
 Mudanças na relações governo-sociedade, controle social, transparência,
participação, governança social
www.institutopublix.com.br
7
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
... Um Modelo de Governança Estratégica Para Resultados
RESULTADOS
1
M A PA
E S T R AT É G I C O
Indicadores
Metas
projetos
ESFORÇOS
CENTRAL DE
RESULTADOS
5
DESDOBRAMENTO
Processos
Pessoas
2
4
ALINHAMENTO
Processos, estrutura, pessoas
3
CONTRATUALIZAÇÃO
Abordagem desenvolvida por Marini & Martins
www.institutopublix.com.br
8
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
... Um Modelo de Governança Estratégica Para Resultados
RESULTADOS
CONTROLE
SOCIAL
Processos
Pessoas
PROCESSO DE COPRODUÇÃO NA
IMPLEMENTAÇÃO
CONSTRUÇÃO
COLETIVA DA
AGENDA
ESFORÇOS
Do governo que governa a sociedade
PARA
o governo que governa COM a sociedade
Abordagem desenvolvida por Marini & Martins
www.institutopublix.com.br
9
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
... Gerando VALOR PÚBLICO sustentável
Dimensões do
Resultado
Insumos (inputs)
Eficiência
Eficácia
Concepção e
Desenho
Planejamento
Estado
Outros
Ética
Efetividade
Produtos (outputs)
Impactos (outcomes)
Poder
Cultura
Ações/Atividades
P
r
o
j
e
t
o
s
3º Setor
Avaliação
Economicidade
Excelência
Mercado
Organizações
Execução
Execução
Dimensões de
Esforço
Monitoramento
www.institutopublix.com.br
10
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO
Estamos falando de um novo modelo de Estado, baseado
em Governança (Governo Matricial e em Rede) e
Desempenho (Esforços e Resultados), cujo alcance só é
possível a partir de mecanismos de Monitoramento e
Avaliação
www.institutopublix.com.br
11
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: DIFERENTES OBJETOS DE ANÁLISE
Estamos falando de monitorar e avaliar o desempenho do que?
 Organizações: Governos
 Setores: áreas ou domínios de políticas públicas e da economia
 Intervenções: planos, programas, projetos
 Pessoas: equipes, líderes, cada indivíduo
 Serviços: internos e externos às organizações
 Processos
 Sistemas
Cada objeto com seus sistemas, métodos e estratégias de monitoramento e
avaliação que devem “conversar” entre si
www.institutopublix.com.br
12
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Alguns princípios básicos
 A criação de um Sistema de M&A não pode ser entendida como um
fim em si mesmo
 Mais importante que avaliar olhando para trás, ou seja, buscando
responder se um determinado projeto apresentou resultados, é olhar
pra frente, buscando melhorar a qualidade dos programas, e
constituir instituições governamentais capazes de construir políticas
públicas com base em evidências (LEGOVINI, 2009).
 Deve-se respeitar o timing político-eleitoral
www.institutopublix.com.br
13
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Fatores Críticos de Sucesso em M&A
 Utilidade (tempestividade, relevância, qualidade) e credibilidade
(confiabilidade do método, da fonte) das informações geradas
 Capacidade de integração à agenda de planejamento, gestão e
orçamento governamentais
 Forte estrutura de incentivos para a geração e uso da informação
 Demanda pela informação
www.institutopublix.com.br
14
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Usos das Informações de M&A
 Aprendizagem organizacional
 Melhorar a prática
 Accountability e transparência
 Alocação de recursos (integrar informações sobre resultados ao
processo de tomada de decisões orçamentárias)
 Controle/Fiscalização/Auditoria (Órgãos de Controle)**
www.institutopublix.com.br
15
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Partes Interessadas (usuários) nas informações de M&A
 Gestores: Aprimorar desenho e funcionamento
 Legislativo/Planejamento/Fazenda: alocação de recursos entre
programas
 Sociedade civil: Prestação de contas a quem paga os impostos
 Beneficiário: “Empoderamento”
www.institutopublix.com.br
16
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Vantagens da adoção de sistemas de M&A em governos
 Fortalecimento das relações de prestação de contas para dentro e para
fora do governo
 Tomadas de decisão mais eficazes
 Fomento ao intercâmbio de idéias e experiências sobre os programas e
projetos públicos
 Implementação de inovações
 Geração e Sistematização de conhecimentos na Administração Pública
www.institutopublix.com.br
17
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: UTILIDADES DAS INFORMAÇÕES DE M&A
Monitoramento &
Avaliação
Implementação
Política
Sociedade
Intervenções
Estratégias políticas
Normas e Valores
Abre oportunidades de
aprendizagem
Provê recomendações

Torna as políticas
públicas mais efetivas,
eficientes e sustentáveis




Gerenciamento
Fonte: R. Stockmann


Cria transparência
Ajuda na supervisão
Dá mais credibilidade às
políticas públicas
Legitimação
www.institutopublix.com.br


Melhora o nível de
informações
Abre oportunidades para
participação democrática
Permite a avaliação usando
critérios de sustentabilidade
Iluminação e Controle
social
18
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CICLO DE VIDA E FERRAMENTAS DE M&A
IDENTIFICAÇÃO
Diagnóstico
FORMULAÇÃO
Concepção
IMPLANTAÇÃO
PÓS IMPLANTAÇÃO
Execução
Iniciativa em Operação
Avaliação “ex-ante”
Monitoramento
Avaliação
Intermediária
DECISÃO DE
IMPLANTAR
CORREÇÕES DE
RUMO
www.institutopublix.com.br
Avaliação
de término
DECISÃO DE
CONTINUAR
Avaliação
(ex-post)
DECISÃO DE
REPETIR
19
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: TIPOS DE AVALIAÇÃO NO GOVERNO DO MÉXICO
ANO 0
ANO 1
ANO 2
Avaliação de processos
Avaliação de
Desenho
ANO 3
Avaliação de Impacto
Avaliação Executiva
Avaliação
Econômica
Avaliação de
Indicadores
Monitoramento
Linha de Base
DECISÃO DE
IMPLANTAR
Avaliações Complementares
Focalização
Stakeholders
CORREÇÕES DE
RUMO
CORREÇÕES DE
RUMO
www.institutopublix.com.br
Meta-avaliação
DECISÃO DE
CONTINUAR
DECISÃO DE
REPETIR
20
Ciclo de Vida
T-1
T0
Ti
Tf
Tf+1
Eficácia
Monitoramento
Dimensões do Desempenho
Efetividade
Eficiência
Execução
Excelência
Economicidade
Avaliação
www.institutopublix.com.br
21
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
M&A em Governos no Brasil
 Crescente difusão e adoção nos últimos anos
 Requisito formal (condicionalidades contratuais impostas por BMDs)
 Foco em fiscalização e controle
 Pouco uso dos resultados
www.institutopublix.com.br
22
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 A demanda espontânea por avaliações de políticas, programas e
projetos ainda é incipiente no setor público brasileiro
 A geração de informações sobre os resultados de organizações,
programas, políticas etc., ainda apresenta severas fragilidades
 A incorporação destas informações aos processos decisórios,
buscando-se ajustes e aprendizado, é incipiente
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
23
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 Publicização externa sobre a prática de M&A ainda é ruim
 Impactos políticos das avaliações
 Cultura reativa e defensiva típica de certas administrações (exposição
das vísceras; avaliação vista como controle/punição)
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
24
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 A avaliação não é uma profissão institucionalizada e regulamentada e
bem definida
 Há poucos profissionais especializados disponíveis na área de M&A.
Acaba-se limitando aos que se conhece.
 Há insuficiência da oferta acadêmica de cursos de especialização em
M&A
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
25
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 As avaliações são reduzidas à dimensão output, quando o ideal seria
considerar diferentes dimensões de diferentes realidades (desenho,
implementação, custo-efetividade, impacto) para contextos diferentes
 Há pouca aderência dos resultados de avaliação à realidade prática dos
programas, ou seja, baixo valor agregado da avaliação na geração de
aprendizado e soluções efetivas
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
26
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 Quase inexistência de avaliações mistas (avaliações externas causam
reações negativas dos gestores e as internas sofrem problemas de
isenção)
 Falta de cultura de tratar a avaliação como parte do projeto (previsão
de $$ para avaliar)
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
27
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 Ausência de cultura de planejamento com base em métodos e
evidências (uso do “achômetro”, feeling, conhecimento tácito)
 Desintegração entre formulação e avaliação (condições de
avaliabilidade; retroalimentação)
 Ausência de equipes no setor público com expertise para demandar
avaliações (problemas nos TdR, editais) e analisar seus resultados
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
28
MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA
Diagnóstico de M&A em Governos no Brasil
 Sociedade pouco instrumentalizada para saber demandar
 O conhecimento no tema é acumulado em áreas específicas
(educação, saúde), mas não sistematizado e compartilhado
 Legislativo pouco proativo (comissões mistas, projetos de lei exigindo
avaliações de programas)
Fonte: Marcia Joppert (2010; 2011)
www.institutopublix.com.br
29
Glauco Knopp
Mestre em Administração Pública pela FGV e Bacharel em Administração
pela Escola Superior de Propaganda e Marketing (ESPM). Possui
experiência profissional em organizações privadas (com e sem fins
lucrativos) e na administração pública, com destaque para: Lojas
Americanas S.A. (Gerente de Loja); Governo do Estado do Rio de Janeiro
(Coordenador de Monitoramento e Avaliação do PNAGE); OSCIP Centro
Mineiro de Alianças Intersetoriais (Coordenador de Projetos); Governo do
Estado de Minas Gerais (Empreendedor Público). Lecionou em instituições
de ensino superior, em cursos de graduação e pós-graduação, entre elas
EBAPE/FGV e UFRJ. Atua como docente-colaborador eventual da Escola de
Governo da Fundação João Pinheiro/MG em cursos de pós-graduação e
Professor Associado da Fundação Dom Cabral (FDC). É palestrante e autor
de diversas publicações em temas relacionados à gestão pública. É
Consultor Sênior do Instituto Publix.
[email protected]
www.institutopublix.com.br
30