IV Seminário da Rede Brasileira de
Monitoramento & Avaliação
F
U
N
D
A
Ç
Ã
O
J
O
Ã
O
P
I
N
H
E
I
R
O
Mini curso: modelos de
causalidade lógica e Marco Lógico
Aula 01
Proposta do Curso e Contextos
Victor Maia Senna Delgado
e-mail: [email protected]
Rio de Janeiro - RJ
13/08/2012
Proposta do Curso:

Nosso curso objetiva a estudar como surgem os programas de
Estado e entender como se desenvolvem os métodos de
atuação e validação desses programas em sua etapa mais
incipiente.

Podemos pensar que estamos em uma “incubadora” de projetos!
Um think tank responsável por formular as idéias e propô-las de
uma maneira que sejam coerentes e passíveis de verificação.

Objetivamos também compreender como inserir o tema de
avaliação no ciclo de planejamento e no ciclo das políticas
públicas. Procuramos um método para o desenvolvimento de
programas ... Será que existe apenas um ?!
Proposta do Curso:

Descobrir um programa (ou ação) necessário e eficaz, não é uma
tarefa simples. Envolve muitas questões paralelas: qual o papel
do estado? Como identificar suas debilidades? O que funciona?!
Funciona devido a participação do estado? O que necessita ser
alterado?

Temos de lidar com as diferentes dimensões da atuação pública,
o contexto histórico em que surgem determinadas medidas, e
porque se acredita que o estado deve atuar em determinados
campos.

Isso nos ajuda a entender a importância dos modelos de
causalidade lógica e Marco Lógico (ML) na Avaliação de
Programas.
Proposta do Curso:

A tendência
recente é valorizar o
Monitoramento e Avaliação (M&A), ressaltando
sua importância no quadro da intervenção social.

No entanto, nem sempre o entendimento foi
pró M&A. A sociedade levou um tempo até
atingir esse consenso. Podemos identificar várias
fases históricas e como elas se combinam com a
evolução das instituições e da organização social.
Contexto Histórico:

Evert Vedung (2010) contextualiza quatro ondas de
avaliação:

1ª : Avaliação Científica (1960-1970): Abordagem
que enfatizava ações de planejamento para a mudança a
avaliação com critérios científicos. O setor público
deveria ser mais científico e reflexivo (racionalismo
radical). Abordagem insumo-produto e os métodos de
controle e tratamento apareceram no contexto de
avaliação durante essa onda.
Contexto Histórico:

2ª : Avaliação Orientada pelo diálogo (1970-1980):
Os diversos setores devem também participar. A
avaliação deve envolver todos os contemplados, os
setores da sociedade afetados e os demais interessados
(Governo, Pesquisadores e Sociedade), identificação de
stakeholders abordagens qualitativas e construtivistas.

3ª : Avaliação Neo-Liberal (1980-2000): Avaliação
orientada pelo mercado, marcada por forte
descentralização, desregularização e privatização dos
serviços. O beneficiário visto como cliente, e base
científica voltada para o atendimento da efetividade,
eficiência e produtividade. Manutenção apenas dos
serviços públicos e benefícios tidos como essenciais.
Contexto Histórico:

4ª: Avaliação Baseada em Evidências (2000-atual):
Baseada no chavão: “o que interessa é o que funciona”,
evidências de que um programa dá certo. Essa
metodologia revisita aspectos das três ondas anteriores.
Restaura práticas científicas tais como os métodos
quase-experimentais, mas também tem enfoque na
análise qualitativa e identificação de stakeholders e
algumas práticas das avaliações orientadas para o
diálogo, mas também busca inserir maior
profissionalização e os objetivos de eficiência e
produtividade.

Essas datas são aproximações,
perspectiva, de acordo com o país.
variando,
em
Contexto Histórico:
Formação do
Estado Moderno
Revolução
Francesa
Iluminismo
Direitos civis
Direitos para
“todos”
Sec. XVI e XVII
1789
Abolição da
Escravidão no
Brasil
1888
Belle époque
Crise da Bolsa
Liberalismo
Dirigismo estatal
1900
1914 1929
tempo
Contexto Histórico:
WWII
Welfare State
Planejamento
1929 1939 1945
2ª Crise do Petróleo
Neoliberalismo
1979
Queda do Muro
Neoliberalismo
1989
Crise
Financeira
Síntese
Programática
2007
tempo
Contexto Histórico:
WWII
Welfare State
Planejamento
2ª Crise do Petróleo
Neoliberalismo
Queda do Muro
Neoliberalismo
Crise
Financeira
Síntese
Programática
tempo
1929 1939 1945


1979
1989
2007
Dentro desse contexto, a implementação mais sistemática de políticas
públicas começa a se delinear no estado de Welfare-State e a avaliação
crítica se insere no momento de revés do Welfare.
Eram necessários critérios para saber o que funcionava de acordo com
seus objetivos iniciais propostos. Pois, diante da escassez mais aguda de
recursos após a crise de 1979, era necessário avaliar onde os projetos
davam maior retorno social.
Contexto Histórico:

Hoje podemos dizer que o estado se encontra em um meio-termo,
uma síntese de programas com a necessidade de avaliação, e que há
áreas de bem-estar que a sociedade julga necessário intervir e outras
que julga necessário regular para garantir uma boa concessão aos
prestadores de serviços de utilidades públicas.

Porém essa intervenção não está mais no espírito do welfare-state que
tinha por mote condutor o empreendedorismo estatal (hands on) e a
seguridade social provida pelo estado.

Tampouco se trata da desconstrução de todo o aparato de
intervenção (hands off), pois se viu que a atuação do estado em muitas
áreas era justificada por promover maior bem-estar.

A síntese atual estabelece então maior rigor teórico e empírico tanto
para a proposição e intervenção de programas sociais quanto para a
verificação e responsabilização dos recursos do estado (“hands
nearby”).
Contexto Histórico:

Portanto, Monitoramento & Avaliação (M&A) estão em
voga por fazerem parte de uma responsabilização social.

As instituições também passaram por essas mudanças
internas para se adaptar ao novo paradigma ou a nova
cultura.

As práticas e sistemas de (M&A) se encontram hoje
difundidas no mundo, sendo apoiadas por diversos órgãos
internacionais com a capacitação de pessoas nessas áreas,
assim como os recursos para investimentos nas áreas
sociais.
Primeiras definições:

Frechtling (2007) responde que modelo lógico é “[...] uma
ferramenta que descreve uma teoria de mudança subjacente a uma
intervenção, produto ou política. Ele caracteriza um projeto por
meio de um sistema de elementos que incluem componentes e suas
relações, no qual o contexto é uma importante informação
qualitativa.”

Desenho Lógico é uma etapa que explicita as relações causais de
um programa, da política ou intervenção. Muito comum nessa fase
o uso de fluxograma da relação de insumos, atividades, produtos,
resultados e impactos. Bem como da elaboração explicita das
relações de causa e efeito.

Um Sistema de Monitoramento e Avaliação (SM&A) trata de
forma sistemática a elaboração de programas por meio do ML,
desenvolvendo procedimentos e recursos para o monitoramento
contínuo e a prática perene de avaliação. Um SM&A contribui para
o estabelecimento de uma cultura de avaliação.
O M&A no mundo:






Dentre as instituições que apóiam e capacitam a
formação de massa crítica em Monitoramento e
Avaliação estão:
No Mundo:
ONU-PNUD
Banco Mundial
BID
FEEI- Fondo Español de Evaluación de Impacto
Rede LA de M&A, Universidades e outros
O M&A no mundo:







Dentre as instituições que apóiam e capacitam a
formação de massa crítica em Monitoramento e
Avaliação estão:
No Brasil:
MDS/MPOG
IPEA
TCU/MF
IPC-Pnud
Fundação João Pinheiro
Rede Brasileira de Monitoramento e Avaliação
O M&A no mundo:

E entre os países que possuem um sistema de
avaliação podemos destacar:

EUA, Canadá, Austrália e Reino Unido
Espanha
México
Colômbia
Chile
Brasil?!





Um sistema de M&A:

Qual o risco de não se ter um sistema de M&A:

Projetos diferentes de um mesmo governo perdem
a comparabilidade.
Projetos que não se comunicam entre si. E podem
dobrar esforços em uma mesma área.
Risco de elaborar programas “blindados”. Não se
sujeitam à avaliação.
Falham no marco lógico.



Um sistema de M&A:

Contudo, a presença de um Sistema de M&A
não significa que todos os programas devem ser
avaliados da mesma forma. Isso seria impossível,
mas sim que para cada programa se conhece o
método.

Quais as premissas básicas deve possuir um
sistema de M&A?
Um sistema de M&A:
1.
Orçamento responsável.
2.
Planejamento.
3.
Desenho Teórico.
4.
Melhoria de programas baseada em desempenho.
5.
Sistema de gerenciamento (gestão).
6.
Accountability
Um sistema de M&A:




Minas Gerais é um dos estados brasileiros onde a evolução para
um sistema de avaliação está mais avançada.
A questão do orçamento responsável foi tratada pelo estratégia do
choque de gestão um gerenciamento de curto prazo do orçamento
para sanar as contas públicas.
O planejamento foi tratado no PMDI – Plano Mineiro de
Desenvolvimento Integrado – um plano de ação de longo prazo
que estabeleceu as metas estratégicas para o estado.
O desenho teórico é um elo fraco. Em alguns casos, se limita a
atuar sobre os projetos estruturadores criados pelo PMDI, em
outros, fica a cargo do órgão executor e que elabora o programa.
Mas muitos marcos-lógicos se limitam a enumerar as justificativas
e a preencher a matriz com a cadeia inputs-outcomes.
Um sistema de M&A:

Para o ponto de melhoria do programa baseado em desempenho
foi criada a comissão Estado para Resultados (EpR). O EpR é
responsável por atuar neste e nos dois pontos 5 e 6. O sistema
GERAES é responsável pelo monitoramento e acompanhamento
dos indicadores. A melhoria dos programas com base nesses
resultados fica a cargo dos órgãos executores e se dá de maneira
adequada quanto melhor a gestão do órgão responsável.

O gerenciamento é a finalidade maior do EpR, estabelece os
indicadores e metas, acompanha os projetos e é responsável pela
contratação de uma avaliação.

Nas tarefas de accoutability o estado faz divulgação dos resultados.
Porém é uma área que precisa ser aprimorada.
O problema do ML:

Há muitas avaliações sendo conduzidas no mundo todo. As
avaliações prescindem de um sistema, porém com o sistema se
evita a ocorrência de erros e problemas.

Um dos problemas recorrentes que os avaliadores enfrentavam
era o da ausência de Marco Lógico.

A ausência de um Marco Lógico e desenho adequado faziam
com que programas tomassem direções erradas para tentar
alcançar os resultados almejados.

Quando a avaliação procurava mensurar os impactos de uma
ação verificava-se a sua ausência não por falta de efetividade, mas
por conta dos processos não serem adequados.
O problema do ML:

Corre-se o risco de se introduzir um programa sem-pé-nem
cabeça.

Que não sabe qual direção seguir, ou tenta ir por todas as
direções possíveis ao mesmo tempo.
O problema do ML:

Dentro dessa perspectiva os avaliadores começaram a destacar a
importância de se fundamentar o marco-lógico corretamente.
Não basta avaliar, é preciso captar a lógica de uma ação para saber
se o que está avaliando está seguindo os intentos iniciais propostos.

Cassiolato e Gueresi (2010) procuram distinguir modelo lógico de
marco lógico. Para as autoras, modelo lógico se refere à estrutura
lógica de um programa ou política social: “uma proposta para
organizar as ações componentes de um programa de forma
articulada aos resultados esperados, apresentando também as
hipóteses e as ideias que dão sentido à intervenção. Considerado
um instrumento para explicitar a teoria do programa e qual o seu
funcionamento esperado.”
O problema do ML:

Judy Baker foreword: “Many governments, institutions, and
project managers are reluctant to carry out impact
evaluations because they are deemed to be expensive,
time consuming, and technically complex, and because
the findings can be politically sensitive, particularly if they
are negative. Many evaluations have also been criticized
because the results come too late, do not answer the
right questions, or were not carried out with sufficient
analytical rigor. A further constraint is often the limited
availability and quality of data”. (grifos meus).
O problema do ML:

Karen Mokate (2002) explora quais são esses obstáculos que
tornam a avaliação um “monstruo” para as diversas instâncias de
governo e órgãos públicos.

A autora destaca que para a avaliação ser mais bem adotada é
preciso superá-los:
1.
2.
3.
4.
Adotando um marco conceitual da política. Indicar claramente os resultados esperados
e explicitar as relações causais que estão sendo supostas.
Superar o distanciamento sobre as abordagens de avaliação quantitativa e qualitativa
desde os objetivos da avaliação.
Identificar e equilibrar o conjunto de indicadores e informações relevantes, tomando
conta o marco conceitual e as diversas perspectivas e interesses associados aos
resultados, tanto quanto as relações causais esperadas.
Definição e ideal manejo dos fluxos de informação gerada pelo processo de avaliação.
Introdução de estratégias e incentivos que facilitem e promovam o uso destas
informações.
Sistema de ML em Minas Gerais:

Esses problemas apontados apontam para a necessidade de incutir
uma cultura de M&A e se possível um sistema de M&A.

Chamamos aqui um sistema de M&A um conjunto coeso e coerente
estabelecendo áreas de atuação, objetivos de curto prazo e longo
prazo, apresentando as justificativas para os planos traçados. Um
conjunto de regras a serem seguidas tanto para o estabelecimento das
metas e indicadores quanto para sua avaliação. São procedimentos
consolidados por leis, instituições e pela responsabilização à sociedade.

Claramente não há apenas um único sistema de M&A possível. Como
já mencionamos, diversas organizações de Estado possuem a sua
maneira de compor tal sistema. Os EUA possuem seu sistema, que é
diferente do mexicano, do colombiano ou chileno. Estudaremos como
exemplo o caso de Minas Gerais:
Sistema de ML em Minas Gerais:

Em Minas Gerais, tal sistema passou a ser implementado no atual
ciclo de gestão: 2004-2010.

De acordo com Lima et al. (2010) pode se estabelecer o sistema
mineiro com três pontos principais:

Ligação entre Orçamento-Planejamento
Projetos Estratégicos (projetos estruturadores)
Acordo de Resultados e Avaliação.


Modelo lógico básico
O problema do ML:
Teoria da Mudança
A estratégia para alcançar as mudanças desejadas
Modelo da Teoria do
Programa
Apresentação mais detalhada da teoria básica e
premissas
Modelo Lógico (Básico)
Representação gráfica da teoria do programa
Cadeia de Resultados
Modelo lógico ampliado, identificando as principais
premissas e resultados alternativos (positivos e
negativos) em cada passo do projeto
Análise Contextual
Identifica os fatores contextuais que podem afetar a
implementação e os resultados
FONTE: Bamberguer et. al. (2006)
Desenho de Programas
Carolina S Lages (2009)
Monografia EG/FJP
ÁREAS DE RESULTADO
Nome da área de resultado
Objetivos estratégicos
Resultados Finalísticos
Iniciativas prioritárias para alcançar os resultados
Indicadores Monitorados
SISTEMA DE MONITORAMENTO & AVALIAÇÃO
PLANO MINEIRO DE DESENVOLVIMENTO INTEGRADO – 2007/2023
Perspectiva
Integrada do
Capital Humano
Investimento e
Negócios
Integração
Territorial
Competitiva
Rede de Cidades
Eqüidade e
Bem-estar
Sustentabilidade
Ambiental
ESTADO PARA RESULTADOS
Educação de
Qualidade
Investimento e Valor
Agregado da
Produção
Vida Saudável
Inovação, Tecnologia
e Qualidade
Protagonismo
Juvenil
Logística de
Integração e
Desenvolvimento
Redução da
Pobreza e Inclusão
Produtiva
Rede de Cidades e
Serviços
Desenvolvimento
do Norte de Minas,
Jequitinhonha,
Mucuri e Rio Doce
Qualidade
Ambiental
Defesa Social
DESTINATÁRIOS DAS POLÍTICAS PÚBLICAS
PESSOAS
INSTRUÍDAS,
SAUDÁVEIS E
QUALIFICADAS
JOVENS
PROTAGONISTAS
EMPRESAS
DINÂMICAS E
INOVADORAS
EQÜIDADE ENTRE
PESSOAS E
REGIÕES
CIDADES
SEGURAS E BEM
CUIDADAS
QUALIDADE E INOVAÇÃO
EM GESTÃO PÚBLICA
QUALIDADE FISCAL
ÁREAS DE RESULTADOS