Aula 2 – Desenho da avaliação, Marco Lógico e
Indicadores de Impacto
Modificado por Guilherme Irffi e Francis Petterini
Plano de Aula
Primeira Parte: O desenho da avaliação de impacto
• Aspectos gerais do desenho da avaliação
• Indicadores de Oferta -> Resultado -> Impacto
• O Marco Lógico do projeto social (cadeia lógica de resultados)
• Dados primários e secundários
• Planejamento/Desenho da avaliação
• Problemas na avaliação
• Exemplos
• Indicação de leitura: Martin Ravallion (2001)
Segunda parte: Indicadores Socais no Brasil
Avaliação de Impacto
Objetivo da avaliação: determinar se houve mudança no bem-estar
dos indivíduos que pode ser atribuída a um determinado programa.
Isto é feito com o uso de um indicador que se relacione diretamente
com o objetivo do programa.
Dois aspectos: mensuração e causalidade
Mensuração: não apenas saber se houve mudança, mas também
medir essa mudança.
Causalidade: garantir que a mudança observada foi causada pelo
programa.
Taxonomia dos indicadores
Existem vários sistemas de classificação dos indicadores.
Para fins de avaliação utilizamos a seguinte divisão proposta
por Cohen e Fanco (2000):
Indicadores de insumo
Indicadores de processo
Indicadores de impacto
Indicadores de oferta
São aqueles associados aos recursos necessários para a
realização do projeto ou programa desenhado para afetar
uma realidade social.
Exemplo: Número de computadores alocados para um programa de formação
técnica em informática; número de leitos hospitalares por mil habitantes; o número
de professores por quantidade de estudantes.
Indicadores de resultado
São indicadores intermediários, que procuram retratar o
esforço operacional de alocação de recursos. O que o
programa faz no dia a dia. Servem para monitorar o seu
funcionamento.
Exemplo: Número de alunos matriculados; número de doentes atendidos.
Indicadores de Impacto
São aqueles relacionados aos efeitos do programa, as
mudanças sociais trazidas pelos programas.
Exemplo: Nota escolar; frequencia escolar; evasão escolar; número de mortes por
infecção hospitalar; número de crianças nascidas vivas; incidencia de doenças.
INSUMOS:
Recursos
materiais,
financeiros e
humanos
alocados em
ações do
projeto
(custos são
mensurados
aqui)
ATIVIDA-
PRODUTOS:
RESULTA-
DES E
parte das ações
DO: Efeitos
AÇÕES:
desenvolvidas
imediatos dos
Modus
que se
projetos
operandi
traduzem em
(melhorias
algo tangível
nos
(indicadores de
indicadores
oferta são
de
e articulação
com o
público-alvo
mensurados
aqui)
resultados).
MARCO LÓGICO
DE UM PROJETO
SOCIAL
IMPACTO:
Conseqüências de
médio e
longo prazo
dos
programas
(indicadores
de impacto).
Exemplo
de uma
cadeia de
marco
lógico (ou
cadeia
lógica de
resultados)
Indicadores e bases primárias e
secundárias
Januzzi, P. M. Revista do Serviço Público Brasília 56 (2): 137-160 Abr/Jun 2005
Planejando a avaliação
1)
Entender o programa;
2)
Explicitar os objetivos da avaliação;
3)
Elaborar o plano de pesquisa;
4)
Executar plano de pesquisa;
5)
Discutir resultados com os interessados;
6)
Elaborar relatório final.
O plano de pesquisa
Objetivos da avaliação:

O que se pretende avaliar;

O propósito da avaliação;

A abrangência da avaliação.
Perguntas orientadoras (processo):

Como está funcionando?

Como se desenvolvem as atividades e operações?

Como os beneficiários estão sendo atendidos?

Como os beneficiários estão avaliando o serviço?

Estão sendo atendidos os padrões mínimos
estabelecidos?
Continuação…
Perguntas orientadoras (resultados):

Os objetivos estão sendo alcançados?

A população alvo está sendo atingida?

Em que medida e em que proporção?

Por que sim ou por que não?
Relações causais

Entre produtos e resultados;

Entre produtos e impactos;

Entre resultados e impactos;

Entre os processos e o produto;

Entre os processos e os resultados.
Continuação…
Seleção da metodologia

Selecionar indicadores de produtos, resultados e impacto;

Identificar fontes e formas de obtenção de informações;

Definir procedimentos e instrumentos de coleta de
informações;

Selecionar modelos e técnicas estatísticas a serem utilizados.
Diante disso, temos que:
i.
Indicação da equipe;
ii.
Definição das necessidades de recursos;
iii.
Definição das etapas da pesquisa;
iv.
Definição do cronograma da pesquisa.
A execução da pesquisa








Análise Exploratória;
Seleção e Treinamento da Equipe;
Planejamento e execução da coleta de informações;
Processamento e análise das informações;
Elaboração de relatório preliminar;
Discussão com os interessados;
Elaboração do relatório final;
Disseminação dos resultados.
Exemplos…
(1)
Projeto “Eu sou ativo” da SEFAZ
(2)
Projeto “100 mil cisternas” do Inst. Carnaúba
Problemas na avaliação








Teorias erradas;
Viabilidade da avaliação;
Condições políticas para avaliar;
Dificuldades de entender o programa;
Dificuldades de aplicar uma metodologia;
Ausência de grupos de controle;
Ausência do estudo no marco zero;
Custos elevados;
Martin Ravallion (2001)
O mistério do desaparecimento dos benefícios: uma
introdução à avaliação de programas da srta. Analista
ligeirinha
Indicadores Sociais
Surgem com à consolidação das atividades de
planejamento do setor público ao longo do século XX.
O desenvolvimento da área é recente aproximadamente
em meados dos anos 60
É uma tentativa de organização de sistemas de
acompanhamento das transformações sociais e aferição
do impacto das políticas sociais nos países
desenvolvidos e em desenvolvimento.
Difusão
Apesar de existirem anteriormente, foi na década de 80,
com novas experiências de implementação de políticas
públicas, o instrumental dos indicadores sociais foi
amplamente melhorado – pelas universidades, setor
público, ONGs.
Criação dos Sistemas de Indicadores Sociais: conjunto de
indicadores sociais para análise e acompanhamento de
políticas ou da mudança social.
Definição de indicadores sociais
Os indicadores apontam, indicam, aproximam, traduzem em termos
operacionais as dimensões sociais de interesse.
Auxiliam as a gestão de projetos e a formulação de
políticas sociais nas diferentes esferas de governo e ONGs;
Possibilitam o monitoramento das condições de vida e
bem-estar da população por parte do poder público e da
sociedade civil;
Permitem o aprofundamento da investigação sobre a
mudança social e sobre os determinantes dos diferentes
fenômenos sociais.
Principais Indicadores Sociais
Indicadores de Educação:
Percentual de Crianças na Escola
(número de crianças na escola/ Total de crianças)* 100
Percentual de Crianças Analfabetas
(Número de crianças analfabetas/total de crianças)*100
Percentual de Crianças com mais de um Ano de Atraso
Escolar
(Número de crianças com atraso/total de crianças)*100
atraso escolar = [(idade - 6) - número da série completada]
Indicadores de Educação (2):
Percentual de Crianças Fora da Escola
(número de crianças na fora da escola/ Total de crianças)* 100
Percentual de Professores do Fundamental Residentes
com Curso Superior
(Número de professores com curso superior/total de professores)*100
Taxa de Alfabetização
(Número de pessoas com mais de 15 anos que sabem ler ou
escrever/total de pessoas)*100
Indicadores de Saúde:
Mortalidade infantil
(número de crianças de até 1 ano mortas/ Total de crianças)
Taxa de Fecundidade
(Somatório do número de crianças nascidas em determinado período
de tempo/total de mulheres em idade reprodutiva)*100
Taxa de Natalidade
(Número de nascidos vivos/total de pessoas)*1000
Indicadores de Saúde (2):
Taxa de Incidencia de doença
(número de crianças que ficaram doentes/ Total de crianças)
Peso sobre altura:
(Peso da criança/altura da criança)
Circunferencia da cabeça
(Medida da circunferencia da cabeça)
Indicadores de Renda:
Renda Per Capita
(Renda total/ total de pessoas)
Intensidade de pobreza
(Número de pessoas abaixo da linha de pobreza- esta linha varia
segundo autor)
Percentual de Crianças de 10 a 14 anos que Trabalham
(Número de crianças que trabalham/ total de crianças)
Indicadores de Renda(2):
Empregabilidade
Número de Banheiros do domicílio
Número de Cômodos do domicílio
Número de morador por Cômodos e banheiro
Indicadores de Moradia/Infraestrutura
Domicílios com Água Encanada
Domicílios com Esgoto
Domicílios com Coleta de lixo
Número de moradores por domicílio
Indicadores Ambientais
Taxa de desmatamento
Emissão de gás carbônico
Quantidade de lixo produzida
Taxa de reciclagem de lixo
Indicadores de Violencia e Segurança Pública
Crimes por cem mil habitantes
(número de crimes/população)*100.000
Policial por População
(número de policiais/população)
Taxa de subregistro
[1- (número de crimes ocorridos/número de crimes
registrados na polícia)]*100