EVALUACION DE PROGRAMAS
METODOLOGIAS
Curso Políticas Orçamentárias e Gestão
Pública por Resultados
ILPES/CEPAL
Brasilia
Setembro 2006
Marianela Armijo
1
OBJETIVOS DA
Gestão
APOIAR O PROCESSO DE TOMADA DE DECISÕES

INFORMACION SOBRE IMPACTO DAS
POLITICAS
 AJUDA A VALORIZAR A CONTRIBUCION PUBLICA
DAS AÇÕES GOVERNAMENTAIS NA EJECUCION DE
POLITICAS E PROGRAMAS
MELHORAR O RESULTADO DAS INTERVENÇÕES PUBLICAS
2
INTERVENÇÕES PUBLICAS
(CATEGORIAS)
POLITICAS
PROGRAMAS
OPERATIVO
(ENTIDADES QUE EXECUTAM
PROGRAMAS E PROVÊEM BENS E
SERVIÇOS)
3
AVALIAÇÃO Y GESTÃO POR RESULTADOS
TIPO DE ACCION
GOVERNAMENTAL
TIPO AVALIAÇÃO
METODOLOGIA
Estratégias Nacionais
Metas nacionais
Processo Político
Cidadania, Pesquisas, etc.
Estratégias Setoriais
Metas setoriais
Comitês Científicos de
Avaliação, Painéis de Expertos
Operativa- Instituições
Cumprimento de
metas de gestão e
resultados finais
Indicadores de
Eficiência, Eficácia,
Sistema de Indicadores de
Desempenho
Quadro de Comando Integral
Qualidade, Economia
Programas
Investimentos
Resultados,
gestão, impacto
Marco Lógico
Rentabilidade
Social
Avaliação custo-
Custo-Beneficio
Avaliação de Impacto
beneficio ex-ante
4
TIPOS DE AVALIAÇÕES
Avaliações de Programas Governamentais
(EPG)
Avaliação Comprehensiva do Gasto (ECG)
Avaliação de Impacto (EI)
5
Avaliação Comprehensiva
do Gasto
Avaliação Comprehensiva do
Gasto


Avaliação do desenho e gestão institucional
e resultados e uso de recursos na provisão
dos produtos estratégicos.
Avalia-se a possível existência de
duplicidades,inconsistências, oportunidades
para gerar sinergías e poupanças
7
Objetivos
Avaliar o desenho institucional, a gestão dos
processos finques, e os resultados e uso de
recursos
na
provisão
dos
produtos
estratégicos (bens e serviços).
Utiliza como informação baseie as prioridades
governamentais, as definições estratégicas
institucionais,
as
estatísticas
dos
beneficiários/usuários/clientes
respecto
de
cada um dos produtos estratégicos, os
indicadores que dão conta do desempenho
destes, e os gastos associados à provisão de
ditos produtos.
8
Modelo de Avaliação
Comprehensiva do Gasto
Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia
Chilena. 2005
9
Avaliação de Impacto
PERGUNTAS QUE SE FAZ A AVALIAÇÃO DE
IMPACTO
Efeitos de médio e longo prazo sobre a população
beneficiária que espera obter o Programa
Quais serão os benefícios com que ficará a população
beneficiária uma vez que conclua sua participação no
programa?



Incremento no nível de remunerações
Redução da taxa de morbilidad de menores beneficiados
com um programa de vacinação
Aumento do rendimento escolar dos alunos participante
num programa de reforço educativo
11
AVALIAÇÃO DE IMPACTO: Chile
Integra a avaliação dos resultados de
curto, médio e longo prazo dos
programas (eficácia), com os principais
aspectos de eficiência e economia no
uso dos recursos.
12
AVALIAÇÃO DE IMPACTO: Chile




Avaliação dos resultados finais de programas em
base a medições de impacto
Metodologia considera recolha de dados, técnicas
de medição mais sofisticadas (“Matching”, LATE),
grupos de controle
Realizadas por consultoras privadas,
universidades, selecionadas através de licitação
pública
Informe Final em 1-1/2 anos
13
OBJETIVOS
Conhecer se o programa produziu os
efeitos desejados nos beneficiários.
Conhecer se as mudanças observadas
nos beneficiários, podem associar-se
aos efeitos do programa (causalidade).
Como devesse melhorar-se o programa
para maximizar seus benefícios nas
variáveis de impacto?
14
METODOLOGIAS
Desenho experimental tradicional e aleatório
Método de dobro diferencias
Métodos de comparações Pareadas (matching)
Seleção de modelos (variáveis instrumentais)
Avaliações qualitativas
15
METODOLOGIAS
Requer da aplicação de técnicas, que
permitam conhecer o que teria ocorrido
em caso que o programa não se tivesse
posto em marcha.
Identificar as VARIÁVEIS QUE DEVEM
SER MEDIDAS para determinar se o
Programa gerou realmente os benefícios
ou
resultados
finais
ou
impacto
esperados
16
O impacto do programa é:
A diferença na variável resultado (Y) que registra o
indivíduo (i) com e sem a intervenção do programa
αi = Y1i − Yoi
αi
é o impacto do programa (tratamento) sobre a
pessoa i
Yoi
é resultado potencial que registraria o indivíduo i sem o
tratamento,
Y1i
é o resultado potencial que registraria o
indivíduo i com o tratamento.
17
Problema fundamental de
identificação
Não é possível observar Yoi e E1i, para
um mesmo indivíduo num momento do
tempo.
Um indivíduo i num momento do tempo
pode apresentar só uno dos dois
estados possíveis:
 Intervenção no programa
 Não intervenção no programa
18
Problemas metodológicos de la medición
Medir o impacto esperado ou média do
programa sobre o conjunto dos indivíduos.
Envieso de seleção: Seleção dos indivíduos
que participam no programa responde a certos
critérios de focalização ou outros.
Programa de Capacitação: Rendimentos
beneficiários menores antes da capacitação.
Em ausência do Programa os rendimentos
potenciais dos beneficiários serão menores aos
dos não beneficiários no mesmo período
19
METODOLOGIAS
Se requer dispor de informação para o
chamado grupo de controle ou de
comparação.
Estes grupos devem selecionar-se de maneira
aleatória, da mesma população da que provem
os participantes.
Ambos grupos devem ter as mesmas
características
20
METODOLOGIAS
Um grupo de controle é basicamente um
segmento de não beneficiários que são parte
da população objetivo, isto é, um grupo que
compartilha
as
características
sociais,
econômicas, educacionais, etc, do grupo
beneficiário. (dois grupos estatisticamente
idênticos entre si)
A única diferença entre os indivíduos do grupo
de controle e os beneficiários efetivos deve ser
sua participação no programa.
21
Desenho experimental ou aleatório
Isolar os efeitos que têm sobre a variável resultado (E)
fatores externos ao Programa
Seleção de indivíduos beneficiários do programa seja
independente de seus resultados potenciais. Seleção
aleatória dos indivíduos que se beneficiem do programa
A medição de impacto consiste em quantificar, uma vez
decorrido o tempo pertinente de intervenção do
programa, a(s) variável(s) de impacto,tanto para o
grupo de tratamento e como para o grupo de controle –
em ambos simultaneamente e para o mesmo período de
tempo – para depois analisar as diferenças que existem
entre ambos.
22
Diseño experimental o aleatorio
n1=número de individuos en el grupo de tratamiento
N0=número de individuos en el grupo de control.
Principal distorsión: posibles cambios del grupo de control
Durante el período de evaluación (abandono área geográfica en
ese lapso=Grupo de control contaminado.
Viabilidad política de excluir de la cobertura de un programa
aleatoriamente a un grupo de beneficiarios elegibles y como
tal
23
necesitan los beneficios del programa
Metodologías qualitativas
Avaliação participativa: incorpora
aos beneficiários no desenho, a
execução e a avaliação de um
programa.
Focus group
Entrevistas a informantes claves
24
USO DA EVALUACION E CONSEQÜÊNCIAS PARA O ORÇAMENTO
RESULTADOS DE AVALIAÇÃO DE PROGRAMAS E SEUS EFEITOS
PROGRAMA DE SAÚDE BUCAL – JUNTA DE AUXÍLIO ESCOLAR E
BOLSAS (avaliação ano 2004)
DESCRIÇÃO
O programa de atende a estudantes de ensino básico de escolas subvencionadas vulneráveis para
melhorar sua saúde bucal mediante ações clínicas e educativo-preventivas
.
RESULTADOS E EFEITOS
VARIÁVEIS
DE IMPACTO
A cobertura do Atendimento Odontológica Integral no ano 2003 atingiu ao 8% da
população objetivo. Uma análise mais específica para a cohorte de 6 anos de idade
mostra do que o setor público atende ao 69% dos meninos desta idade, dos quais o 49%
é atendido nos módulos do programa, o que se avalia positivamente.O índice COP-D
(C: cárie; Ou: Obturados e P: perdidos) mostra que as cáries entre o rendimento e o alta
dos escolares atendidos no módulo dental em primeiro ano básico diminuem em 98%
no ano 2003. Como resultado da avaliação, o Orçamento 2005 considera um
incremento de cobertura do programa em relação a ações educativas, preventivas e
curativas de atendimento dental.
25