Miguel Foguel
IPEA e PUC/RJ
Introdução: principais questões e usos da Avaliação
Econômica
2) Panorama da área de Avaliação Econômica:
 Avaliação de Impacto
 Avaliação de Custo-Benefício
3) Exemplos:
 Jovenes en Acción – Colômbia
 Programa Mais
 Galpão Aplauso
4) Sumário
1)
Questões importantes podem ser respondidas
com a Avaliação Econômica (AE):
1)
Avaliação de Impacto: O projeto teve o
impacto almejado? Qual a magnitude do
impacto?
2)
Custo-Benefício: Qual o retorno econômico
do projeto?
Recursos Privados e Públicos:
Físicos, Humanos, Financeiros
Custos
Avaliação
de Impacto
Programa 1
...
Programa N
Impactos
Resultados
Resultados
Resultados
Avaliação
CustoBenefício
Benefícios
Benefícios
Benefícios

Usos da AE:
 Gestão: auxiliar no redesenho e melhora na gestão do
próprio programa (juntamente com monitoramento)
 “Accountability”: ajudar na prestação de contas,
sustentação do programa e obtenção de fundos para
novos projetos
 Eficiência: melhorar a alocação dos recursos disponíveis
1)

Avaliação de Impacto:
O que faz: Mede em termos quantitativos os impactos
dos programas.

Desafio: Assegurar que os resultados isolam o efeito
do programa dos efeitos causados por outros fatores.

Exemplo: como isolar o impacto de um programa
voluntário de treinamento num ambiente complexo e
mutável?
Estratégia: encontrar um contrafactual para o grupo que
recebeu o programa (tratamento), ou seja, um grupo (de
controle) que represente o que teria ocorrido com os
tratados caso eles não tivessem participado do programa.
 Dimensões: características observáveis e não observáveis
(habilidades, motivações, preferências etc.) pelo analista
 Não se recomenda:
 Comparar o grupo tratado com outro grupo que seja
muito distinto dele;
 Comparar a situação do grupo tratado antes e depois do
programa.

Indicador de resultado
Programa
48%
47%
46%
45%
44%
43%
42%
41%
40%
39%
38%
1
2
3
4
anos
Tratados
Comparação
5
Indicador de resultado
Programa
48%
47%
46%
45%
44%
43%
42%
41%
40%
39%
38%
1
2
3
4
anos
Tratados
Comparação
Controles
5
Programa
Programa

1)
Métodos para construção do contrafactual:
Método experimental (aleatorização):

2)
Seleciona-se de forma aleatória os grupos de
tratados e controles e compara médias dos
resultados dos grupos
Método não experimental:
 Necessita de bases de dados com informações sobre
beneficiários e não beneficiários
 Aplicam-se técnicas econométricas para encontrar
grupo de controle
2) Avaliação Custo-Benefício:
 Transforma os impactos em benefícios
monetários para comparar com os custos do
projeto (contábeis e de oportunidade)
 Simula os fluxos de benefícios e custos ao longo
do tempo
 Calcula o retorno econômico/social:
 Indicadores: Taxa Interna de Retorno (TIR) e Valor
Presente Líquido (VPL)


Dados: é preciso dispor de informações de qualidade e amostras de
tamanho razoável.
Validade interna: o efeito do programa foi corretamente isolado?
 Método experimental:
▪ Processo de aleatorização;
▪ Atrito: perda de observações dos indivíduos;
▪ Substituição: controles acabam participando do programa ou similar.
 Métodos não experimentais:
▪ Grupo de controle adequado;
▪ Modelo econométrico empregado.

Validade externa: resultados da avaliação podem ser levados para
outras localidades, grupos de pessoas ou períodos do tempo?

3.1 – Jóvenes en Acción – Colômbia

3.2 – Programa Mais

3.3 – Projeto Galpão Aplauso
Objetivo: Programa governamental de treinamento para
melhorar a inserção de jovens no MT em 7 cidades da
Colômbia. Entre 2001 e 2008 teve 80 mil participantes.
 Público-alvo: jovens desempregados de baixa renda com
idade entre 18 e 25 anos
 Conteúdo:

 Oferece de treinamento em sala de aula (3 meses) e nas empresas
(3 meses).
 Cursos para várias ocupações: eletricista, bombeiro, cabeleireiro,
assistente administrativo, caixa, informática, etc.
 Treinamento nas empresas por algumas horas por dia (média=2h)
 Participantes receberam ajuda de custo durante o programa

Método experimental:

Houve excesso de demanda para as vagas e a
avaliação foi realizada com a aleatorização dos
candidatos no nível da instituição de treinamento
(análise para a coorte de candidatos de 2005)

Amostra: inicial=2859; final=2269, com cerca de
metade no grupo de tratamento.

Indivíduos em ambos os grupos foram
entrevistados antes e depois do começo do
programa (entre 19 e 21 meses após)
Diferenças entre tratados e controles antes do treinamento
Emprego em geral
Emprego pago
Emprego formal
Salário
Rendimento conta-própria
Experiência em empresas
Dias trabalhados por mês
Dias trabalhados por semana
Mulher
Escolaridade
Idade
Casado
Número de observações
Attanasio et al. (2009)
Em 2004
0.001
(0.021)
0.018
(0.020)
0.006
(0.011)
-6,806
(6,000)
-3,002
(5,460)
0.768*
(0.440)
-0.312
(0.535)
-1.436
(1.190)
0.262
(0.174)
0.280***
(0.072)
-0.090
(0.085)
-0.015
(0.020)
2,269
Efeito estimado
Total
Mulheres
Homens
Emprego em geral
0.018
0.041**
0.050*
0.010
(0.020)
(0.029)
(0.032)
0.053***
0.051**
0.037
(0.019)
(0.025)
(0.034)
25,475***
30,010***
4,155
(8,555)
(11,256)
(14,841)
(0.018)
Emprego pago
Emprego formal
Salário
Rendimento conta-própria
-2,283
(3,660)
Experiência na empresa
-1.211***
(0.462)
Dias trabalhados por mês
0.609
(0.49882)
Horas trabalhadas por semana
0.738
(1.170)
Attanasio et al. (2009)

Benefícios:
 Ganhos salariais de P$306 mil por pessoa/ano considerando todos e
P$360 mil por pessoa/ano considerando somente as mulheres.
 Ganhos persistem por 40 anos: VP = US$2344 por pessoa e VP =
US$2750 por mulher

Custos diretos:
 Pagamento das bolsas: US$ 2,5 por dia
 VP = US$750 por pessoa

Benefício Líquido: VPL = US$1595 (TIR=17,5%) por pessoa e VPL =
US$2000 (TIR=20,5%) por mulher

Objetivo: programa para promover o acesso e permanência de jovens no
Ensino Superior que foi iniciado em 2004 no Rio de Janeiro pelo CIEE

Público-alvo: jovens de classes populares entre 16 e 24 anos que
concluíram o ensino médio na rede pública

Conteúdo:
 Modulo I: encontros no CIEE e aulas de pré-vestibular. Oferece orientação
profissional, capacitação de comunicação e expressão e preparação para o
vestibular. Somente este módulo será avaliado.
 Modulo II: acompanhamento/orientação acadêmica após a realização do
vestibular

Método não experimental:

Compara os participantes com 3 grupos de controle:
 GC 1: selecionados mas que desistiram logo após o início
 GC2: alunos que só fizeram o curso pré-vestibular do
Programa Mais
 GC3: alunos que só fizeram o curso pré-vestibular de outro
programa semelhante (Ser Cidadão)

Faz uso da metodologia regressão na qual insere variáveis
para controlar diferenças observáveis entre os indivíduos
(p.e., sexo, cor, estado civil, escolaridade do responsável,
etc.)
Média das veriáveis por grupo
Grupos de Controle
Grupo de
CIEE - Desistiram
CIEE - Só pré-
Ser Cidadão - Só
Tratados
Início (I)
vestibular (II)
Pré-vistibular (III)
Homem
20,0%
22,6%
29,4%
32,0%
Branco
20,0%
16,1%
41,2%*
30,6%
Idade
22,1
23,2*
21,1
20,9*
94,6%
71,0%*
100%
90,0%
Fund. Incompleto
29,1%
35,5%
29,4%
18,0%
Fund. Completo
21,8%
16,1%
23,5%
16,0%
Médio Incompleto
5,5%
3,2%
11,8%
4,0%
Médio Completo
23,6%
25,8%
29,4%
42,0%*
Superior
13,2%
10,0%
5,9%
14,0%
Renda dom. per capita
R$ 536
R$ 586
R$ 550
R$ 577
55
31
17
50
Solteiro
Escolaridade responsável:
Observações
Inserção no mercado de
trabalho
Desempenho no vestibular
Em relação ao grupo de
tratamento:
CIEE - Desistiram no início (I)
CIEE - Só pré-vestibular (II)
Ser Cidadão - Só pré-vestibular
(III)
Sucesso em Sucesso em
Univ. em
geral
Univ. Pública
Fez
Frequenta
Salário
Matrícula
ou concluiu
Trabalha
Horário
-0,0709
-0,1940***
-0,2408***
-0,2105**
-0,0155
0,7998
(0,1252)
(0,1019)
(0,1105)
(0,0974)
(0,1284)
(1,3690)
0,1359
-0,0729
0,2407
0,0479
-0,0693
1,9666
(0,1593)
(0,1371)
(0,1576)
(0,1442)
(0,1673)
(2,2212)
0,1106
0,0218
0,0336
0,1398
-0,0996
0,1993
(0,1439)
(0,1293)
(0,1387)
(0,1269)
(0,1518)
(1,0823)

Objetivo: programa para melhorar a situação socioeconômica e
empregabilidade dos jovens em algumas comunidades carentes do Rio
de Janeiro

Público-alvo: jovens com menos de 29 anos oriundos de famílias pobres
nas favelas da cidade do RJ;

Conteúdo: oferece treinamento de habilidades vocacionais (p.e.,
marcenaria, soldagem), acadêmicas (p.e., matemática e português) e
competências de vida (p.e., ética, educação ambiental) com base em
métodos pedagógicos que também utilizam arte e dança;

Método experimental:
▪ Pré-seleção: realizada em etapas: anúncio, candidatos respondem
questionário, faz-se triagem com base na idade e renda declarada (menor de
2SM), ocorre entrevista e provas básicas de português e matemática;
▪ Excesso de demanda: houve número maior de pré-selecionados do que
vagas => seleção aleatória dos participantes (tratamento) e não participantes
(controles);
▪ Reserva de vagas: para pequeno grupo (até 10%) que apresentou condições
especiais: p.e., irmãos, desempenho excepcional e muito pobre.
▪ Amostra: ao final: 451 candidatos: 194 tratamentos, 230 controles e 27
reserva de vagas.
(1)
(2)
(3)
(4)
Tratados
Controle
Diferença das médias
(Tratados – Controle)
Valor de t
Idade
22,78
23,20
-0,42
-0,94
Fração de mulheres
12,90
14,60
-1,70
-0,44
Fração de solteiros
78,20
69,10
9,10
1,85
Fração que mora com o pai
36,70
31,50
5,20
1,00
Fração que mora com a mãe
41,50
37,10
4,40
0,81
Tamanho da família
3,98
3,57
0,41
2,24
1719,50
1560,30
159,20
1,17
Fração que já trabalhou
93,20
94,90
-1,70
-0,67
Idade do primeiro emprego
16,36
15,59
0,77
2,24
Fração Empregada
60,50
69,10
-8,60
-1,61
Fração Desempregada
17,70
16,30
1,40
0,33
Renda mensal do trabalho
744,00
760,50
-16,50
-0,34
Horas semanais trabalhadas
41,97
42,75
-0,78
-0,39
Fração com Ensino Secundário
84,80
87,10
-2,30
-0,53
Renda familiar
Estimativas do Impacto: escola, trabalho e despesa
Amostra Total
1 a 2 meses após o
programa
(coorte 1)
2 a 3 meses após o programa
(coorte 3)
4 a 5 meses após o
programa
(coorte 2)
Efeito do
Tratament
valor de t
o
Efeito do
Tratamento
valor de t
Efeito do
Tratamento
valor de
t
Efeito do
Tratamento
valor de t
-0,039
-0,9
-0,003
-0,05
0,021
0,17
-0,144
-1,46
0,051
0,8
-0,057
-0,65
-0,006
-0,04
0,213
2,11
0,078
1,22
-0,036
-0,4
-0,006
-0,04
0,266
2,6
30,264
0,57
-102,407
-1,51
252,864
1.6
176,95
1.95
Contrato Formal
-0,017
-0,2
-0,106
-0,87
0.036
0,15
0,070
0,49
Contrato por prazo
indeterminado
-0,053
-0,81
-0,129
-1,41
-0,028
-0,19
0,080
0,59
Horas trabalhadas
0,346
0,15
2,812
0,84
-7,986
-1,24
1,129
0,32
0,019
0,85
0,024
0,81
-0,037
-0,97
0,066
1,14
0,020
0,46
-0,046
-0,76
0,016
0,15
0,160
1,98
0,056
1,07
0,134
1,84
-0,160
-1,22
0,045
0,44
0,063
1.1
0,041
0,49
0,027
0,22
0,001
0,01
Resultado
Frequenta a escola
Trabalho na última
semana
Trabalho assalariado na
última semana
Renda mensal do
trabalho
Principal despesa:
Estudo
Principal “despesa”:
poupança
Principal despesa:
Balada
Principal despesa:
Roupas
Estimativas do Impacto: competências de vida e consumo cigarros/álcool
1 a 2 meses após o
programa
(coorte 1)
Amostra Total
2 a 3 meses após o
programa
(coorte 3)
4 a 5 meses após o
programa
(coorte 2)
Efeito do
Tratament
o
valor de t
Efeito do
Tratamento
valor de t
Efeito do
Tratamento
valor de t
Efeito do
Tratamento
valor de t
CPS Total
-0,100
-1,36
-0,084
-0,88
-0,046
-0,23
-0,026
-0,2
Escala de Grit Total
(perseverança)
-0,045
-0,38
-0,070
-0,44
0,192
0,62
-0,261
-1,32
Escala de Grit Total Duckworth
-0,065
-0,53
-0,156
-0,91
0,067
0.2
-0,056
-0,28
Desdobramentos
((Xi-Xc)/σc)
Amostra Total
Resultado
Já fumou
Número de cigarros na última
semana
Consumiu álcool na semana
passada
Quantas bebidas na última
semana
1 a 2 meses após o
programa
(coorte 1)
Efeito do
valor de T
Tratamento
2 a 3 meses após o
programa
(coorte 3)
Efeito do
valor de T
Tratamento
4 a 5 meses após o
programa
(coorte 2)
Efeito do
valor de T
Tratamento
Efeito do
Tratamento
valor de T
0,029
0,65
0,012
0,22
0,120
0,92
0,052
0,52
-0,026
-0,1
-0,041
-0,1
0,179
0,18
-0,110
-0,22
-0,025
-0,47
0,017
0,25
-0,262
-1,86
0,038
0,31
0,064
0,48
-0,063
-0,36
0,230
0,77
0,444
1,7

Avaliação Econômica de Programas Sociais é um
instrumento importante para verificar se programas
estão atingindo seus objetivos.

Calcular impacto e retorno social: ajuda a aprimorar
os programas, aumenta a transparência e permite
alocar melhor os recursos disponíveis.

Importante pensar a avaliação desde o início do
programa: definição da amostra, método, grupos de
controle, coleta de informação, etc.
ÓTIMO CURSO!