Métodos Experimentais
Latin America and the
Caribbean’s Citizen
Security
Team
Caio Piza
Economista
DIME/Banco Mundail
Impact Evaluation 4 Peace
24-27 Março 2014, Lisboa, Portugal
Provocações!
1. Você acha que o seu projeto é um sucesso ou vai se tornar
quando sair do papel? Sim!
2. Se o governo quiser universalizar um programa que não
possou por uma avaliação rigorosa, qual será o seu
conselho?
2
Avaliação de Impacto: como identifico o
impacto do programa?
3
Objetivos de uma AI
• Identificar o efeito causal da política
• O programa funciona? Para quem?
• Há alternativas?
• Implementar o que funciona melhor a um custo mais baixo
• O OBJETIVO NÃO É JULGAR O PROGRAMA E OS SEUS
RESPONSÁVEIS, MAS TORNÁ-LO MAIS EFETIVO
4
Erros comuns… mas
evitáveis!
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o
impacto do programa;
• Qualquer grupo de controle é um bom/válido
grupo de controle;
5
Correlação vs. causalidade
• ‘Refrigerante diet engorda porque apenas pessoas acima do
peso bebem’
• Casamento é uma questão de saúde pública já que ‘homens
que casam engordam’
• ‘Excesso de cafeina pode causar câncer’
• ‘O Bolsa Família reduziu a pobreza’
• Um programa desenhado para controlar uma epidêmia deve
ser descontinuado já que o número de infectados aumentou
6
Erros comuns… mas
evitáveis!
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o
impacto do programa;
• Qualquer grupo de controle é um bom/válido
grupo de controle;
7
Antes e depois
Grupo de Tratamento
Treatment
Grupo deGroup
tratamento
14
(+6) aumento nos lucros
12
10
Um programa
de crédito foi oferecido em
2008.
8
6
4
Efeito positivo?
2
0
2007
2007
2009
2009
8
Antes e depois
Control
GrupoGroup
de controle
Grupo deGroup
tratamento
Treatment
14
(+) Impacto do
programa
12
10
(+) Impacto de outros
fatores (externos)
8
6
4
2
0
Antes
Before
Depois
After
9
Erros comuns… mas
evitáveis!
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o
impacto do programa;
• Qualquer grupo de controle é um bom grupo
de controle;
10
Qualquer grupo de controle é um
bom grupo de controle?!
VS.
Eike Batista
Anônima – beneficiária do
Bolsa Família
11
Qualquer grupo de controle é um
bom grupo de controle? NÃO!!!
• O desafio é encontrar um bom grupo de
controle
– Os grupos devem ser parecidos em características
observáveis e não-observáveis
– Como garantir isso?!
• Ideal: método experimental
• Plano B: método não-experimental
12
Desenho Experimental
• Todos os participantes do estudo têm a mesma chance de estar
no grupo de tratamento ou de controle
• Intencionalmente, os grupos de tratamento e de controle têm as
mesmas características (observadas e não observadas), na média
– A única diferença é o tratamento
• Com grandes amostras, todas as características convergem para a
média populacional
• Estimativas de impacto não enviesadas
13
Formas Alternativas de
Aleatorização
• Sorteio
– (apenas alguns entram no programa)
• Entrada gradual
– (todos entram eventualmente)
• Variação no tratamento
– (cobertura integral, diferentes opções)
• Desenho de incentivo (no caso de adesão parcial)
– Todos podem entrar, alguns são encorajados a fazê-lo
14
Exemplos
Sorteio
(apenas alguns entram no programa)
Sorteio para ter acesso a materiais esportivos doados por
uma empresa esportiva (Nike, Adidas etc.)
Entrada gradual (entrada ao longo do tempo – phase in)
Alguns crianças recebem transporte gratuito primeiro pois não há
micro-ônibus para atender todas as escolas e crianças
Variação no tratamento
Algumas crianças recebem um aulas mais intensivas (mais horas ou dias) por
semana e os demais as aulas que são dadas regularmente
Incentivo
Um grupo de crianças recebe transporte gratuito para se deslocarem da
escola as Vilas Olímpicas
1515
Loteria entre os elegíveis
Deve receber o programa
Aleatorizar quem recebe o programa
Inelegível para o programa
Oportunidades para a
aleatorização (1)
•
As limitações orçamentárias impedem a cobertura
integral
– A distribuição aleatória (sorteio) é justa e
transparente
•
Capacidade limitada de implementação
– A introdução gradual oferece a todos a mesma
chance de serem os primeiros
•
Inexistência de evidências sobre qual a melhor
alternativa
– Distribuição aleatória para alternativas com a mesma
chance ex ante de sucesso
17
Oportunidades para a
aleatorização (2)
•
•
•
Adesão ao programa existente não é completa
– Fornecer informações ou incentivos para a adesão
de alguns
Um novo programa piloto
– Boa oportunidade de testar o desenho antes de
expandi-lo
Mudanças operacionais em programas em
andamento
– Boa oportunidade de testar as mudanças antes de
expandi-las
– Introduzir innovaçoes de manera aleatoria
18
Aleatorização
em diferentes níveis
– Individual (crianças)
– Modalidades (futebol, luta,
dança etc.)
– Turmas
– Vilas Olímpicas
– Comunidades
– Distritos/Bairros
19
Aleatorização individual
ou em grupo?
•
A aleatorização é feita no mesmo nível de
intervenção
•
Mais fácil obter amostras grandes o bastante se os
indivíduos forem aleatorizados
Aleaorização individual
Aleaorização de grupos
Unidade de Aleatorização
• A aleatorização em nível mais alto (e.g. escola ou VO)
às vezes é necessária:
– Limitações políticas a tratamentos diferenciados na
comunidade
– Limitações práticas – confusão para implementar
diferentes versões
– Os efeitos sobre unidades vizinhas podem demandar uma
aleatorização em nível mais alto
• Aleatorizar ao nível de grupo requer muitos grupos
por causa da correlação dentro da comunidade
21
Elementos do desenho
experimental
População alvo
Crianças de áreas pobres/vulneráveis
Participantes potenciais
Crianças de 6 a 15 anos
Esportes coletivos
Amostra de avaliação
Alocação aleatória
Grupo de Tratamento
• Participantes

Grupo de Controle
Desistentes
22
Validade Externa e Interna (1)
• Validade externa
– A amostra é representativa da população total
– Os resultados na amostra representam os resultados na
população
– Podemos aplicar as lições a toda a população
• Validade interna
– O efeito estimado da intervenção ou do programa sobre a
população avaliada reflete o impacto real naquela
população
– Ou seja, os grupos de intervenção e de controle são
comparáveis
23
Validade Externa e Interna(2)
• Uma avaliação pode ter validade interna sem
validade externa
– Exemplo: extrapolar os resultados de uma avaliação
randomizada de um incentivo às empresas informais na
área urbana para se registarem para um programa
semelhante nas áreas rurais
• Uma avaliação sem validade interna não pode ter
validade externa
– Se você desconhece se um programa funciona em um
local, então você não sabe nada sobre se ele funciona em
qualquer outro lugar.
24
Validade externa & interna
População Nacional
Randomização
Amostras da
População Nacional
Randomização
25
Validade interna (APENAS?)
População
Estratificação
Estrato do População
Amostras do Estrato
da População
Randomização
26
Representativo porém
enviesado: inútil
População Nacional
Randomização
Distribuição Enviesada
INÚTIL!
27
Exemplo: programa para um público
específico, validade interna
Amostra de crianças
vulneráveis
Distribuição Randômica
28
Vantagens dos
“experimentos”
• Impacto causal claro e confiável
• Em relação a outros métodos
– Muito mais fácil de analisar
– Mais barato (tamanhos menores de amostra)
– Mais fácil de explicar
– Mais convincente para os formuladores de política
– Metodologicamente incontroverso
29
E se houver restrições sobre a
aleatorização?
• Limitações orçamentárias: randomizar entre os mais
necessitados
• Limitações de capacidade de implantação:
randomizar quem recebe primeiro... (ou a seguir se
você já houver começado)
• Promover (propaganda mesmo!) o programa
aleatoriamente para alguns, não para outros...
(participantes fazem suas próprias escolhas sobre
adoção)
30
Divulgação Aleatória
(Desenho de Encorajamento)
• Quem recebe a divulgação tem maior chance de
participar
• Como quem recebe foi escolhido aleatoriamente,
não há relação com características observáveis
não observáveis dos participantes
– Compare os resultados médios dos dois grupos:
com / sem divulgação
– Efeito da oferta do programa (Intenção de Tratar)
– Efeito da intervenção (Tratamento Médio no Tratado)
– ATT= efeito da oferta do programa / proporção dos
que aderiram
Aleatorização
Alocado para
tratamento
Alocado para
controle
Diferença
Impacto:
efeito médio
do tratamento
sobre os
tratados
Proporção
tratada
100%
0%
100%
100%
Resultado
médio
103
Não-tratados
Tratados
Impacto da alocação
80
23
23/100%=23
Estimativa da intenção
de tratar
Tratamento médio
sobre os tratados
Incentivo randômico
Incentivados
Não
incentivados
Diferença
Impacto:
efeito médio
do tratamento
sobre os que
aderiram
Proporção
tratada
70%
30%
40%
100%
Resultado
100
Não tratados
(não aderiram)
Tratados
(aderiram)
Impacto do incentivo
92
8
8/40%=20
Estimativa da intenção
de tratar
Tratamento médio
sobre os que aderiram
Cuidado com…
• Cálculo incorreto da amostra
– Randomizar um distrito para tratamento e outro
para controle e calcular o tamanho da amostra
sobre o número de pessoas que forem entrevistadas
• Coleta de dados diferentes no tratamento e no
controle
• Contagem dos que foram distribuídos para
tratamento mas não aderiram ao programa como
controle – não desfaça sua randomização!!!
34
Quando é que é realmente
impossível?
O tratamento já foi alocado e anunciado
e não há possibilidade de expansão do tratamento
O programa já acabou (retrospectiva)
Já há adesão universal*
O programa é nacional e não exclui ninguém*
A amostra é muito pequena para ser válida
2/1/10
3535