Métodos Não-Experimentais
Caio Piza
Maio 12, 2015
Istanbul, May 11-14, 2015
Motivação
Lição # 1:
Qual o Desafio de Qualquer AI?
• Obter um bom contrafactual para identificar o
efeito causal de uma intervenção
comparando
O que
aconteceu
Com
O que teria ocorrido se
o programa não
existisse?
Problema fundamental de inferência causal
Contrafactual: Intuição
Grupos de tratamento (T) e controle (C)
• Características observáveis e nãoobserváveis idênticas, na média.
• A diferença entre as variáveis de resultado
dos grupos de T e C é exclusivamente
devida à intervenção (ou tratamento)
Ferramentas para obter o
contrafactual
Não é uma
boa
estratégia
Boas
estratégias
desde que
algumas
hipóteses
sejam
observadas
Efeito causal
• Antes– Depois
• Participantes – Não-Participantes
• Diferença-em-diferenças
• Regressão descontínua
• Experimentos – Randomized Control Trials
Ferramentas para obter o
contrafactual
Não é uma boa
estratégia
Boas
estratégias
desde que
algumas
hipóteses
sejam
observadas
Efeito causal
• Antes– Depois
• Participantes – Não-Participantes
• Diferença-em-diferenças
• Regressão descontínua
• Experimentos – Randomized
Control Trials
Análise do Contrafactual…
• Método experimental: Compara
grupos que, na média, são
idênticos
• Métodos não-experimentais:
Compara grupos similares
Estudo de caso:
Retorno do capital nas pequenas
empresas
• Problema: Pequenas empresas lidam com
alguma restrição para acessar crédito
• Intervenção: injeção de capital – R$300 e R$ 600
(dois tratamentos!)
• Variável de resultado: taxa de lucro
• Alguns números:
– 800 empresas na linha de base (2007)
– Mais de 50% dessas empresas investem menos do
que R$ 600
Como avaliar esse programa?
Participantes – Não-Participantes
Case: O subsídio is oferecido às pequenas
empresas
• O crédito subsidiado foi oferecido para todas as
pequenas empresas com >= 6 meses de atividade
• 300 empresas aplicaram e receberam financiamento
• Plano: comparar a taxa de lucro das empresas que
aplicaram com as que não aplicaram
Participantes – NãoParticipantes
Método
Tratamento
Comparação
Diferença
Participantes VS. Não-participantes
2.1%
0.7%
1.4 pp.
Problema: Viés de Seleção. Por que apenas 300 aplicaram?
- São as que tem melhor organizadas, mais tempo no mercado etc.
(observáveis)
- Empreendedores mais motivados, informados etc. (não-observável)
Parts of this presentation build on material from Impact Evaluation in Practice www.worldbank.org/ieinpractice
Como avaliar esse programa?
Antes – Depois
• Plano: comparar a taxa de lucro das
empresas tratadas antes e depois do
subsídio
Antes-Depois
2008
2007
Método
Tratados (depois)
Comparação
(antes)
Diferença
Antes-Depois
2.1%
1.5%
0.6 pp.
Problema: Efeito do tempo. Outras coisas podem ter acontecido
nesse período.
-
A economia pode ter crescido, outras programas de crédito subsidiado
foram criados etc.
Esses 2 métodos não são válidos para AI
Antes – Depois
Participantes – Não-Participantes
Comparação: Mesmas
empresas antes e depois da
intervenção.
Comparação: Participantes e
não-participantes
Problema: Outras coisas
podem ter ocorrido.
Problema: Viés de seleção. Não
sabemos porque algumas
participaram e outras não.
Ambos os métodos conduzem a estimativas
viesadas do efeito do programa
Antes-Depois e
Monitoramento
• Monitoring tracks indicators over time
– Among participants
• It is descriptive before-after analysis
• It tells us whether things are moving in the
right direction
• It does not tell us why things happen or
how to make more happen
Lição # 2
VS.
Lição # 2
VS.
Avaliação de Impacto
• Obtém a média da variável de resultado ao
longo do tempo para os grupos de T e
comparação
• Compara
– O que aconteceu com
– O que teria acontecido na ausência do programa
(contractual)
• Identifica o efeito causal
– Controlando por todos demais fatores que mudam
no tempo
18
Métodos Não-Experimentais
• 1. Diferença-em-diferenças (DD)
• 2. DD com pareamento
• 3. Regressão descontínua
Métodos Não-Experimentais
• 1. Diferença-em-diferenças (DD)
• 2. DD com pareamento
• 3. Regressão descontínua
Como avaliar esse programa?
Diferença-em-Diferenças
• Plano: combinar a dimensão temporal do
antes-depois com a decisão de participação
(participantes vs. não-participantes)
• (Sob algumas hipótese) este método resolve:
– Efeito do tempo: outras coisas podem ter ocorrido
e afetado o programa ao longo do tempo
– Viés de seleção: não sabemos porque alguns
participaram e outros não, mas essa decisão
depende de características que não variam no
tempo
Antes-Depois
%
2.5
Impacto = (P2008-P2007) = 2.1 – 1.5 = + 0.6
2
P08-P07=0.6
1.5
participants
1
0.5
0
2007
2008
22
Antes-Depois + Não-Participantes:
Diferença-em-Diferenças
%
2.5
Impact = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
2
P08-P07=0.6
1.5
participants
non-participants
1
NP08-NP07=0.2
0.5
0
2007
2008
23
Você também pode usar uma
tabela…
Taxa de lucro
2007
2008
Diferença
(2007-2008)
Participantes (P)
1.5%
2.1%
0.6 pp
Não-participantes (NP)
0.5%
0.7%
0.2 pp
Diferença (P-NP)
1.0 pp
1.4 pp
0.4 pp
24
Hipótese de tendência comum (ou
paralela)
%
2.5
2
Impacto = +0.4 pp
1.5
participants
non-participants
1
0.5
0
2007
2008
Conclusão
• O programa de crédito subsidiado
funcionou.
• A hipótese de tendência comum é
plausível?
Use dados históricos se possível…
%
2.5
2
1.5
participants
1
non-participants
0.5
0
2006
2007
2008
Diferença-em-Diferenças
Diff-in-diff combina Participantes-Não-participantes com
Antes-Depois.
O método contorna os
problemas encontrados nos
métodos anteriores sob
Possível de verificar se houver
dados históricos
Contorna o problema de viés
de seleção se a decisão de
participação depender de nãoobserváveis fixas no tempo
… a hipótese de tendência
comum entre os grupos de T e C
na ausência do programa
É possível refinar a análise se este
método for combinado com o
método de pareamento
(propensity score matching) na
linha de base
Diff-in-Diff com pareamento
(matching)
• Intuição do método de pareamento?
1. O programa foca um grupo-alvo (e.g. firms) com certas
características observáveis
2. O pesquisador CONHECE as características das firmas que
as tornam elegíveis para entrar no programa
3. Empresas com características observáveis similares àquelas
que decidem participar deveriam ser um bom grupo de
comparação
4. Na prática gera-se um indicador (escore de propensão -propensity score) que sintetiza um conjunto de
características num indicador e parea-se T e C com
‘mesmos’ valores do indicador
29
Pareamento…
• Na maioria dos casos não há pares para todos!
• Exemplo
Suporte
comum
Não-participantes
Participantes
Indicador
30
Na prática é um pouco mais complicado!
Source: Caliendro, 2008: 41.
31
Passos importantes para o
pareamento…
Source: Caliendro, 2008: 33
32
Passos importantes para o
pareamento…
Não se desespere!
Há uma forma de
se evitar tudo
isso!
Source: Caliendro, 2008: 33
33
Resumo dos efeitos obtidos com
diferentes métodos
Método
Tratamento
Comparação
Diferença
Participantes - Não-participantes
2.1
0.7
1.4 pp
Antes - Depois
2.1
1.5
0.6 pp
Diff-in-diff
0.6
0.2
0.4 pp
• Se o método for fraco ele conduzirá a respostas erradas!
Exemplos: Participantes vs. Não-Participantes e Antes-Depois
NÃO SÃO bons métodos para AI
• Diff-in-diff é válido sob algumas hipóteses
Métodos Não-Experimentais
• 1. Diferença-em-diferenças (DD)
• 2. DD com pareamento
• 3. Regressão descontínua (RDD)
Como avaliar esse programa?
Regressão Descontínua
Plano: subsídios oferecidos a empresas com base num
escore de crédito
• Todas as empresas que aplicam para o programa têm um
indicador (escore) gerado com base em algumas características
da firma como idade, lucratividade, faturamento, número de
empregados etc. O escore varia de 0 a 100 onde 0 significa muita
restrição ao crédito e 100 baixa restrição ao crédito
• O programa foca nas empresas com maior restrição: score < =
50
• Idéia: comparar taxa de lucro de empresas com
escore pouco abaixo de 50 (elegíveis ao programa de
crédito subsidiado) com empresas com escore pouco
acima de 50 (não-elegíveis ao programa)
Taxa de lucro
3%
2.5%
2%
1.5%
Elegíveis
Fonte: WB – Human Development Network.
Nãoelegíveis
RDD – Após a Intervenção
RDD identifica o efeito local
Taxa de lucro
3%
2.5%
2.0%
Efeito do
tratamento
1.5%
Fonte: WB – Human Development Network.
RDD
• Método poderoso se houver:
– Uma variável ou indicador contínuo que define
eligibilidade
– Uma linha de corte (cut-off) claramente definido
e não manipulável
Método
Tratamento
Comparação
Diferença
Regressão Descontínua
2.35%
2.1%
0.25 pp
Importante: O impacto é válido apenas para aqueles indivíduos
que estão próximos à linha de corte
Esse é um grupo interessante para o seu programa?
Resumo dos efeitos obtidos com
diferentes métodos
Método
Tratamento
Comparação
Diferença
Participantes - Não-participantes
2.1
0.7
1.4 pp
Antes - Depois
2.1
1.5
0.6 pp
Diff-in-diff
0.6
0.2
0.4 pp
Regressão Descontínua
2.35
2.1
0.25 pp
• Métodos fracos => resultados equivocados!
• RDD efeito causal local => efeito bem menor!
• Resultados confiáveis são obtidos apenas com métodos
rigorosos
Quão fácil (ou complicado) é
tudo isso?!
WEB
Thank you!
http://dime.worldbank.org
facebook.com/ieKnow
#impacteval
blogs.worldbank.org/impactevaluations
microdata.worldbank.org/index.php/ca
talog/impact_evaluation