Aproveitar
Descontinuidades
Francisco Campos
Africa Region Gender Practice
Global Workshop on
Development Impact Evaluation
in Finance and Private Sector
Rio de Janeiro, June 6-10, 2011
Introdução

Como é que avaliamos intervenções
 Quando não existe alocação aleatória a grupos de tratamento e de comparação?
 Quando não se pode manipular o processo de seleção?

Caso geral
 Pessoas, lares, municípios ou outras entidades são expostos ou não a um
“tratamento” ou “política”
 Dois grupos não são comparáveis por causa do processo de seleção
 Exemplo: Clientes de micro-crédito e indivíduos que não são clientes de
micro-crédito
Quando a seleção aleatória não é possível, como é que podemos
utilizar as características do programa para “medir” o seu
impacto?
 Resposta: métodos quasi-experimentais

 Exemplo: Modelos de Regressão Descontínua (MDRs)
2
Modelos de Regressão
Descontínua
 Nome horrível… mas um primo muito mais próximo
das experiências com seleção aleatória do que os
outros concorrentes
 Importante elemento do kit de ferramentas para
research
• Data do início da década de 60
• Entrou em hibernação por algum tempo
• Retomado no novo milénio 
3
Exemplo de MRD (1)
 Lei: Idade mínima para beber nos EUA é 21  o
consumo de alcóol é ilegal para pessoas com menos de
21 anos.
 Análise:
 Pessoas com 20 anos, 11 meses e 29 dias
 Pessoas com 21 anos
Mas não necessariamente diferentes (probabilidade
de irem a festas, obediência, probabilidade de terem
comportamentos de risco, etc)
Tratadas na lei de uma forma diferente por uma
restrição arbitrária (idade)
4
Exemplo de MRD (2)
 De facto: Esta lei aloca pessoas a grupos de
tratamento e comparação
 Grupo de tratamento: Pessoas com idades entre 20 anos e 11
meses e 20 anos, 11 meses e 29 dias
 Grupo de controle: Pessoas que tenham acabado de fazer 21
anos e que já podem beber legalmente.
 Ambos os grupos devem ser semelhantes em termos de
características observáveis e não observáveis que afectam os
resultados de interesse (taxas de mortalidade)
 Desta forma, é possivel isolar o efeito de causalidade
do consumo de alcóol nas taxas de mortalidade de
adultos jovens
5
Exemplo de MRD (3)
Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades
Tratamento causa um
menor consumo de alcóol
6
Exemplo de MRD (4)
Taxas de mortalidade por idade
Aumento do consumo de alcóol
causa taxas de mortalidade mais
elevadas por volta dos 21 anos
Mortalidade geral
Mortalidade associada a
acidentes, consumo de
alcóol ou de drogas
Restante mortalidade
7
A Lógica dos MRD
•
Alocação ao grupo de tratamento depende de uma
pontuação ou de um ranking contínuo (ex.: Idade,
vendas, resultado num exame, índice de pobreza)
• Potenciais beneficiários são ordenados pela pontuação
• Limite ou cut-off (ponto de corte) para ser “elegível”
definido claramente ex-ante
• Cut-off determina alocação a grupos de tratamento e de
comparação
•
Alocação geralmente resulta de decisões
administrativas, onde
• a participação é limitada devido a restrições orçamentais
• regras claras e não arbitrárias são utilizadas para a
participação no programa
8
Exemplo (2): Subsídios
(Matching Grants)
•
Governo oferece subsídios via matching grants a PMEs formais
•
Eligibilidade para receber estes subsídios baseada nas vendas do
ano anterior:
• Se as vendas foram superiores a $5,000, a empresa recebe a
oferta do subsídio
• Se as vendas foram inferiores a $5,000, a empresa não pode
beneficiar do subsídio
•
Se as vendas foram divulgadas antes do anúncio da medida
• não é possível manipular as vendas reportadas no ano anterior
• fácil de medir as vendas e garantir a utilização da regra
•
MRD compara empresas mesmo acima de $5,000 (por exemplo
$5,001) com empresas apenas abaixo de $5,000 (por exemplo
$4,999)
•
Outro exemplo: pontuação de crédito (credit score)
9
Exemplo: MRD difuso (fuzzy
design)
•
O que acontece se nem todas as empresas com
menos de $5000 aderem ao programa?
• Falta de conhecimento da existência do programa (não
sabiam que o programa tinha sido introduzido)
• Só as empresas interessadas aderem
• Ambos implicam que haja uma seleção (empresas que
aderem ao programa podem ser diferentes daquelas que
não aderem em várias dimensões)
•
MAS: A percentagem de participantes altera-se
descontinuadamente na fronteira (no ponto de
corte), de zero para menos de 100%
• Denominado MRD difuso
10
Probabilidade de Participação:
Regra estanque e regra difusa
Regra
difusa de recebimento do subsídio
Fuzzy Design for Voucher receipt
1
1
Regra Sharp
estanque
de recebimento do subsídio
Design for Voucher receipt
75%
.25
.25
.5
.5
.75
.75
100%
0%
0
0
0%
assignment variable
assignment variable
11
Descontinuidades
Estanques e Difusas

Descontinuidade Estanque
A descontinuidade determina, com precisão, a condição de tratamento
▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcóolicas e mais
ninguem o faz
▪ Todas as empresas com mais de $5,000 em vendas recebe subsídios e empresas
menores não o fazem

Descontinuidade Difusa
A percentagem de participantes muda de forma descontínua no cut-off,
mas não de zero para 100% (ou de 100% para 0%)
▪ Algumas pessoas mais novas que 21 consomem bebidas alcóolicas e algumas com
mais de 21 não consomem bebidas alcóolicas
▪ Regra determina eligibilidade, mas entre as empresas com mais de $5,000 em
vendas, há apenas adesão parcial.
12
Validade Interna

Ideia geral:
 Se o ponto de corte (cut-off) é arbitrário, as pessoas
exactamente à esquerda e à direita desse ponto devem ser
semelhantes
 Diferenças nos resultados podem ser atribuídos à política

Principal condição
 Nada mais acontece: na ausência da política, não
observaríamos a discontinuidade nos resultados à volta
deste limite em particular
 Pode não ser o caso se
▪
▪
Regra do uso de capacete para motorizadas também se aplica aos 21
anos
Outra medida oferece equipamento a empresas com vendas
superiores a $5,000
13
Perfil do Resultado Antes e
Depois da Intervenção
Follow-up
assignment variable
assignment variable
outcome
Baseline
14
Perfil do Resultado Antes e
Depois da Intervenção
Follow-up
outcome
Baseline
Forma
diferente
assignment variable
assignment variable
15
Validade Externa


Serão os resultados generalizáveis para além destes dois
grupos que estamos a comparar?
Contrafatual em MRD
 Indivíduos marginalmente excluídos dos benefícios
 Exemplos: pessoas com menos de 21 mas com mais de 20
anos e 10 meses; empresas com vendas superiores a $5,000
mas menos que $5,500.

As conclusões de causalidade são limitadas às pessoas,
lares, municípios, no cut-off
 O impacto estimado é para individuos marginalmente ou por
pouco elegíveis para participarem no programa
 A extrapolação além deste ponto supõe premissas adicionais,
geralmente não garantidas (ou diversos cut-offs)

Modelos difusos aumentam o problema
16
Análise Gráfica
assignment variable
17
Implementação de MRD:
Detalhes

Maiores vantagens dos MRD
 Transparência
 Possibilidade de ilustrar a situação atraves do uso de gráficos

Maiores desvantagens dos MRD
 Necessário que haja muitas observações à volta do cut-off
 Todas as observações longe da fronteira devem ter menos
importância
 Porque?
▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoas
estão à esquerda ou à direita
▪ Por exemplo uma empresa com vendas anuais de $5,000 versus uma com
$100,000
▪ Ou uma pessoa com 16 anos versus outra com 25
18
Levantar as metas



Experiências naturais são eventos “naturais”
que aproximam as propriedades de uma
experiência
MRDs partilham as mesmas propriedades de
uma experiência localmente no ponto de
corte (cut-off)
Estas descontinuidades do “mundo real” são
uma mina de ouro para aqueles que estão “à
procura” de experiências naturais 
19
Em conclusão

MRD são intrumentos úteis para identificar o efeito de
causalidade
 Vantagens
▪ MRD partilham as mesmas propriedades de uma experiência no local
do ponto de corte (cut-off)
▪ Podem ser utilizados para avaliar intervenções ex-post tratando os
pontos de corte como “experiências naturais” (com propriedades
próximas de uma experiência mas não são designados como tal)
 Desvantagens
▪ Os efeitos estimados do programa são apenas representativos das
pessoas/empresas perto do ponto de corte
▪ MRDs necessitam de amostras muito grandes
▪ Pessoas/empresas podem ajustar o seu comportamento em anos
subsequente em resposta ao limite
▪ Exemplo: Deixar de reportar vendas abaixo de $5,000
20
Em conclusão

Pode ser usado para desenhar uma avaliação
quando a seleção aleatória não for possível
 O design aplica-se a todos os programas avaliados por
médias
 Diversos pontos de corte para melhorar a validade externa

Pode ser usado para avaliar intervenções ex-post
usando as descontinuidades como “experiências
naturais”.
21
Obrigado
Agradecemos o apoio financeiro de: Bank Netherlands
Partnership Program (BNPP), Bovespa, CVM,
Gender Action Plan (GAP), Belgium & Luxemburg
Poverty Reduction Partnerships (BPRP/LPRP),
Knowledge for Change Program (KCP), Russia
Financial Literacy and Education Trust Fund (RTF),
and the Trust Fund for Environmentally & Socially
Sustainable Development (TFESSD)