
Como é que avaliamos intervenções?
 Quando não existe alocação aleatória a grupos de tratamento e de comparação
 Quando não se pode manipular o processo de seleção

Caso geral
 Pessoas, lares, municípios ou outras entidades são expostos ou não a um
“tratamento” ou “política”
Dois grupos não são comparáveis por causa do processo de seleção
 Exemplo: Clientes de micro-crédito e indivíduos que não são clientes de
micro-crédito
Quando a randomização não é possível, como é que podemos
utilizar as características do programa para “medir” o seu impacto?
 Resposta: métodos quasi-experimentais
Exemplo: Modelos de Regressão Descontínua (MDRs)


MDR mais próximos das experiências randomizadas do que
os outros métodos quasi-experimentais
Depende do conhecimento do processo de seleção dos
participantes
 Necessário saber um critério de seleção quantificável – “uma
pontuação”

Alocação ao “tratamento” depende discontinuadamente
desta pontuação
 Exemplo: Uma política que se aplique a empresas com vendas
anuais menores ou iguais a $5,000.
 Uma empresa com vendas = $5,001 não seria tratada, mas seria
muito semelhante a uma empresa com vendas = $5,000.
 MDRs compararíam empresas com vendas exactamente acima e
abaixo da barreira dos $5000.
 Lei: Idade mínima para beber nos EUA é 21  o
consumo de alcóol é ilegal para pessoas com menos de
21 anos.
 Análise:
Pessoas com 20 anos, 11 meses e 29 dias
 Pessoas com 21 anos
Tratadas de uma forma diferente por uma restricção
arbitrária (idade)
 Mas não necessariamente diferentes (probabilidade
de irem a festas, obediência, chance de terem
comportamentos de risco, etc)
 De facto: Esta lei aloca pessoas a grupos de
tratamento e comparação
 Grupo de tratamento: Pessoas com idades entre 20 anos e 11
meses e 20 anos, 11 meses e 29 dias
 Grupo de controle: Pessoas que tenham acabado de fazer 21
anos e que já podem beber legalmente.
 Ambos os grupos devem ser semelhantes em termos de
características observáveis e não observáveis que afectam os
resultados de interesse (taxas de mortalidade)
 Desta forma, é possivel isolar o efeito de causalidade
do consumo de alcóol nas taxas de mortalidade de
adultos jovens
Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades
Tratamento causa um
menor consumo de alcóol
Taxas de mortalidade por idade
Mortalidade geral
Aumento do consumo de alcóol
causa taxas de mortalidade mais
elevadas por volta dos 21 anos
Mortalidade associada a
acidentes, consumo de
alcóol ou de drogas
Restante mortalidade
•
Alocação ao grupo de tratamento depende de uma
pontuação ou de um ranking contínuo (ex.: Idade,
vendas, resultado num exame, índice de pobreza)
• Potenciais beneficiários são ordenados pela pontuação
• Limite ou cut-off (ponto de corte) para ser “elegível”
definido claramente ex-ante
• Cut-off determina alocação a grupos de tratamento e de
comparação
•
Alocação geralmente resulta de decisões
administrativas, onde
• a participação é limitada devido a restrições orçamentais
• regras claras e não arbitrárias são utilizadas para a
participação no programa
•
Governo oferece subsídios via matching grants a PMEs
formais
•
Eligibilidade para receber estes subsídios baseada nas
vendas do ano anterior:
•
Se as vendas foram inferiores a $5,000, a empresa recebe a
oferta do subsídio
• Se as vendas foram pelo menos $5,000, a empresa não pode
beneficiar do subsídio
•
Se as vendas foram divulgadas antes do anúncio da
medida
•
•
não é possível manipular as vendas reportadas no ano anterior
fácil de medir as vendas e garantir a utilização da regra
•
O que acontece se nem todas as empresas com
menos de $5000 aderem ao programa?
• Falta de conhecimento da existência do programa (não
sabiam que o programa tinha sido introduzido)
• Só as empresas interessadas aderem
• Ambos implicam que haja uma seleção (empresas que
aderem ao programa podem ser diferentes daquelas que
não aderem em várias dimensões)
•
MAS: A percentagem de participantes altera-se
descontinuadamente na fronteira (no ponto de
corte), de zero para menos de 100%
• Denominado MRD difuso
Sharp Design for Voucher receipt
1
1
Fuzzy Design for Voucher receipt
75%
.25
.25
.5
.5
.75
.75
100%
0%
0
0
0%
assignment variable
assignment variable

Descontinuidade Estanque
A descontinuidade determina, com precisão, a condição de tratamento
▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcóolicas e mais
ninguem o faz
▪ Todas as pessoas com menos de $5,000 em vendas recebe vouchers e empresas
maiores não o fazem

Descontinuidade Difusa
A percentagem de participantes muda de forma descontínua no cut-off,
mas não de zero para 100% (ou de 100% para 0%)
▪ Algumas pessoas mais novas que 21 consomem bebidas alcóolicas e algumas com
mais de 21 não consomem bebidas alcóolicas
▪ Regra determina eligibilidade, mas entre as empresas com menos de $5,000 em
vendas, há apenas adesão parcial.

Ideia geral:
 Se o ponto de corte é arbitrario, as pessoas exactamente à
esquerda e à direita desse ponto devem ser semelhantes
 Diferenças nos resultados podem ser atribuídos à política

Principal condição
 Nada mais acontece: na ausência da política, não
observaríamos a discontinuidade nos resultados à volta
deste limite em particular
 Pode não ser o caso se
▪
▪
Regra do uso de capacete para motorizadas também se aplica aos 21
anos
Outra medida oferece equipamento a empresas com vendas
inferiores a $5,000
Follow-up
outcome
Baseline
Forma
diferente
assignment variable
assignment variable


Serão os resultados generalizáveis para além destes dois
grupos que estamos a comparar?
Contrafatual em MRD
 Indivíduos marginalmente excluídos dos benefícios
 Exemplos: pessoas com menos de 21 mas com mais de 20
anos e 10 meses; empresas com vendas inferiores a $5,000
mas mais que $4,500.

As conclusões de causalidade são limitadas às pessoas,
lares, municípios, no ponto de corte
 O impacto estimado é para individuos marginalmente ou por
pouco elegíveis para participarem no programa
 A extrapolação além deste ponto supõe premissas adicionais,
geralmente não garantidas (ou diversos pontos de corte)

Modelos difusos aumentam o problema

Maiores vantagens dos MRD
 Transparência
 Possibilidade de ilustrar a situação atraves do uso de gráficos

Maiores desvantagens dos MRD
 Necessário que haja muitas observações à volta do cut-off
 Todas as observações longe da fronteira devem ter menos
importância
 Porque?
▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoas
estão à esquerda ou à direita
▪ Por exemplo uma empresa com vendas anuais de $5,000 versus uma com
$500
▪ Ou uma pessoa com 16 anos versus outra com 25
assignment variable

MRD são intrumentos útils para identificar o efeito de
causalidade
 Vantagens
▪ MRD partilham as mesmas propriedades de uma experiência no local
do ponto de corte
▪ Podem ser utilizados para avaliar intervenções ex-post tratando os
pontos de corte como “experiências naturais” (com propriedades
próximas de uma experiência mas não são designados como tal)
 Desvantagens
▪ Os efeitos estimados do programa são apenas representativos das
pessoas/empresas perto do ponto de corte
▪ MRDs necessitam de amostras muito grandes
▪ Pessoas/empresas podem ajustar o seu comportamento em anos
subsequente em resposta ao limite
▪ Exemplo: Deixar de reportar vendas acima de $5,000

Pode ser usado para desenhar uma avaliação
prospectiva quando a randomização não for
possível
 O design aplica-se a todos os programas avaliados por
médias
 Diversos pontos de corte para melhorar a validade externa

Pode ser usado para avaliar intervenções ex-post
usando as descontinuidades como “experiências
naturais”.
20