Arianna Legovini
O Uso de Avaliações Aleatoria
para Melhorar Políticas e
Programas
Global Workshop on
Development Impact Evaluation
in Finance and Private Sector
Rio de Janeiro, June 6-10, 2011
Objetivo

Identificar o Verdadeiro Efeito de um Programa
 Separar o impacto do programa de outros fatores
>>Qual o efeito causal de um programa?

Necessidade de descobrir o que teria ocorrido
sem programa
 Não se pode observar a mesma pessoa com e sem o
programa
>>Conta com análise contrafatual (grupo de controle)
2
Correlação não é causalidade
Questao: O credito incrementa os lucros das empresas?
Suponha que observamos que as empresas com mais de
crédito também realizar lucros maiores
1
Uso de
crédito
OU
2
Conhecimentos
de gestão do
negócio
Lucros mais
elevados
Lucros mais ?
elevados
Crédito
?
Ilustração:
Programa de Crédito (1)
Grupo de Tratamento
Treatment
Grupo deGroup
tratamento
14
(+6) aumento da margem
bruta de exploração
12
10
Um programa
de crédito foi oferecido em
2008.
8
6
4
Por que o aumento da
margem?
2
0
2007
2007
20092009
4
Ilustração:
Programa de Crédito (2)
Control
GrupoGroup
de controle
Grupo deGroup
tratamento
Treatment
14
(+) Impacto do
programa
12
10
(+) Impacto de outros
fatores (externos)
8
6
4
2
0
Antes
Before
Depois
After
5
Ilustração: Programa de Crédito
(Antes-e-Depois)
Grupo de controle
Grupo de tratamento
(+) Medida ENVIESADA
do impacto do programa
Antes
Depois
6
Motivação

Difícil distinguir a causalidade da correlação na análise estatística dos dados
existentes
 Independente da complexidade da estatística, só mostra que X (programa de
credito) vai com Y (margem)
 Difícil corrigir características não observadas, como motivação / habilidade
 Motivação / habilidade podem ser os principais fatores a serem corrigidos

Viés de seleção: um grande problema para a avaliação do impacto
 Os projetos tiveram início em determinado tempo e local por motivos
particulares
 Os participantes podem ser seleccionados ou podem-se auto-seleccionar para
participar num programa (critérios de elegibilidade)
 As pessoas que têm acesso a crédito serão provavelmente muito diferentes do
empresário médio; analisar os lucros dessas pessoas poderá dar uma impressão
errada dos benefícios do financiamento
7
Motivação

Avaliação retrospectiva de impacto:
 Ao coletar os dados depois do evento, você não sabe
como os participantes e não participantes podiam ser
comparados antes do início do programa
 É necessário tentar entender porquê o projeto foi
implementado naquele local e naquele período, após o
evento.

A avaliação prospectiva permite elaborar a
avaliação para que responda à pergunta que você
precisa responder

Permite a coleta dos dados necessários
8
Desenho Experimental

Todos os participantes do estudo têm a mesma chance de
estar no grupo de tratamento ou de controle

Intencionalmente, os grupos de tratamento e de controle
têm as mesmas características (observadas e não observadas),
na média
 A única diferença é o tratamento

Com grandes amostras, todas as características
convergem para a média

Estimativas de impacto não enviesadas
9
Opções de Randomização

Sorteio
 (apenas alguns entram no programa)

Entrada gradual
 (todos entram eventualmente)

Variação no tratamento
 (cobertura integral, diferentes opções)

Desenho de incentivo (no caso de adesão
parcial)
 Todos podem entrar, alguns são encorajados a fazê-lo
10
Exemplo no desenvolvimento
do sector privado
Sorteio
(apenas alguns entram no programa)
Sorteio para ter acesso a novos empréstimos
Entrada gradual (entrada faseada)
Alguns grupos ou pessoas recebem crédito cada ano
Variação no tratamento
Alguns recebem um matching grant, outros crédito, outros serviços de
apoio ao desenvolvimento do negócio
Incentivo
Um balcão bancário por distrito
Alguns empresarios recebem visita ao domicílio para explicar o
empréstimo, outros não recebem a visita
1111
Loteria entre os elegíveis
Deve recebir o
programa
Aleatorizar quem recebe o
programa
Inelegível para o
programa
Oportunidades para a
aleatorização (1)

As limitações orçamentárias impedem a cobertura
integral


Capacidade limitada de implementação


A distribuição aleatória (sorteio) é justa e
transparente
A introdução gradual oferece a todos a mesma
chance de serem os primeiros
Inexistência de evidências sobre qual a melhor
alternativa

Distribuição aleatória para alternativas com a
mesma chance ex ante de sucesso
13
Oportunidades para a
aleatorização (2)

Adesão ao programa existente não é completa


Um novo programa piloto


Fornecer informações ou incentivos para a adesão
de alguns
Boa oportunidade de testar o desenho antes de
expandi-lo
Mudanças operacionais em programas em
andamento

Boa oportunidade de testar as mudanças antes de
expandi-las
 Introduzir innovaçoes de manera aleatoria
14
Aleatorização
em diferentes níveis
 Individual (donos de empresa)
Associação de
 Empresa
mulheres
Grupos jovens
Nível da escola
 Associação empresarial
 Nível da aldeia
 Jurisdição/
distrito administrativo
15
Aleatorização individual
ou em grupo?

A aleatorização è feita o mesmo nivel que o nivel de
intervenção

Mais fácil obter amostras grandes o bastante se os
indivíduos forem aleatorizados
Aleaorização individual
Aleaorização de grupos
Unidade de Aleatorização

A aleatorização em nível mais alto às vezes é
necessária:
 Limitações políticas a tratamentos diferenciados na
comunidade
 Limitações práticas – confusão para implementar
diferentes versões
 Os efeitos sobre unidades vizinhas podem demandar uma
aleatorização em nível mais alto

Aleatorizar ao nível de grupo requer muitos grupos
por causa da correlação dentro da comunidade
17
Elementos do desenho
experimental
População alvo
PMEs
Participantes potenciais
Costureiros
Fabricantes de móveis
Amostra de avaliação
Alocação randômica
Grupo de Tratamento
• Participantes

Grupo de Controle
Desistentes
18
Validade Externa e Interna (1)

Validade externa
 A amostra é representativa da população total
 Os resultados na amostra representam os resultados na
população
 Podemos aplicar as lições a toda a população

Validade interna
 O efeito estimado da intervenção ou do programa sobre a
população avaliada reflete o impacto real naquela
população
 Ou seja, os grupos de intervenção e de controle são
comparáveis
19
Validade Externa e Interna(2)

Uma avaliação pode ter validade interna sem
validade externa
 Exemplo: extrapolar os resultados de uma avaliação
randomizada de um incentivo às empresas informais na
área urbana para se registarem para um programa
semelhante nas áreas rurais

Uma avaliação sem validade interna não pode ter
validade externa
 Se você desconhece se um programa funciona em um
local, então você não sabe nada sobre se ele funciona em
qualquer outro lugar.
20
Validade externa & interna
População Nacional
Randomização
Amostras da
População Nacional
Randomização
21
Validade interna (APENAS)
População
Estratificação
Estrato do População
Amostras do Estrato
da População
Randomização
22
Representativo porém
enviesado: inútil
População Nacional
Randomização
Distribuição Enviesada
INÚTIL!
23
Exemplo: programa de crédito,
validade interna
Amostra de mulheres
empresárias
Distribuição Randômica
24
Exemplo: programa de crédito
Sequência básica de tarefas para a avaliação
 Listar as empresas elegíveis nas áreas alvo
▪ ex. PMEs com volume de negócios abaixo de um certo
limite
 Dados de base (antes do programa) das empresas
 Distribuição randômica ao diferentes
tratamentos, o tratamento e controle
 Projeto implementado
 Pesquisa de seguimento (follow-up)
25
Eficácia e Efetividade

Eficácia
 Prova de conceito
 Menor escala
 Piloto em condições ideais

Efectividad
 Em escala
 Arranjos de implementação prevalentes – “vida
real”


Maior ou menor impacto?
Maiores ou menores custos?
26
Vantagens de “experimentos”

Impacto causal claro e preciso

Em relação a outros métodos
 Muito mais fácil de analisar
 Mais barato (tamanhos menores de amostra)
 Mais fácil de explicar
 Mais convincente para os formuladores de política
 Metodologicamente incontroverso
27
E se houver restrições sobre a
aleatorização?



Limitações orçamentárias: randomizar entre
os mais necessitados
Limitações de capacidade de implantação:
randomizar quem recebe primeiro... (ou a
seguir se você já houver começado)
Promover o programa aleatoriamente para
alguns, nao para outros... (participantes fazem
suas próprias escolhas sobre adoção)
28
Divulgação Randômica
(Desenho de Encorajamento)


Quem recebe divulgação tem maior chance de
participar
Como quem recebe foi escolhido
aleatoriamente, não há relação com observáveis
/ não observáveis
 Compare os resultados médios dos dois grupos:
com / sem divulgação
 Efeito da oferta do programa (Intenção de Tratar)
 Efeito da intervenção (Tratamento Médio no Tratado)
 ATT= efeito da oferta do programa / proporção dos
que aderiram
Aleatorização
Alocado para
tratamento
Alocado para
controle
Diferença
Impacto:
efeito médio
do tratamento
sobre os
tratados
Proporção
tratada
100%
0%
100%
100%
Resultado
médio
103
Não-tratados
Tratados
Impacto da alocação
80
23
23/100%=23
Estimativa da intenção
Tratamento médio
Incentivo randômico
Incentivados
Não
incentivados
Diferença
Impacto:
efeito médio
do tratamento
sobre os que
aderiram
Proporção
tratada
70%
30%
40%
100%
Resultado
100
Não tratados
(não aderiram)
Tratados
(aderiram)
Impacto do incentivo
92
8
8/40%=20
Erros comuns a evitar

Cálculo incorreto da amostra
 Randomizar um distrito para tratamento e outro
para controle e calcular o tamanho da amostra
sobre o número de pessoas que forem entrevistadas


Coleta de dados diferente no tratamento e no
controle
Contagem dos que foram distribuídos para
tratamento mas não aderiram ao programa
como controle – não desfaça sua
randomização!!!
32
Quando é que é realmente
impossível?
O tratamento já foi alocado e anunciado
e não há possibilidade de expansão do tratamento
O programa já acabou (retrospectiva)
Já há adesão universal
O programa é nacional e não exclui ninguém
A amostra é muito pequena para ser válida
2/1/10
3333
Obrigada
Agradecendo o apoio financiero de: Bank Netherlands
Partnership Program (BNPP), Bovespa, CVM,
Gender Action Plan (GAP), Belgium & Luxemburg
Poverty Reduction Partnerships (BPRP/LPRP),
Knowledge for Change Program (KCP), Russia
Financial Literacy and Education Trust Fund (RTF),
and the Trust Fund for Environmentally & Socially
Sustainable Development (TFESSD), is gratefully
acknowledged.