Aula 5 - Método experimental ou de seleção aleatória
Material Elaborado por Betânia Peixoto
Modificado por Guilherme Irffi e Francis Petterini
Plano de Aula

Definição de seleção aleatória

Avaliação de impacto com seleção aleatório- instrumental teste
de diferença de médias
Aleatorização
 O "padrão ouro" na avaliação dos efeitos das intervenções
 Permite-nos para formar um "tratamento" e "controle“
grupos características idênticas diferem apenas pela
intervenção.
 Melhor aproximação contrafactual
Atribuição aleatória
 Cada unidade elegíveis tem a mesma chance de receber a
intervenção.
 Nos permite comparar o "tratamento" e "grupo de
controle"
Atribuição aleatória vs Amostra Aleatória
 Atribuição aleatória
• São os resultados observados devido à intervenção, em vez
de outros fatores de predisposição. (validade interna)
 Amostra aleatória
• Que os resultados encontrados na amostra se aplicam à
população em geral, ou seja, são generalizáveis. (validade
externa)
Exemplo de Aleatorização
 Qual é o impacto de fornecer livros gratuitos aos alunos
sobre os resultados dos testes?
Aleatoriamente atribuir um grupo de crianças da escola
para qualquer um:
- Grupo de Tratamento - recebe livros gratuitos
- Grupo de controle - não receber livros gratuitos)
Como você Aleatoriza?
 Em que nível?
•
•
•
•
•
Individual
Grupo
Escola
Comunidade
Distrito
Quando você usaria Aleatorização?
Universo de indivíduos elegíveis geralmente maiores que os
recursos disponíveis em um único ponto no tempo.
Forma justa e transparente para atribuir
Dá uma chance igual a todos na amostra.
Bons momentos para randomize:
• Programas-piloto
• Programas com orçamento / capacidade
• Fase em programas
benefícios
Realizar a avaliação de impacto quando a seleção entre
tratados e não-tratados foi aleatória.
Problema da avaliação
Relembrando:
Impacto = ATT = E[Yp, P=1] - E[Ysp, P=1]
Não observamos Ysp quando P=1.
Se E[Ysp, P=1] ≠ E[Yc, P=0]
Erro: ε= E[Ysp, P=1] - E[Yc, P=0]
(1)
O ATT é dado por:
ATT = E[Yp, P=1] - E[Yc, P=0] + ε (2)
Viés ou erro
Substituindo (1) em (2)
ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc, P=0] }
Método experimental ou de seleção aleatória
No método experimental, a avaliação de impacto já é desenhada
antes da implementação do programa.
Tendo em mãos um conjunto de pessoas desejosas de participar
do programa e com as características esperadas do público-alvo,
dividimos aleatoriamente esse conjunto de pessoas em dois
grupos: tratamento e controle.
Conseqüência do sorteio
Se temos um número grande de participantes, quando fazemos o
sorteio esperamos que a única diferença entre os grupos seja
a participação no programa.
 Tratamento: participam do programa.
 Controle: não participam do programa.
Sob seleção aleatória
Quando um grupo controle é selecionado de forma aleatória,
podemos considerar que, em média, o grupo tratado e o grupo
controle são semelhantes – por causa da propriedade
probabilística. Assim:
E[Ysp, P=1] = E[Yc, P=0] ↔ E[Ysp, P=1] - E[Yc, P=0]=0
ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc, P=0] }
o ATT é dado por:
ATT = E[Yp, P=1] - E[Yc, P=0]
Viés ou erro = 0
Neste caso...
ATT = E[Yp, P=1] - E[Yc, P=0]
Basta comparar a média do grupo de tratamento e o de controle.

No entanto, não basta comparar os valores das médias das duas
amostras (tratado e controle) para saber se houve impacto.

Para sabermos se, de fato, o programa teve impacto, é preciso
saber se as médias populacionais são diferentes.
Como comparar duas médias populacionais com
base nas amostras?

Resposta: A partir de um “teste de diferença de médias”.
Teste de diferença de médias
Suponha agora que estamos interessados em comparar a média de
uma variável aleatório com base em duas amostras diferentes.
Para isto podemos fazer o teste de diferenças entre médias
Como as médias são calculadas a partir de uma amostra da
população, a diferença matemática observada entre elas pode ser
apenas devido a um erro amostral.
Portanto, uma diferença entre duas médias amostrais não representa
uma verdadeira diferença entre as médias populacionais.
Teste de diferenças entre médias
Hipótese Nula: Não há diferença entre as Médias Populacionais
H0: μ 1= μ
2
μ 1= média na população 1
μ 2= média na população 2
Hipótese experimental: há diferença entre as Médias Populacionais
H1: μ 1≠ μ
2
Para testarmos esta hipótese com uma probabilidade conhecida de
acerto, precisamos calcular os chamados escores Z, supondo que a
distribuição da variável é normal.
Z 
X1  X
2
 dif
2
 dif 
Onde:
s1
N1
2

s2
N2
é a média amostral

é a diferença do erro padrão de cada média
s é a variancia da amostra
N é o tamanho da amostra
X
dif
Z de teste
Uma vez encontrado o Z de teste calculado pela fórmula do slide
anterior, utilizamos uma tabela de Porcentagem da Área sob a
Curva Normal - Z, para obtermos a probabilidade de não
rejeitarmos H0.
Fazendo 100- 2 vezes a probabilidade calculada na tabela, temos a
estatística conhecida como P-valor, que nos fornece a
probabilidade de erro ao rejeitarmos H0.
Z de teste- Exemplo
Ex: Considere o teste de diferença de média entre duas amostras
com o Z=0,68.
Olhando na tabela encontramos a probabilidade 25,17, multiplicando
por 2 temos 50,34% de acerto.
O P-valor é de 49,66% (100-50,34)
Isto significa que se rejeitarmos H0 estariamos errando a uma probabilidade
de 49,66%. Assim, não rejeitamos H0 e dizemos que a diferença entre as
médias amostrais não é significativa.
Obs: estas médias podem ser matematicamente diferentes, mas esta
diferença é devida a erro amostral.
Passos para o teste de diferença de médias
1o passo: Obter as médias amostrais
2o passo: achar o desvio padrão de cada amostra
3o passo: Calcular o erro padrão de cada média
4o passo:Achar a diferença do erro padrão das médias
5o passo: Achar a estatística Z
6o passo: Usando a tabela obter a probabilidade de acerto
7o passo: subtrair de 100% a probabilidade de acerto para achar o
P-valor.
Comentários Finais

Aula de hoje: aprendemos a realizar a avaliação de impacto
quando a seleção entre tratados e não-tratados foi aleatória.

Próxima aula: iremos aprender a fazer a avaliação de impacto
quando a seleção entre tratados e não-tratados não foi aleatória.