Avaliação em um Mundo Real
Desenhando Avaliações sob restrições
orçamentárias, de tempo, de informação e políticas
III Seminário da Rede Brasileira de
Monitoramento e Avaliação
Brasília, DF, Brasil
01 de junho de 2011
Workshop Coordenado por
Jim Rugh
A apresentação é um resumo do capítulo do livro que
está disponível em :
www.RealWorldEvaluation.org
Traduzida para o portugues por Marcia Joppert
1
Objetivos do Workshop
1. Os sete passos do enfoque da Avaliação em um
Mundo Real para responder a assuntos comuns e
restrições enfrentadas por avaliadores, tais como:
quando o avaliador é convocado não momento de
finalização do projeto e não existe linha de base
nem grupo de comparação; ou quando a avaliação
tem que ser realizada com um orçamento
inadequado ou prazo insuficiente; e quando
existem pressões políticas e expectativas a
respeito de cómo a avaliação deveria ser conduzida
ou quais deveriam ser as conclusões.
2
Objetivos do Workshop
2.
3.
4.
5.
Definir qual deveria ser o impacto da avaliação;
Identificar e analisar várias opções de desenho que
poderiam ser usados em um contexto particular de
avaliação;
Maneiras de reconstruir a linha de base quando a
avaliação inicia quando o projeto já está muito avançado
ou finalizado;
como minimizar as ameaças à validade ou adequação
usando uma apropriada combinação de enfoques
qualitativos e quantitativos (métodos mistos) em relação
a um contexto específico de Avaliações em um Mundo
Real.
3
Objetivos do Workshop
Nota: Este workshop tem como foco a
avaliação de impactos em projetos.
Naturalmente, há muitas outras propostas,
escopos e tipos de avaliação. Alguns desses
métodos podem ser aplicáveis a eles, mas
nossos exemplos se basearão em
avaliações de impacto de projetos,
principalmente no contexto de países em
desenvolvimento.
4
Agenda de Trabalho
1.Introdução [10 minutos]
2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos]
3. Apresentação de participantes em pequenos grupos e intercâmbio de
experiências relacionadas com a AMR. [30 minutos]
4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias
para resolver as restrições de tempo e orçamentos [75 minutos]
--- intervalo curto [15 minutos]--5. AMR (passo 4): Enfrentando restrições de informação [30 minutos]
6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30
minutos]
--- almoço [60 minutos] --7. Métodos qualitativos, quantitativos e mistos [20 minutos]
8. Os grupos completam a preparação dos estudos de caso. Exercícios
sobreTermos de Referência (TORs) [30 minutos]
9. Negociação de Termos de Referência entre gurpos [60 minutos]
10. Resultados do exercício [15 minutos]
11. Conclusão das discussões. Avaliação do workshop [30 minutos]
Avaliação em um Mundo
Real
Desenhando Avaliações sob restrições
orçamentárias, de tempo, de informação e
políticas
Resumo do enfoque AMR
6
Cenários de Avaliação em um
Mundo Real
Cenário 1: avaliadores não participam até quase o
final do projeto
Por razões políticas, técnicas ou orçamentárias:
• Não houve plano de avaliação do ciclo de vida
do projeto
• Não houve pesquisa de linha de base
• Os executores não coletaram informação
adequada sobre os participantes nem no início
nem durante a implementação do projeto
• É difícil conseguir informações de grupos de
controle comparáveis
7
Cenários da Avaliação em um
Mundo Real
Cenário 2: A equipe de avaliação é convocada
no início do projeto
Mas, por razões orçamentárias, políticas ou
metodológicas:
 A linha de base foi uma avaliação de
necessidades, não é comparável em uma
avaliação eventual
 Não foi possível coletar dados de linha de
base de um grupo de comparação
8
Checando a realidade – Desafios
da Avaliação do Mundo Real
•
•
•
•
•
•
Em geral, os formuladores de projetos não
pensam avaliativamente e a avaliação acaba
sendo desenhada ao final do projeto
Não houve linha de base; ao menos não uma com
dados comparáveis na avaliação
Não houve e nem pode haver grupos de
comparação/controle.
Tempo e recursos limitados para a avaliação
Os clientes têm suas próprias expectativas sobre o
que eles querem que os resultados digam
Muitos atores não entendem avaliação; não
confiam no proceso ou o vêm como uma ameaça
(não gostam de ser julgados)
9
Avaliação em um Mundo Real
Metas de Controle de Qualidade




Conseguir o máximo rigor possível na avaliação
dentro das limitações de um dado contexto
Identificar e controlar as debilidades metodológicas
no desenho de uma avaliação
Negociar com os clientes as vantagens e
desvantagens entre o rigor desejado e os recursos
disponíveis
A apresentação de achados deve reconhecer as
debilidades metodológicas e como estas podem
causar generalizações a outras
populações/comunidades
10
A necessidade da abordagem
Avaliação em um Mundo Real

Como resultado destas restrições , muitos dos
principios básicos para um rigoroso desenho de
avaliação de impacto são frequentemente
sacrificados, como por exemplo: pré-teste
comparável, desenho pós-teste, grupo de
controle, desenvolvimento e teste de
instrumentos adequados, seleção de amostra
aleatória, controle dos viéses dos
investigadores, minuciosa documentação da
metodologia de avaliação, etc.
11
A abordagem Avaliação em um
Mundo Real
um enfoque integrado para
assegurar padrões aceitáveis de
rigor metodológico enquanto se
trabalha sob restrições
políticas, orçamentárias, de
tempo e de informação .
Ver o livro RealWorld Evaluation
ou, ao menos, o capítulo resumo para mais detalhes
12
A abordagem Avaliação em um
Mundo Real

Desenvolvido para ajudar avaliadores e
clientes
• Gerentes de Projetos, agências de
financiamento e consultores externos


Um trabalho ainda em construção (continuse aprendendo a partir de workshops como
este)
Inicialmente desenhado para países em
desenvolvimento, mas igualmente aplicável
em países desenvolvidos
13
Desafios particulares da avaliação em
países em desenvolvimento






Falta de acesso ou inexistência de dados secundários
Escassos recursos locais para avaliação
Orçamentos limitados para avaliação
Restrições institucionais e políticas
Falta de uma cultura em avaliação (ainda quando as
associações de avaliação tentam dar resposta a esta
questão)
Muitas avaliações desenhadas por e em função dos
interesses das agências financeiras e raras vezes em
função das prioridades dos atores locais ou nacionais
14
Expectativas para avaliações
“rigorosas”
Apesar desses desafios, existe uma
crescente demanda por avaliações
metodologicamente “sérias”, capazes de
captar os impactos, a sustentabilidade e
a replicabilidade dos projetos e
programas de desenvolvimento.
(Falaremos disto mais tarde…!)
15
A maioria das ferramentas da Avaliação em
um Mundo Real não são novas, mas
promovem um enfoque holístico e integrado


A maioria das ferramentas para coleta e
análise de dados da abordagem Avaliação em
um Mundo Real serão familiares para
avaliadores experientes.
O que se enfatiza é um enfoque integrado, o
qual combina uma ampla gama de ferramentas
adaptadas para obter a melhor qualidade da
avaliação sob as restrições e condicionantes
do mundo real.
16
O que há de especial na abordagem
Avaliação em um Mundo Real?


Existe uma serie de passos definidos, cada
um com uma lista de verificação das
restrições e a maneira de enfrentá-las.
Esses passos estão resumidos no próximo
slide e depois em um fluxograma mais
detalhado.…
17
Os passos do Enfoque Avaliação
em um Mundo Real
passo 1: Planejar e definir o escopo da avaliação
passo 2: Abordar as restrições orçamentárias
passo 3: Abordar as restrições de tempo
passo 4: Abordar as restrições de Informação
passo 5: Abordar as restrições políticas
passo 6: Avaliar e abordar as fortalezas e
debilidades do desenho da avaliação
passo 7: Ajudar os clientes a usar a avaliação
18
A abordagem Avaliação em um Mundo Real
passo 1: Planejando e definindo o escopo da avaliação
A. Definir as necessidades de informação do cliente e comprender o contexto político
B. Definir o modelo teórico do programa
C. Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR
D. Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR
passo 2
Abordar restrições
orçamentárias
A. Modificar o desenho da
avaliação
B. Racionalizar necessidades
de informação
C. Pesquisar informações
secundárias confiáveis
D. Revisar o desenho amostral
E. Definir métodos
econômicos de coleta de
dados
passo 3
Abordar restrições de tempo
Todo o passo 2 + :
F. Realizar Estudos preparatórios
G. Contratar mais recursos
humanos
H. Revisar formatos de registro do
projeto para incluir dados críticos
para a avaliação de impacto.
I. Tecnologia moderna para coleta
e análise de dados
passo 6
Avaliar e abordar as fortalezas e debilidades do desenho de
avaliação
Uma lista de verificação integrada para desenhos multi-métodos
A. Objetividade/confirmabilidade
B. Replicabilidade/dependência
C. Validade interna/credibilidade/autenticidade
D. Validade externa/transferência/adaptabilidade
passo 4
Abordar restrições de
informação
A. Reconstruir linha de base
B. Recriar os grupos de
controle/comparação
C. Trabalhar con grupos de
controle não equivalentes
D. Coletar informação em
temas sensibles ou de grupos
difíceis de acessar
E. Uso de métodos múltiplos
passo 5
Abordar influências
políticas
A. Acomodar as pressões das
agências de financiamento ou
dos clientes sobre o desenho
da avaliação
B. Endereçar as preferências
metodológicas dos atores
sociais
C. Reconhecer a influência
dos paradigmas de
investigação profissional .
passo 7
Ajudar os clientes a usar a avaliação
A. Utilização
B. Aplicação
C. Orientação
D. Ação
19
tempo para discussão em
grupos
20
1. Apresentação de cada
participante
2. Que restrições destes
tipos vocês enfrentaram
em suas prática de
avaliação ?
3. Como lidaram com elas?
21
Avaliação em um Mundo
Real
Desenhando avaliações sob restrições
orçamentárias, de tempo, de informação e
políticas
passo 1
Planejando e definindo o
escopo da avaliação
22
Passo1: Planejando e definindo o
escopo da avaliação



Comprender as necessidades de
informação dos clientes
Definir o modelo teórico do programa
Identificação preliminar de restrições a
serem endereçadas pela Avaliação em
um Mundo Real
23
A. Comprendendo as necessidades
de informação do cliente
Perguntas típicas que os clientes desejam
responder:





O projeto está alcançando seus objetivos?
Está tendo o impacto desejado?
Todos os setores da população-alvo estão
sendo beneficiados?
Os resultados serão sustentáveis?
Que fatores contextuais determinam o grau
de êxito ou fracasso?
24
A. Comprendendo as necessidades
de informação do cliente
Uma completa compreensão das
necessidades de informação do cliente
frequentemente reduzem os tipos de
informação coletada, o nível de detalhe e o
rigor necessário.
No entanto, esta completa compreensão
também pode incrementar a quantidade de
informação requerida!
25
B. Definindo o modelo teórico
do Programa


Todos os programas baseiam-se em um
conjunto de pressupostos (hipóteses) acerca
de como as intervenções deveriam contribuir
para o alcance dos resultados desejados.
Às vezes isso está claramente explicitado
nos documentos de projeto.
Às vezes está apenas implícito e o avaliador
tem que ajudar os diferentes atores a
articularem as hipóteses através de um
modelo lógico.
26
B. Definindo o modelo teórico do
Programa

Definir e testar os pressupostos críticos são
elementos essenciais (mas frequentemente
ignorados) do modelo da teoria de programas.

O slide a seguir mostra um exemplo de um
modelo para avaliar os impactos do microcrédito no empoderamento social e econômico
de mulheres
27
Hipóteses críticas da cadeia lógica em um
programa de micro-crédito com inclusão
de gênero




Sustentabilidade
• Mudanças estruturais contribuirão com impactos de longo prazo.
Impactos de médio e longo prazo
• Incremento do empoderamento econômico e social das mulheres.
• Melhora do bem-estar econômico e social das mulheres e suas
famílias.
Resultados a curto prazo
• Se as mulheres obtêm empréstimos, elas iniciarão atividades
geradoras de renda.
• As mulheres serão capazes de controlar o uso dos empréstimos e
pagá-los.
Produtos
• Se há oferta de crédito, as mulheres estarão dispostas e aptas a
obter empréstimos e assistência técnica.
28
Consequências
Consequências
Consequências
PROBLEMA
CAUSA
PRIMARIA 1
CAUSA
PRIMARIA 2
Causa Secundaria
2.1
Causa Secundaria
2.2
Causa Terciaria
2.1.1
Causa Terciaria
2.2.2.
CAUSA
PRIMARIA 3
Causa Secundaria
2.3
Causa Terciaria
2.2.3.
Consequências
Consequências
Consequências
IMPACTO DESEJADO
RESULTADO
1
PRODUTO 2.1
RESULTADO
2
RESULTADO
3
PRODUTO 2.2
PRODUTO 2.3
Intervenção
Intervenção
Intervenção
2.2.1
2.2.2
2.2.3
Redução da Pobreza
MULHERES EMPODERADAS
Mulheres em
funções de
liderança
Melhores
políticas
educacionais
Pais
estimulados
a mandar
suas filhas
para a
escola
Mulheres jovens
educadas
Aumento da
participação das
mulheres
Construção
de escolas
Oportunidades
Econômicas
para mulheres
Melhora nos
currículos
Contratação e
remuneração
justa de
professores
Para ter sinergia e gerar impactos tudo isso precisa envolver
O mesmo público alvo.
Objetivo do Programa:
mulheres jovens instruídas
Promoção do
Objetivo do
projeto :
Políticas
educacionais
melhoradas
PRESSUPOSTO
(que outros farão isto)
Objetivos
constructivos
do projeto Mais
salas de aula
construídas
Objetivos de
formação de
educadores:
Melhorar a
qualidadr do
currículo
NOSSO
projeto
PARCEIROS farão isto
Objetivos de Programa em nivel de impacto
O Que é preciso para medir
indicadores em cada nível?
Impacto: Pesquisa junto à população
(avaliação da linha de base e da linha final)
Resultados: Mudanças de comportamento dos participantes
(Pode ser checado anualmente)
Produto: Medido e reportado pela equipe do projeto
(anualmente)
Actividades: Durante (monitoramento da intervenção )
Insumos: Durante (acompanhamento financeiro)
Nós precisamos reconhecer qual processo
avlaiativo é mais apropriado para a
medição em diferentes níveis
• Impacto
• Resultados
• Produtos
• Atividades
• Insumos
AVALIAÇÃO de IMPACTO
AVALIAÇÃO do Projeto
MONITORAMENTO do
DESEMPENHO
Uma forma de Modelo Teórico (lógico) de um Programa
Contexto
Econômico no qual
opera o projeto
Desenho
Insumos
Contexto
institucional e
operacional
Contexto Político
no qual opera o
projeto
Proceso
de
Implementação
Produtos
Resultados
Impactos
Sustentabilidade
Características sócio-econômicas e culturais das
populações afetadas
Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de
programas. Os quadros azuis agregados permitem uma análise mais completa
35
36
Expandindo a cadeia de resultados para um programa com multifinanciadores e multi-componentes
Impactos
Resultados
Intermediários
Produtos
Insumos
Renda familiar
rural
aumentada
Produção
aumentada
Crédito para
pequenos
produtores
Financiador 1
Participação
política
aumentada
Acesso a
emprego não
agrícola
Estradas em
zonas rurais
Governo
Desempenho
educacional
melhorado
Aumento do nº
de matrículas na
escola
Escolas
Saúde
melhorada
Aumento do uso
de serviços de
saúde
Serviços de
Saúde
outros financiadores
Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições
plausíveis de cada intervenção.
Lógica de uma Intervenção Educacional
Grupo de
produtos
Impactos
específicos
Resultados
Melhor alocação
de recursos
educacionais
Gestão
institucional
Aumento
asequibilidad
Educativa
Qualidade da
Educação
Crescimento
Económico
Incremento de
habilidades e
aprendizado
ODM 2
Acesso
equitativo a
educação
Maior
participação da
Sociedade
Servicios
Educacionais
ODM 3
Emprego ótimo
Redução da
Pobreza
ODM 1
Desenvolvimento
Social
ODM 2
Saúde
Impactos
Globais
Planejamento familiar
e seguros de saúde
melhorados
Materiais
educativos e
Currículo
Emprego e
capacitação
educadores
Impactos
Intermediários
Melhores
oportunidades
de Renda
Fonte: OECE/DAC Network on Development Evaluation
Então, o que deveríamos incluir em uma
“avaliação de impacto rigorosa”?
1.
Relação causa-efeito direta entre um produto (ou um
limitado número de produtos) e um resultado que pode ser
medido ao final do projeto ?  Atribuição muito clara.
… Ou …
2.
Mudanças em indicadores de alto nível de melhorias
sustentadas na qualidade de vida da população, ex: os
ODMs (Objetivos de Desenvolvimento do Milenio)? 
Mais significativos, mas muito mais difícil analisar la
atribução .
39
Então, o que deveríamos incluir em uma
“avaliação de impacto rigorosa”?
OECD-DAC (2002: 24) define impacto como “os efeitos de
longo prazo, positivos e negativos, primários e
secundários, produzidos por uma intervenção de
desenvolvimento, direta ou indiretamente, esperados ou
não. Tais efeitos podem ser econômicos, socio-culturais,
institucionais, ambientais ou de outros tipos”.
Isto menciona ou implica em atribuição direta?, ou
ressalta a necessidade de estabelecer grupos de controle
(contrafactuais) ou Ensaios Aleatórios de Controle
(RCTs)?
40
Chegando a um acordo sobre que níveis do
modelo lógico incluir na avaliação


Este pode ser um tema delicado: em geral, não
agrada a equipe de projeto ter responsabilidade
além de produtos, enquanto que os financiadores
(e o púbico-alvo) podem insistir em avaliar
resultados de mais alto nível.
Se a correlação entre efeitos intermediários e
impactos foi adequadamente estabelecida em
estudos e avaliações prévios, então aferir
indicadores intermediários pode ser suficiente,
uma vez que os contextos podem mostrar-se
suficientemente similares para que tais
correlações causa-efeito sejam consideradas
testadas
41
Definição de avaliação de Programas
Avaliação de Programa é a coleta sistemática de
informação acerca das atividades, características e
resultados de um programa para realizar julgamentos,
melhorar ou desenvolver a sua efetividade, subsidiar
futuras tomadas de decisões e aumentar a compreensão
sobre a intervenção .
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39
42
Alguns Propósitos da Avaliação de Programas

Formativa: aprendizagem e melhoria, incluindo a identificação
antecipada de possíveis problemas

Geradora de Conocimiento: identificaras relações de causaefeito e princípios gerais acerca da efetividade.

Prestadora de Contas: demonstra que os recursos foram
usados eficientemente para obter os resultados esperados

Juízos Somativos: determina o valor e o futuro do programa

Avaliação do Desempenho: adaptação em condições
complexas, emergentes e dinámicas
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140
43
Determinando um desenho de
avaliação apropriado e viável

Com base no principal propósito de
conduzir uma avaliação, na
compreensão das necessidades de
informação do cliente, no nivel de rigor
requerido e o que é viável dadas as
restrições, o avaliador e o cliente têm
que determinar que desenho de
avaliação é requerido e possível sob as
circunstâncias.
44
Algumas considerações para o
desenho de uma avaliação
1: Quando se realizam os eventos de
avaliação? (linha de base, avaliação
intermediária, avaliação final)
2. Análise de diferentes desenhos de avaliação
(experimentais, quasi-experimentais, outros)
3: Nível de rigor desejado
4: Métodos qualitativos e quantitativos
5: um desenho de avaliação basado no “ciclo
de vida” do projeto.
45
Uma Introdução a vários desenhos de avaliação
iIustrando a necessidade de desenhos de avaliação quasiexperimentais e de séries de tempo ou longitudinais
Participantes do projeto
Grupo de
comparação
linha de base
Escala do principal indicador de impacto
Avaliação Final
do projeto
avaliação
pós projeto
46
OK, vamos dar uma paradinha
para identificar cada um dos
principais tipos de desenho
de avaliação (investigação )
…
… um de cada vez, começando
pelo desenho mais rigoroso.
47
Antes de tudo; a chave dos símbolos tradicionais:




X = Intervenção (tratamento), ou seja: que
faz o projeto numa comunidade?
O = Evento de Observação (ex: linha de
base, avaliação intermediária, avaliação final
do projeto)
P (fila superior): Participantes do Projeto
C (fila inferior): Grupo de Comparação (ou
de controle)
Nota: os 7 desenhos de AMR se encontram na página 41 do documento
resumo do livro Avaliação em um Mundo Real
48
desenho # 1: Quasi-experimental Longitudinal
P1
X
C1
P2
X
C2
P3
P4
C3
C4
Participantes do
Projeto
Grupo de comparação
Linha
Interme-
Avaliação Final
de base
diário
Do Projeto
avaliação
posterior de
Projeto
49
Desenho # 2: Quasi-experimental (pre+pós, com comparação )
P1
X
P2
C1
C2
Participantes do
Projeto
Grupo de Comparação
Linha de
base
Avaliação Final
Do Projeto
50
Desenho #2+: Teste de Controle Aleatório
P1
X
P2
C1
Participantes de
Projeto
C2
Temas de investigação
selecionados
aleatoriamente seja
para o grupo de
projeto ou o grupo de
controle
Grupo de Controle
linha de base
Avaliação Final
do Projeto
51
desenho #3: Longitudinal Truncado
X
P1
C1
X
P2
C2
Participantes de
Projeto
Grupo de
Comparação
Intermediária
Avaliação Final
do Projeto
52
desenho #4: Pre+pós do Projeto; comparação só posterior
P1
X
P2
C
Participantes do
Projeto
Grupo de
Comparação
Linha de
base
Avaliação Final
do Projeto
53
Desenho #5: apenas pós-teste do Projeto e comparação
X
P
C
Participantes do
Projeto
Grupo de
Comparação
Avaliação Final
do Projeto
54
Desenho # 6: Pre+posterior do Projeto; sem comparação
P1
X
P2
Participantes do
projeto
linha de base
Avaliação Final do
Projeto
55
desenho #7: Pós-teste apenas de Participantes do Projeto
X
P
Participantes do
projeto
Avaliação Final do
Projeto
56
D
e
s
e
n
h
o
T1
(linha de
base)
T2
X
T3
T4
(intervenção
(Linha Final)
(posterior)
X
P3
C3
P4
C4
X
P2
C2
X
P2
C2
X
X
P2
C2
X
X
P1
C1
X
X
P2
X
X
P1
X
(intervenção )
cont.)
1
P1
C1
X
2
P1
C1
X
3
4
X
P1
5
6
7
P1
(momento
intermediário)
P2
C2
P1
C1
57
Atribução e contrafactuais
Como saber se as mudanças
observadas nos participantes do Projeto
ou comunidade
•
renda, saúde, atitudes, assistência escolar, etc.
se devem à implementação do projeto
•
crédito, abastecimento de água, vale-transporte,
construção de escolas, etc.
ou a outros fctores não relacionados?
•
Mudanças na economia, mudanças demográficas,
outros programas de desenvolvimento, etc.
58
O contrafactual

Que mudanças teriam ocorrido na
condição da população alvo se
não houvesse existido a
intervenção através deste Projeto
?
59
Onde está o contrafactual?
Depois de viver por 3 anos em
novas casas (obtidas a partir do
Projeto), um estudo descobriu
que sua renda cresceu 50 %
Isto mostra que as casas são
uma maneira efetiva para elevar
a renda?
60
Grupo de projeto . Melhora em
50%
I n c o
Ingreso
m e
Comparando o Projeto com dois
possíveis grupos de comparação
Cenário 2. 50% de melhorana
renda do grupo de comparação.
Não há evidência de impacto
do Projeto
750
500
Cenário1. Renda do grupo de
comparação não melhora.
Potencial evidência de
impacto do Proejto
250
2004
2009
Grupo de Controle e Grupo de Comparação


Grupo de controle = atribuição aleatoria de temas a
grupos do Projeto e grupos sem ‘tratamento’
Grupo de Comparação = procedimento separado
de amostragem para grupos beneficiados (do
Projeto) e sem tratamento (não beneficiários),
grupos que são praticamente idênticos salvo pelo
tratamento (intervenção)
62