IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação
Rio de Janeiro, Agosto 13 2012
Avaliações do Método Misto: Oportunidades e Desafios
SesSÃO 3
ESTUDOS DE CasO ILUSTRAndo aplicações dos
projetos de métodos mistos
Michael Bamberger e Thomaz Chianca
Resumo da Sessão
2
Avaliar a eficácia do Programa de Reforma Gram
Panchayat na Índia: um projeto de método misto
mais complexo e caro
2. Avaliar os impactos do projeto Heifer
International: uma abordagem mais simples e mais
econômica para avaliar grandes projetos sendo
implementados em muitos locais diferentes
3. Discussão do uso de métodos mistos nas avaliações
ADB
1.
Caso 1. Avaliar o Programa de Reforma Gram Panchayat
na Índia [Apostila 6-1]
3
 Finalidade do programa
 Transferir poder para governantes da vila eleitos
democraticamente (gram panchayats – GP)
 Maior envolvimento de mulheres e castas programadas
 Criar “espaço deliberativo” através de reuniões duas vezes ao
ano para discutir anti-pobreza e outros programas principais
 Aumentar a eficácia da utilização de fundos através de maior
participação da comunidade
4
 Finalidade da avaliação
 Avaliar a eficácia do programa em Kerala, um dos estados mais
progressistas socialmente
 Comparar com a vizinhança Karnataka, que pontua muito
mais no desenvolvimento social, para avaliar quão
amplamente o modelo pode ser replicado.
5
 O tratamento do programa





O “tratamento” sendo avaliado é um programa de treinamento de 2
semanas para cidadão sobre o planejamento participativo e tomada
de decisão
Tratamento e áreas de controle aleatoriamente selecionados
Uma reunião é realizada após 2 semanas para finalizar prioridades e
discutir com oficiais do governo local
Um acordo de implementação é assinado onde os financiamentos
está comprometido e suporte técnico é fornecido
Os GPs são monitorados com 2 visitas por dia no mês para
assegurar que o programa está no caminho certo
O projeto de avaliação do método misto: Avaliar a Eficácia do
Progrma de Reforma Gram Panchayat em Promover Descentralização
Democrática na Índia
Quant
Qual
Quant
Qual
O
“tratame
nto”
Seleção de
l00 GP com
atribuição
aleatória
para projeto
e controle
Pesquisa
exploratória
em posse de
terra,
propriedade
de bens
públicos,
participação e
redes sociais
• Programa de
treinamento e
acordo de
financiamento/
suporte técnico
com conselhos
locais
•
Monitoramento
mensal para
assegurar que
está no caminho
certo
Pesquisa de
base antes do
programa de
treinamento
6
Quant
Triangulação para
comparar estimativas
QUANT e QUAL das
mudanças/impactos
Análise do
processo em
profundidad
e em 5
projetos e 5
vilas de
controle
durante o
período de 2
anos
Estudo de
base repetido
após 2 anos
O projeto de avaliação do método misto
7
 Pesquisa de base em 200 vilas de controle e
tratamento selecionadas aleatoriamente




Qualidade e quantidade de bens públicos
Casta
Desigualdade de propriedade de terra
Entrevistas em profundidade com políticos da vila e oficiais
locais
 20 famílias selecionadas aleatoriamente de cada vila
para o questionário sobre o estado socioeconômico,
preferências para bens públicos, participação política
e redes sociais
8
 Pesquisa repetida com as mesmas vilas e famílias foi
realizada novamente com os mesmos instrumentos.

Isto fornece um estudo de controle randomizado dos efeitos do
programa “tratamento”
9
 Análise do processo de implementação do projeto
 Um subconjunto de 5 GPs de tratamento e controle foi
selecionado a partir da amostra de pesquisa quantitativa
 Investigadores qualitativos visitaram cada GP por 1-2 dias a
cada semana durante o período de 2 anos para observar:
Dinâmica política e social
 Corrupção
 Mudança econômica
 Afiliação de rede


O estudo qualitativo fornece uma verificação independente nas
estimativas de pesquisa quantitativa da mudança/impactos

Também fornece informações mais profundas para complementar
e ilustrar as descobertas da pesquisa
Caso 2: Avaliar os impactos da construção da estrada rural
em Eritrea [Apostila 6-2]
10
 Finalidade do programa
 Um grande número de estradas rurais foi construído para ligar
vilas remotas à rede de estrada principal
 Os objetivos foram:
Ligar fazendeiros aos mercados
 Acesso à comida mais barata
 Acesso à escolas e clínicas
 Promover oportunidades para pequenas empresas

11
 Finalidade da avaliação
 Para avaliar os impactos das estradas rurais sobre os
rendimentos agrícolas, preços da comida, acesso às escolas e
clínicas de saúde, promoção de pequenas empresas e redes
sociais
 Avaliar a eficácia da implementação e planejamento
participativo da construção da estrada rural em termos de
planejamento de rotas de estrada, custos e sustentabilidade
Avaliar os impactos sociais e econômicos das estradas rurais em
Eritrea
Quant
Entrevistas com
amostra estratificada de
famílias afetadas pela
estrada
Qual
Análise do processo
utilizando
observação,
informantes chave e
entrevistas em
profundidade para
observar os
impactos da estrada
em diferentes
estágios durante a
construção
12
Quant
• Coleta de secundários
nas escolas, clínicas de
saúde e mercados
agrícolas
• Reptir entrevistas
após a conclusão da
estrada
Qual
Entrevistas com
informante chave em
escolas, centros de
saúde e mercados
agrícolas em áreas de
comparação.
O projeto de avaliação do método misto para o
programa de estradas de Eritrea
13
 A avaliação foi baseada em um modelo teórico do
programa
 Uma pesquisa quantitativa foi realizada com uma
amostra de famílias em vilas do projeto durante e
após a construção da estrada
 Nenhum grupo de comparação estatística foi usado
(já que não foi possível identificar áreas de
comparação)
 Estimativas de base foram obtidas para áreas do
projeto combinando recordação das entrevistas com
informante chave e dados secundários
14
 Estimativas para áreas de comparação antes e depois
que o projeto foi obtido pela combinação de:



Dados secundários de escolas e clínicas de saúde na mesma
área que não tinha acesso à estrada
Dados secundários dos mercados agrícolas que serviriam tanto
o projeto quanto as áreas de controle
Entrevistas do informante chave com professores, equipe da
clínica de saúde, etc.
 Análise do processo foi usada para observar as
alterações que ocorreram durante as diferentes fases
de implementação do projeto:

Entrevistas com informante chave e observação