IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação
Rio de Janeiro, Agosto 13 2012
Avaliações baseadas em Métodos Mistos:
Oportunidades e Desafios
SESSÃO 2
OS BENEFÍCIOS DA
AVALIAÇÃO BASEADA EM
MÉTODOS MISTOS
MICHAEL BAMBERGER
E
THOMAZ CHIANCA
Resumo
2
1.
2.
3.
4.
5.
O que é um projeto de avaliação que utiliza
métodos mistos?
Entendimento de como as intervenções para o
desenvolvimento realmente funcionam
Pontos fortes e limitações dos projetos de
avaliação com abordagem quantitativa
Pontos fortes e limitações dos projetos de
avaliação com abordagem qualitativa
Os benefícios potenciais de uma abordagem
baseada em métodos mistos para MDS
1.
O que é um desenho de avaliação baseado em métodos mistos?
3
 Uma avaliação baseada em métodos mistos:
 Baseia-se em ferramentas e técnicas de pelo menos duas
disciplinas de ciência social para definir hipóteses, desenho de
avaliação, coleta de dados, análise e interpretação
 Geralmente combina abordagens quantitativa e qualitativa
 Uma abordagem integrada que combina sistematicamente as
ferramentas e técnicas de cada disciplina em todos os estágios
da avaliação
 A equipe geralmente envolve profissionais de cada disciplina
 Requer um estilo de gerenciamento proativo que aborde os
desafios [veja a Seção 9] de usar estas abordagens e que sejam
aproveitados de forma completa os benefícios metodológicos e
teóricos de cada abordagem.
2. Nenhum único desenho de avaliação pode entender completamente
como os programas de desenvolvimento operam no mundo real
4
1.
2.
3.
4.
5.
6.
Programas operam em ambientes desafiadores e complexos
– a maioria dos desenhos de avaliação não pode avaliar as
interações entre os diferentes elementos do sistema
Intervenções são afetadas por fatores históricos, culturais,
políticos, econômicos e vários outros fatores – os quais
exigem metodologias de avaliação diferentes
Até mesmo intervenções “simples”, muitas vezes, envolvem
processos complexos de mudança comportamental e
organizacional
Programas mudam em resposta a como eles são percebidos e
recebidos por diferentes setores da população alvo
Diferentes tipos de indicadores são necessários para medir
diferentes tipos de mudanças
Muitos processos e resultados são difíceis de observar e
medir.
5
Nenhuma
metodologia pode
abordar todas estas
questões
Isto explica o interesse de
crescimento em avaliações
baseadas em métodos
mistos
3. Pontos fortes e limitações de desenhos de avaliação
quantitativa
6
Premissas chave para a maioria das abordagens QUANT
O mundo consiste de “fatos sociais” que podem ser
observados, medidos e analisados
O avaliador é um “objetivo” elemento externo
Programas podem ser estudados independentemente
dos seus contextos
Relações de causa e efeito podem ser identificadas
Mudanças/efeitos podem ser quantificados e
submetidos a análises estatísticas
Métodos quantitativos (cont)
7
Métodos de coleta de dados
 Pesquisas estruturadas (domicílios, propriedades
rurais, uso de transporte, etc.)
 Observação estruturada
 Métodos antropométricos
 Teste de comportamento e aptidão
Pontos fortes e deficiência dos métodos quantitativos
Pontos fortes
 Possibilidade de





generalização
Representatividade
estatística
Estima magnitude e
distribuição dos impactos
Documentação clara dos
métodos
Abordagem padronizada
Controle estatístico de
vieses e fatores externos
Deficiência
 Pesquisas podem não





capturar diversos tipos de
informação
Não funciona bem para
grupos de difícil alcance
Nenhuma análise de
contexto
Abordagem de pesquisa
pode alienar respondentes
Longo prazo para obter
resultados
Redução a dados pode
causar perda de
informações
8
Uma análise mais detalhada das limitações dos desenhos
de avaliação de impacto estatísticos [Apostila 2-1]
9
Problemas do desenho de avaliação
 Construir validade
 Descontextualizar a avaliação
 A “caixa preta”
 Inflexibilidade aos desenhos convencionais
 Adequação da estrutura de amostragem
 Horizonte de tempo incerto
 Resultados e eventos imprevistos
10
Problemas que podem ocorrer na coleta de dados
 Problemas com a validade do indicador
 Atingir grupos difíceis de encontrar
 Coletar informações sobre tópicos sensíveis
 Ignorar informações sobre o contexto
 Assegurar grupo de controle bem pareado
 Perda do grupo de controle (dificuldade para
acompanhar o grupo de controle)
 Dados de linha de base inadequados
11
Questões relativas à análise e uso
 Dificuldade em generalizar achados para outras
configurações
 Longos atrasos em produzir informações úteis
4. Pontos fortes e limitações dos desenhos de avaliação
qualitativos
12
Premissas chave para a maioria das abordagens QUAL
A perspectiva do pesquisador é uma parte integrante do
que está sendo registrado sobre o mundo social
Distanciamento científico não é possível
Significados atribuídos às situações e fenômenos sociais
devem ser entendidos
Programas podem não ser estudados
independentemente dos seus contextos.
Causa e efeito podem não ser definidos e as mudanças
devem ser estudadas holisticamente.
Métodos de coleta de dados qualitativos
13
 Entrevistas
 Estruturadas
 Semiestruturadas
 Não estruturadas
 Grupos focais
 Entrevistas com a comunidade
 PRA (Participatory Rapid Appraisal, Avaliação de
Participação Rápida)
 Registros de áudio
Métodos de coleta de dados qualitativos (cont)
14
 Sobre as Observações
 Observação participante
 Observação estruturada
 Observação não estruturada
 Registros de fotografia e vídeo
 Análise de documentos e artefatos
Pontos fortes e debilidades dos métodos de avaliação
qualitativos
Pontos fortes
 Flexibilidade para evoluir
 Amostragem foca nos




objetos/ sujeitos de alto valor
Foco holístico (“a grande
figura”)
Múltiplas fontes fornecem
entendimento complexo
Relatórios narrativos mais
acessíveis para não
especialistas
Triangulação reforça a
validade dos achados
Deficiência
 Falta de clareza no desenho




pode frustrar os clientes
Dificuldade de generalização
Múltiplas perspectivas –
difícil de alcançar consenso
Fatores individuais não
isolados.
Métodos interpretivistas
parecem subjetivos demais
15
• Vaja a Apostila 2-2 para uma
comparação das abordagens
QUANT e QUAL para diferentes
estágios da avaliação
• Apostila 2-3 como as
abordagens QUANT e QUAL
complementam-se a cada
estágio de uma avaliação
• Apostila 2-4 elementos de
uma abordagem de pesquisa
utilizando métodos mistos
16
5. Os benefícios potenciais de uma abordagem baseada em
métodos mistos
17
 Promove a integração de diferentes perspectivas
disciplinares em todos os estágios da avaliação
 Entender como fatores contextuais locais ajudam a
explicar variações nos resultados e implementação dos
programas
 Reconstruir dados de linha de base, particularmente para
avaliações QUANT.


Uma ferramenta valorosa quando a avaliação começa tarde no
projeto e nenhum dado da linha de base foi coletado
Também valiosa quando dados secundários (usado como linha de
base proxy) não incluem informações críticas (variáveis omitidas e
não observáveis) em, por exemplo:
Experiências prévias participantes que podem afetar resultados
 Características pessoais (como motivação ou auto confiança) ou
domiciliares que podem afetar os resultados

Benefícios potenciais (cont)
18
 Reforçar a representatividade de estudos QUAL em
profundidade para assegurar sua integração com
coleta e análise se dados QUANT
 Avaliar a validade de diferentes tipos de dados,
incluindo aqueles a serem coletados em pesquisas
QUANT
 Triangulação é uma ferramenta poderosa para
aumentar a validade dos dados e para enriquecer o
entendimento e interpretação de diferentes fontes de
dados em contextos de programas complexos