IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação
Rio de Janeiro, Agosto 13 2012
Avaliações baseadas em Métodos Mistos:
Oportunidades e Desafios
SessÃo 8
GERENCIAndo AVALIAÇÕES DOS MÉTODOS
MISTOS
Michael Bamberger
E
Thomaz Chianca
Resumo da Sessão
2
1.
2.
3.
4.
5.
6.
7.
Avaliações baseadas em métodos mistos requerem uma
abordagem especial no seu gerenciamento
Composição da equipe de pesquisa
Gerenciando as abordagens de métodos mistos durante
o desenho da avaliação
Assegurando o uso de métodos mistos durante a coleta
de dados
Gerenciando a análise de dados
Promovendo a disseminação e uso dos achados e
recomendações
Desafios especiais
2. Composição da equipe de avaliação
3
 A equipe de pesquisa frequentemente irá requerer
pesquisadores principais de duas ou mais disciplinas
diferentes

É importante selecionar as pessoas certas, particularmente em áreas
de especialização onde a agência tem experiência limitada
 Tempo adicional pode ser exigido para formação da
equipe e para permitir que os membros da equipe se
familiarizem com as abordagens das diferentes
disciplinas
 Há risco de que membros de novas disciplinas sejam
marginalizados ou tratados com alguma reserva
 O gerente tem um papel importante em construir
respeito e compreensão
2. Composição da equipe de avaliação
4
 A equipe de pesquisa frequentemente requer
pesquisadores principais de duas ou mais disciplinas

É importante selecionar as pessoas certas, particularmente em áreas
de especialização onde a agência tem experiência limitada
 Tempo adicional pode ser exigido para formação da
equipe e permitir que os membros da equipe tornem-se
familiares com as abordagens de diferentes disciplinas
 Há um perigo de que os membros de novas disciplinas
possam ser marginalizados ou tratados com alguma
desconfiança
 O gerente tem um papel importante em construir o
respeito e entendimento
3. Cuidados durante o desenho da avaliação
5
 Suporte gerencial pode ser necessário para assegurar que o
desenho da avaliação inclua todas as disciplinas envolvidas

Questões de pesquisa devem ser elaboradas considerando todas as
disciplinas
 Este é um desafio especial para organizações que têm
tradicionalmente uma forte orientação QUANT ou QUAL
 Ex: Diferentes disciplinas tem diferentes posturas em
relação a usar ou não “teorias de mudança” (TOC). Se a
avaliação for baseada em uma TOC, isto frequentemente
exigirá suporte gerencial para assegurar que todos os
membros da equipe entendam, e estejam de acordo com a
abordagem.
4. Cuidados na coleta de dados
6
 A decisão de utilizar coleta de dados sequencial ou
paralela é tanto técnica quanto gerencial


Coleta de dados paralela pode economizar tempo e dinheiro, mas é
logisticamente mais difícil e exige gerenciamento mais eficiente
Coleta de dados sequencial pode ser mais fácil de gerenciar e pode
funcionar melhor com equipes inexperientes em abordagens MM
 Gerenciamento eficiente é requerido para assegurar
coordenação tranquila entre diferentes equipes de coleta
de dados e para evitar conflitos desnecessários.
 Todas essas questões podem ser particularmente
desafiadoras em áreas rurais ou onde há problemas com
segurança, uma vez que a logística que deve ser
coordenada de forma muito eficiente.
5. Cuidados na análise de dados
7
 Avaliações QUANT e QUAL têm diferentes abordagens para
análise de dados


Análise de dados QUAL é realizada em paralelo com a coleta
de dados
Análises QUANT geralmente não começam até que todos os
dados sejam coletados
 Análises de dados preliminares QUANT e QUAL alimentam
os próximos estágios da coleta de dados e o feedback deve
ser gerenciado de forma eficiente para evitar atrasos
 Um plano de análise de dados deve ser desenvolvido já
durante as primeiras etapas da avaliação
[Gerenciando análise de dados continuação]
8
 Triangulação é um elemento chave de MM e os gerentes da
avaliação devem assegurar que estes procedimentos sejam
incorporados como uma parte importante em toda a análise
e coleta de dados

Isto não é geralmente feito, portanto atenção é requerida.
 Procedimentos de controle de qualidade são críticos

Isto é mais desafiador conforme os diferentes procedimentos
de controle de qualidade são exigidos para os dados QUANT e
QUAL
 O uso de uma lista de verificação integrada relativa a riscos
à validade é recomendada
6. Cuidados na disseminação e uso dos achados
9
 Relatórios de avaliação baseadas em MM muitas vezes
focam uma gama mais ampla de atores


Isso pode exigir novos métodos de disseminação
Pode ser mais difícil distribuir relatórios para as ONGs e
sociedade civil do que apenas para doadores e agências
governamentais (ou vice-versa)
 Pode ser necessário negociar com o governo a disseminação
do relatório para públicos externos

Em alguns países isto pode ser muito sensitivo
 Necessidade de traduzir relatórios para idiomas locais
[Cuidados na disseminação e uso de achados, continuação]
10
 O relatório narrativo deve ser estruturado a partir da
resposta direta às perguntas avaliativas, e pode também
usar a “teoria da mudança” como base
 Para alguns públicos, métodos menos convencionais podem
ser exigidos:




Encontros informais
Vídeos
Apresentações para atores-chaves em comunidades locais ou com
participação de representantes das comunidades
Utilização de métodos como arte, teatro e dança
 Um plano de acompanhamento deve ser desenvolvido e
monitorado

O plano deve ser focado em estratégias específicas para fazer uso dos
achados da avaliação
7. Desafios especiais para gerenciar métodos mistos
11
 Convencer os clientes de que as avaliações que usam





abordagens MM são “profissionais”
Gerenciar equipes multidisciplinares
Justificar tempo adicional e recursos exigidos
Vender MM para as lideranças e produzir evidência
convincentes do seu valor agregado
Abordagens MM são mais complexas e exigem
gerenciamento mais eficiente
Necessidade de assegurar que as equipes sigam a
abordagem MM de forma completa

Muitas propostas de avaliação se referem ao uso de triangulação,
mas não a usa sistematicamente