Pesquisas de avaliação de programas: da
concepção à apropriação dos resultados
Marina Pereira Novo
Departamento de Avaliação
SAGI/MDS
IV Seminário da Rede Brasileira de Monitoramento e Avaliação
Minicurso: Monitoramento e Avaliação de Programas Sociais e Gestão de Avaliações
13 de agosto de 2012
SAGI - Secretaria de Avaliação e Gestão da Informação
Contexto
• Cultura de M&A é relativamente recente internacionalmente e –
sobretudo – no país
• Desafios são maiores para os programas sociais
◦ Por que avaliar e monitorar?
◦ Recessão da década de oitenta, crescimento de políticas compensatórias
desde então
◦ Necessidade de apontar a eficiência, eficácia e efetividade das mesmas
◦ Hibridismo de métodos e técnicas precisa ser adotado
◦ Tomada de decisão pode esperar resultados
SAGI - Secretaria de Avaliação e Gestão da Informação
Contexto II
• O papel de bancos de desenvolvimento internacionais (Banco
Mundial, BID)
• O papel de organismos internacionais (Sistema ONU, DFID,
Cooperação Espanhola)
• A necessidade de formação na área (academia vs gestão)
• A prestação de serviços em M&A (academia vs mercado)
SAGI - Secretaria de Avaliação e Gestão da Informação
Ciclo de Avaliação:
concepção,
instrumentos e
resultados
SAGI - Secretaria de Avaliação e Gestão da Informação
Organograma – MDS
MDS
Gabinete da
Ministra
Secretaria
Nacional de
Rendas de
Cidadania
Secretaria
Nacional de
Assistência Social
SAGI - Secretaria de Avaliação e Gestão da Informação
Secretaria
Executiva
Secretaria
Nacional de
Segurança
Alimentar e
Nutricional
Secretaria
Extraordinária
de Superação
da Extrema
Pobreza
Secretaria de
Avaliação e
Gestão da
Informação
A criação do MDS, em janeiro de 2004,
implicou o aumento significativo
dos investimentos em políticas de proteção,
assistência e desenvolvimento
social – que se traduzem em programas e
ações de transferência de renda,
segurança alimentar e nutricional, assistência
social e inclusão produtiva.
SAGI - Secretaria de Avaliação e Gestão da Informação
•Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006
Normativas e regulamentação – Avaliação no MDS

Portaria MDS n.º 329, de 11 de outubro de 2006 – Institui e regulamenta a Política
de Monitoramento e Avaliação.

Portaria MDS n.º 160, de 09 de maio de 2008 e alterações posteriores, e Portaria
MDS nº 99, de 26 de fevereiro de 2010 – Tratam do Grupo de Trabalho (GTMA)
responsável pela elaboração do Plano Anual de Monitoramento e Avaliação
(PAMA).

Portaria MDS n.º 255, de 30 de julho de 2008 – Estabelece regras e prazos para a
disponibilização de dados das pesquisas contratadas pelo MDS.

Lei de acesso à informação (Lei nº 12.527 de 18 de novembro de 2011)
SAGI - Secretaria de Avaliação e Gestão da Informação
CONCEITO DE AVALIAÇÃO
“Avaliar consiste fundamentalmente em
fazer um julgamento de valor a respeito de
uma intervenção, um serviço ou sobre
qualquer um de seus componentes, com o
objetivo de ajudar na tomada de decisão”
(Contandriopoulos et al., 1997)
SAGI - Secretaria de Avaliação e Gestão da Informação
Razões para avaliar:
Subsidiar decisões gerenciais
Desenvolver e aprimorar intervenções
Promover o accountability
Empoderar grupos sociais
Condições para avaliar:
Disposição e apoio
Disponibilidade de recursos e tempo
Definição de perguntas avaliativas
Abertura à mudança
SAGI - Secretaria de Avaliação e Gestão da Informação
Apresentação do ciclo de políticas públicas
Avaliação de
desenho
Avaliação de
necessidade
do programa
Avaliação de
resultados e
de impactos
Avaliação de
eficiência
Avaliação de
processo
SAGI - Secretaria de Avaliação e Gestão da Informação
Ciclo de avaliação da SAGI
Apresentação da demanda
Elaboração do Termo de
Referência (TOR)
SAGI/SF
SAGI/SF
Definição da avaliação a ser
realizada
Relevância do estudo proposto
Identificação de parceiros
interinstitucionais relevantes
Elaboração do TOR pela SAGI
Revisão do TOR pela secretaria
finalística
Operacionalização
Acompanhamento
Contratação da instituição
executora
SAGI/SAA e/ou Órgão de
Cooperação Internacional
Aprovação do TOR
Elaboração de edital
Avaliação de propostas
técnicas e comerciais
Assinatura do contrato
Resultados Finais
SAGI/SF/IE
SAGI/IE
SAGI/SF/IE
Disponibilização dos dados
necessários para a realização
da pesquisa
Definição de questões
relevantes para o estudo
Desenvolvimento dos
instrumentos de pesquisa
Acompanhamento in loco do
trabalho de campo
Análise, discussão e aprovação
de relatórios parciais e do
relatório final
Recomendações da avaliação
Discussões com gestores e
parceiros interinstitucionais
Retroalimentação dos
programas
SAGI - Secretaria de Avaliação e Gestão da Informação
Estratégias de disseminação dos resultados das
pesquisas
• Apresentação dos resultados finais ao MDS e parceiros
• Coletivas de imprensa (ou seminários ou outros formatos)
abertos ao público externo
• Disponibilização de sumários executivos, fichas e relatórios
• Disponibilização de microdados
SAGI - Secretaria de Avaliação e Gestão da Informação
Onde encontrar informações sobre as pesquisas do
MDS
•
Publicações impressas e de distribuição gratuita
•
Publicações virtuais e bases de dados:
– www.mds.gov.br
– www.mds.gov.br/gestaodainformacao/disseminacao
– aplicacoes.mds.gov.br/sagi/FerramentasSAGI/index.php?group=1
SAGI - Secretaria de Avaliação e Gestão da Informação
Pesquisas de avaliação concluídas, por ano, por secretaria finalística
ANO
Secretaria
Total
2004
2005
2006
2007
2008
2009
2010
2011
2012
SENARC
1
1
6
0
2
1
0
7
2
20
SAIP
0
0
0
1
1
1
0
4
0
7
SNAS
0
4
6
1
3
3
6
9
0
32
SESAN
0
3
11
3
3
3
2
16
0
41
GERAL
0
2
2
3
2
4
4
15
0
32
Total por ano
1
10
25
8
11
12
12
51
2
132
SAGI - Secretaria de Avaliação e Gestão da Informação
METODOLOGIAS AVALIATIVAS
• METODOLOGIAS QUANTITATIVAS
– Estudos quase-experimentais e experimentais (avaliações de resultado)
– Survey (avaliação de atividades e resultados)
• METODOLOGIAS QUALITATIVAS
– Grupos focais (avaliação de atividades e resultados)
– Entrevistas em profundidades (avaliação de atividades e resultados)
– Estudos de caso (avaliação de atividades e resultados)
– Outros?
• METODOLOGIAS MISTAS
SAGI - Secretaria de Avaliação e Gestão da Informação
Estudo de caso: Abordagens qualitativas e quantitativas de
pesquisa de avaliação de programas sociais
Estratégia de pesquisa sobre
os conhecimentos, atitudes e
práticas financeiras das
famílias inscritas no Cadastro
Único para Programas Sociais
SAGI - Secretaria de Avaliação e Gestão da Informação
CONTEXTO
• A fim de promover o uso responsável dos serviços e
produtos disponibilizados por meio da abertura das
contas, o MDS pretende implementar, em âmbito
nacional, uma série de ações de educação financeira
voltadas para as famílias de baixa renda – assim
consideradas as famílias que atendem aos requisitos
para inclusão no Cadastro Único para Programas
Sociais (CadÚnico)
SAGI - Secretaria de Avaliação e Gestão da Informação
17
QUESTÃO
• Escassez de literatura e conhecimento a respeito das práticas
financeiras de famílias de baixa renda, insuficiência que
compromete a capacidade de desenvolver ações eficazes para
a educação financeira desse público.
SAGI - Secretaria de Avaliação e Gestão da Informação
18
QUESTÃO METODOLÓGICA
• Como se aproximar da temática com suficiente profundidade
e abrangência para dar lugar a uma estratégica de educação
financeira nacional?
• Exercício:
– Ideias para construir a estratégia de pesquisa?
SAGI - Secretaria de Avaliação e Gestão da Informação
19
ESTRATÉGIAS DE PESQUISA
1. Realização de cinco grupos focais com pessoas inscritas no
CadÚnico, visando uma primeira aproximação com o tema,
bem como a obtenção de subsídios para elaboração de um
questionário para pesquisa nacional sobre os conhecimentos,
atitudes e práticas das famílias inscritas no CadÚnico em
relação às suas finanças, aos seus orçamentos familiares e ao
seu relacionamento com o sistema financeiro formal e
informal;
SAGI - Secretaria de Avaliação e Gestão da Informação
20
ESTRATÉGIAS DE PESQUISA
2. Análise dos resultados dos grupos focais para definição dos
blocos temáticos explorados na pesquisa nacional e
delineamento de questões. O questionário decorrente dessa
análise foi estruturado nos seguintes blocos: composição e
administração do orçamento familiar; planejamento e
decisões financeiras; acesso ao sistema financeiro e uso de
serviços e produtos; percepções e interesses relativos a ações
de educação financeira;
SAGI - Secretaria de Avaliação e Gestão da Informação
21
ESTRATÉGIAS DE PESQUISA
3. Aplicação de questionário na pesquisa nacional, que
compreende entrevistas em 8.807 domicílios de famílias
inscritas no CadÚnico, distribuídas entre 265 municípios.
Estão sendo entrevistados o responsável familiar identificado
no CadÚnico bem como seu cônjuge, caso este resida no
mesmo domicílio;
SAGI - Secretaria de Avaliação e Gestão da Informação
22
ESTRATÉGIAS DE PESQUISA
4. Análise dos dados coletados na pesquisa nacional com vistas à
proposição de ações de educação financeira para as famílias
de baixa renda.
SAGI - Secretaria de Avaliação e Gestão da Informação
23
Abordagem qualitativa
 Por que realizar? Que tipo de aproximação se esperava?
 Aspectos relativos à logística e recrutamento
 Realização de grupos focais com pessoas inscritas no
CadÚnico em cinco municípios, distribuídos nas cinco grandes
regiões do país
 Critérios de seleção dos municípios
SAGI - Secretaria de Avaliação e Gestão da Informação
Abordagem quantitativa
 Por que realizar?
 Aspectos relativos ao planejamento amostral
 Construção do instrumento
 Aplicação potencial de mais de 16 mil questionários (responsáveis
pelo domicílio e seus cônjuges) em 265 municípios do país
 Tratamento e análise dos dados
 Utilização de resultados
Além da construção da ação,
 Caráter inovador da iniciativa
como e quando disseminar?
SAGI - Secretaria de Avaliação e Gestão da Informação
Nem tudo são flores…
SAGI - Secretaria de Avaliação e Gestão da Informação
Gargalos institucionais
 Necessidade de nivelamento das unidades clientes em relação aos conceitos de M&A
 Dificuldades relacionadas à priorização de demandas
 Timing diverge entre a unidade implementadora e a avaliadora: o tempo da gestão e o
tempo da avaliação
 Necessidade de maior integração entre a dimensão Monitoramento e Avaliação
Morosidade dos processos de contratação
 Rotatividade e precariedade das relações de trabalho
 Insuficiência de quadros em habilidades especificas
 Equipamentos insuficientes e/ou inadequados para o atendimento de certas demandas
 Dificuldades relacionadas à obtenção das bases de dados com o universo das pesquisas
 Necessidade de consenso sobre a disponibilização pública dos dados
SAGI - Secretaria de Avaliação e Gestão da Informação
Necessidade de esforço
continuado…
SAGI - Secretaria de Avaliação e Gestão da Informação
Para que a avaliação e monitoramento deixe
de constituir inovação e efetivamente se
incorpore à cultura – às crenças e práticas – do
campo das políticas, é preciso garantir sua
continuidade.
•Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006
SAGI - Secretaria de Avaliação e Gestão da Informação
Síntese de experiências e habilidades presentes/necessárias
•
Experiência anterior no serviço público e junto a órgãos do sistema ONU
•
Experiência de docência
•
Experiência com comunidades tradicionais e populações específicas
•
Experiência em análises de dados à luz de perspectiva teórica incluindo os eixos étnico/racial e de gênero
•
Conhecimentos e experiência no uso de metodologias qualitativas e quantitativas de coleta e análise de
dados, além de técnicas de análise demográfica
•
Elaboração de projetos de pesquisa
•
Conhecimentos sobre legislação e experiência na condução e acompanhamento de processos licitatórios
•
Conhecimento e condução de processos administrativos
•
Experiências com softwares qualitativos, quantitativos e de goerreferenciamento
•
Conhecimento e atuação anterior nas políticas, programas, serviços e ações afetas ao MDS (segurança
alimentar, assistência social e transferência de renda)
•
Conhecimento e experiência em análise de bases de dados sociais (IBGE, MDS e outras)
•
Experiência na redação de conteúdo técnico, inclusive com a publicação de livros e artigos científicos
•
Experiência em processos de formação, capacitação e multiplicação
•
Experiência na construção de ferramentas informacionais
•
Conhecimento de línguas estrangeiras
SAGI - Secretaria de Avaliação e Gestão da Informação
Grata pela atenção!
Contatos: (61) 3433 1538
[email protected]
[email protected]
SAGI - Secretaria de Avaliação e Gestão da Informação