F
U
N
D
A
Ç
Ã
O
J
O
Ã
O
P
I
N
H
E
I
R
O
G
o
v
e
r
n
o
d
e
M
i
n
a
s
G
e
r
a
i
s
II SEMINÁRIO DA REDE BRASILEIRA DE
MONITORAMENTO E AVALIAÇÃO
CONSTRUÇÃO DE METODOLOGIAS E DE
INSTRUMENTOS PARA AVALIAÇÃO E
MONITORAMENTO
Fátima Beatriz Fortes
Pesquisadora da Fundação João Pinheiro (FJP)
AVALIAÇÕES EM CURSO NA FJP
1) Programa de Fortalecimento e Melhoria da Qualidade
dos Hospitais do SUS/MG (PRO-HOSP) – SES/MG;
2) Programa Viva Vida – SES/MG;
3) Programa Minas Sem Fome – Emater/MG;
4) Programa de Integração das Polícias Civil e MilitarSedes/MG.
STATUS DAS AVALIAÇÕES
Programas
1) Pro-Hosp
2) Viva Vida
3) Minas Sem Fome
4) Integração das
Polícias Civil e Militar
Status das avaliações
1.1) Av. de impacto – concluída
1.2) Av. do processo de implementação – em curso
2.1) Av. de impacto – início previsto 07/ 2010
2.2) Av. do processo de implementação – concluída
3.1) Av. de impacto – em curso
3.2) Estudo de viabilidade econômica – concluído
3.3) Fatores associados à distribuição das ações de
lavoura temporária, de apicultura e de tanque
de resfriamento de leite do MSF - concluído
4.1) Av. de impacto – concluída
CONTEXTO DAS AVALIAÇÕES
1) Avaliações foram solicitadas pela Vice-governadoria
do estado de Minas Gerais – Programa Estado para
Resultados (EpR).
2) Houve várias discussões com os órgãos responsáveis
pela formulação dos programas.
3) Contamos com o apoio do pessoal do EpR e do Bird.
CONTEXTO DAS AVALIAÇÕES
3) Os programas não foram desenhados de modo a
favorecer sua avaliação: não foi feita uma linha de base,
o cadastro dos beneficiários é incompleto e não obedece
a um padrão, informações dispersas e difíceis de serem
acessadas.
4) Com exceção do Pro-Hosp, não há monitoramento.
ESCOLHAS METODOLÓGICAS - AV. IMPACTO
1) Todos os programas contemplam várias ações
e/ou buscam alterar vários indicadores: foi
escolhida uma ação (no caso do Viva Vida e
MSF) e um leque restrito de indicadores (ProHosp e Integração das polícias) para a avaliação
de impacto.
2) Metodologia: verificar o impacto por meio da
comparação entre o grupo de tratados e o grupo
de controle.
AVALIAÇÃO DO VIVA VIDA E MSF
1) Método: escore de propensão (para escolher
grupo de controle o mais parecido com grupo
de tratados).
2)
Pesquisa
tem
caráter
transversal,
considerando apenas um ponto no tempo.
3)
Dados: pesquisa de campo e dados
secundários. Informações detalhadas que
permitem controlar melhor as características
individuais e dos domicílios.
AVAL DO PRO-HOSP E DA INT. DAS POLÍCIAS
1) Método: Diferenças em diferenças (DIF-DIF).
Compara a variação no indicador antes e
depois da intervenção para o grupo de
tratamento (que sofreu a intervenção) com a
variação observada para o grupo de controle
(sem a intervenção).
2) Modelo estimado considerando dados em
painel.
3) Dados secundários.
AVALIAÇÃO DO PRO-HOSP
OBJETIVO DO PROGRAMA: Melhorar a qualidade dos
hospitais de modo a garantir o acesso à assistência
hospitalar, o mais próximo possível da residência do
cidadão, fortalecendo a regionalização da atenção à
saúde em MG.
COMO? Por meio de um termo de compromisso entre a
SES/MG, hospitais e SMS.
OBJETIVO DA AVALIAÇÃO: Verificar o impacto do ProHosp em alguns indicadores de desempenho hospitalar.
AVALIAÇÃO DO PRO-HOSP: Definição do Grupo de controle
●Hospitais semelhantes de estados limítrofes: ES, RJ, SP, BA
e GO.
●Método de seleção desses hospitais: por meio do
pareamento
as
informações
baseado
no
PSM,
considerando junho de 2002 como ano-base.
●Variáveis hospitalares incluídas no PSM: número de
internações, valor médio das internações, número de
internações em UTI dos tipos 1, 2 e 3, internações por
condições sensíveis à atenção ambulatorial, proporção de
leitos contratados pelo SUS além dos indicadores de
desempenho selecionados para a avaliação.
●Variáveis demográficas e socioeconômicas usadas no PSM
(dos municípios de localização dos hospitais): IDH, tamanho
populacional, L-Theil e proporção de pobres - Medidas em
2000.
AVALIAÇÃO DO VIVA VIDA
OBJETIVO DO PROGRAMA: Reduzir Mortalidade Materna
e Infantil
COMO?: a) Distribuição de kits (2004/2005): Atenção
básica, Maternidade Risco Habitual e UTI Neonatal e
b) Construção de Centros Viva Vida (a partir de 2006).
OBJETIVO DA AVALIAÇÃO: Impacto do Centro Viva Vida
UNIDADE DE ANÁLISE: Domicílios.
MÉTODO: Escore de propensão.
FONTE DE DADOS: Pesquisa de campo - julho de 2010.
AVALIAÇÃO DO VIVA VIDA
GRUPO DE TRATAMENTO: Domicílios que tiveram
gestantes de alto risco entre jan/08 a jun/09 e situados
em municípios atendidos por CVV inaugurado até
31/12/07 (65 municípios / 6 micros);
GRUPO DE CONTROLE: Domicílios que tiveram gestantes
de alto risco entre jan/08 a jun/09 de municípios não
atendidos por CVV, mas com projeto de construção
aprovado. Os municípios das micros que irão compor
grupo de controle foram selecionados utilizando-se PSM.
Amostra: GAR que já tiveram os seus bebês ou que
estariam entrando no último mês da gestação no
momento da entrevista.
AVALIAÇÃO DO MINAS SEM FOME (MSF)
OBJETIVO DO PROGRAMA: Reduzir a pobreza e
favorecer a inclusão produtiva de agricultores familiares.
Como? Por meio de diversas ações como a distribuição de
sementes, a capacitação de agricultores e de projetos de
agregação de valor.
OBJETIVO DA AVALIAÇÃO: Impacto da distribuição de
sementes de milho, feijão, arroz ou sorgo sobre: a
redução da pobreza rural, a melhoria na segurança
alimentar e o fortalecimento associativismo.
AVALIAÇÃO DO MSF
GRUPO DE TRATAMENTO: Beneficiários do programa que
receberam benef. de lavoura no período 2004 a 2008.
GRUPO DE CONTROLE: Beneficiários do programa que
receberam benefícios de lavoura pela primeira vez em
2009.
769 municipios foram beneficiados pelo programa (32
regionais da Emater). Em cada regional foi feita seleção
aleatória de 3 municipios.
Amostra aleatória de 40 beneficiários (20 tratamento e 20
controle) em cada um dos 96 municipios amostrados.
AVAL. DA INTEGRAÇÃO DAS POLÍCIAS CIVIL E MILITAR
OBJETIVO DO PROGRAMA: Combater a violência
OBJETIVO DA AVALIAÇÃO: impacto da integração das
polícias civil e militar (início das reuniões do Igesp “Integração e Gestão da Segurança Pública) nas taxas
de criminalidade (crimes violentos contra pessoa, crimes
violentos contra o patrimônio, homicídios).
GRUPO DE TRATAMENTO: áreas nas quais tiveram início
as reuniões do Igesp.
GRUPO DE CONTROLE: áreas nas quais não tiveram
início as reuniões do Igesp.