Avaliação de Impacto do
Projeto de Combate à Pobreza Rural
(PCPR)
Claudia Romano
Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa,
Naércio Menezes, Elaine Pazello
Sumário da Apresentação
• O que é o PCPR
• Desenho do Estudo
• Principais desafios e Métodos utilizados
para lidar com estes desafios
• Principais Resultados
• Capital Social
• Implicações para Políticas Públicas
O que é o PCPR
• Programa opera na zona rural do
Nordeste desde 1993; baseado na
demanda comunitária.
• Financia pequenos projetos comunitários,
de infraestrutura, produtivos e sociais.
• Exemplos: pequenos sistemas de
abastecimento de água; eletrificação; casa
de farinha; beneficiamento mel; centro
comunitário
O Programa opera em grande escala:
(1993 a 2005)
Qual a pergunta?
Como responder?
• Definição do que o estudo deve responder
• Compreensão do funcionamento do
Projeto
Desenho do Estudo:
Aspectos gerais
Pergunta: impacto do programa sobre
acesso a serviços de infra-estrutura,
ativos, saúde, e capital social ?
Note: diferente de perguntar se processo
CDD é melhor do que benefícios
distribuídos aleatoriamente
Desenho do Estudo:
Aspectos gerais
• Amostra: 864 domicílios entrevistados em
2005; em 54 comunidades tratamento e
54 controle; 8 domicílios por comunidade
• Abrangência: Ceará, Piauí e Rio Grande
do Norte
• Análise sobre impacto entre 2002 e 2005
Principais Desafios do
Estudo
(1) Viés de Seleção
(2) Falta de Perfil de Entrada
(3) Qualidade dos Dados
Principais desafios para desenho do
estudo: (1) Viés de seleção
• O PCPR estimula comunidades a se autoselecionarem, portanto:
– Comunidades que obtém subprojetos são
mais capacitadas, têm melhor capital social,
possivelmente maior renda e riqueza do que
as comunidades não-beneficiadas
– Portanto, temos um viés de seleção positivo
Método: Reduzindo o viés de
seleção- 3 métodos em 4 etapas
1) Método “amostragem pipeline” (lista de
espera):
o tratamento selecionado entre beneficiários de 2002
(primeiro subprojeto)
o controle selecionado entre solicitantes já aprovados mas
ainda não contemplados pelo programa em 2005
Esta forma de seleção garante que controle
seja mais similar a tratamento
o mas ainda há possibilidade de viés pois há 3
anos de diferença na obtenção do projeto
Reduzindo o viés de seleção
2) Método Propensity-Score matching - PSM
(pareamento por índice de probabilidade).
– Diminui as diferenças devidas a
características observadas
– PSM em dois estágios:
o Primeiro estágio: nível comunitário para
seleção amostral
oSegundo estágio: na análise, níveis
domiciliar e comunitário
PS antes e depois do pareamento
Reduzindo o viés de seleção
3) Análise de painel ou “diferenças-emdiferenças”:
- diminui as diferenças entre controle e
tratamento devidas a características de efeitos
aditivos em variáveis não-observáveis e
observáveis não medidas
– As únicas características não passíveis de
controle são as não-observáveis de efeito
variável
Resultados indicaram que a combinação
destas 4 etapas teve efeito na redução do
viés
Principais desafios:
(2) falta de perfil de entrada
• Faltavam dados domiciliares da situação
no período anterior à implementação dos
subprojetos
• Perfil de entrada realizado pela Fecamp
era muito recente (2004) para retorno e
estudo de impacto de médio-prazo.
Método: Como lidamos com falta de
um perfil de entrada
• Coleta de dados com “recall”
• Capital físico (ativos), capital social e
alguns indicadores sobre saúde.
• Momento importante: última vez que Brasil
ganhou a Copa do Mundo (julho de 2002)
• Situação antes da formação da
associação
Principais Desafios: (3) Qualidade
dos Dados
• Testes de campo e treinamento
entrevistadores:
– Questionários testados no campo duas vezes
• Dados:
– Taxa de resposta a questionários foi alta
– Análise dos dados revelou pequena proporção de
outliers
• Exceção foram dados sobre valor da terra e
tamanho da propriedade. Decidiu-se por não
utilizar estes dados na análise
PRINCIPAIS RESULTADOS
Impactos positivos sobre acesso a
água e eletricidade
• Todos modelos estimados demonstraram
impacto positivo e significativo do
programa sobre acesso à água e à rede
elétrica
Efeitos sobre acesso a água
Tabela 3.12: Impacto do PCPR sobre o acesso a rede de água
 água
Amostra resultante do matching
Modelo 1 Modelo 2 Modelo 3
0,095*
Tratamento
(0,034)
0,242*
Trat*Abast
(0,044)
-0,029
Trat*Eletrif
(0,028)
-0,009
Trat*Prod
(0,036)
0,290*
Trat*Ce*Abast
(0,049)
0,033
Trat*Rn*Abast
(0,051)
0,010
Trat*Rn*Prod
(0,050)
-0,029
Trat*Pi*Eletr
(0,028)
-0,029
Trat*Pi*Prod
(0,028)
0,029
0,029
0,029
constante
(0,028)
(0,028)
(0,028)
573
573
573
nº de observ.
7,93
.
.
F (k, n-1)
0,0050
.
.
Prob > F
0,0189
0,0851
0,1033
R-quadrado
*Entre parênteses desvios-padrões robustos à heterocedasticidade.
* Estatisticamente Significante a 5%
Efeito sobre eletrificação
Tabela 3.13: Impacto do PCPR sobre o acesso a rede de luz
 luz
Tratamento
Trat*Abast
Trat*Eletrif
Trat*Prod
Trat*Ce*Abast
Trat*Rn*Aabast
Trat*Rn*Prod
Trat*Pi*Eletr
Trat*Pi*Prod
Constante
nº de observ.
F (k, n-1)
Prob > F
R-quadrado
Amostra resultante do matching
Modelo 1 Modelo 2
Modelo 3
0,088*
(0,020)
0,042
(0,024)
0,400*
(0,080)
0,066*
(0,023)
0,054*
(0,026)
-0,010
(0,046)
0,029
(0,023)
0,400*
(0,080)
0,106*
(0,035)
0,010
0,010
0,010
(0,013)
(0,013)
(0,013)
573
573
573
18,92
10,43
6,87
0,0000
0,0000
0,0000
0,0285
0,1051
0,1122
Impactos sobre ativos domiciliares
• Impacto positivo sobre ativos, em todos os
modelos, inclusive sobre cada tipo de ativo e de
projetos analisados separadamente (por volta
de 30 coeficientes estimados)
• Nenhum dos coeficientes de impacto no valor
total de ativos é estatisticamente significativo;
somente alguns dos impactos em tipos
específicos de ativos são estatisticamente
significativos
Efeito sobre ativos per capita
 ativos totais domiciliares
per capita
Tratamento
Trat*abast
Trat*eletrif
Trat*prod
Trat*Ce*abast
Trat*Rn*abast
Trat*Rn*prod
Trat*Pi*eletr
Trat*Pi*prod
Constante
nº de observ.
F (k, n-1)
Prob > F
R-quadrado
Amostra resultante do matching
Modelo 1
Modelo 2
Modelo 3
523,789
(442,423)
505,380
(446,599)
430,351
(448,319)
558,453
(458,631)
602,750
(447,093)
76,347
(532,012)
749,101
(506,935)
430,351
(449,109)
353,757
(448,862)
-480,328
-480,328
-480,328
(434,952)
(435,716)
(436,483)
573
573
573
1,400
0,600
1,450
0,237
0,615
0,205
0,015
0,015
0,019
PCPR reduz incidência de
doenças
• Análise das doenças mais comuns:
diarréia, verminoses, dengue, hepatite,
asma e doença de chagas
• PCPR diminui a incidência do conjunto
das doenças e, em especial, sobre
‘hepatite’, ‘asma’ e ‘doença de chagas’
• Resultados indicam pequeno efeito
positivo também sobre mortalidade infantil
Efeito sobre incidência de doenças
 doenças Diarréia Verminoses Dengue Hepatite Asma Chagas Doenças
Tratamento 0,350
0,467
0,022 1,040* 1,229* 1,219* 0,704
(0,592)
(0,548)
(0,550) (0,534) (0,538) (0,643) (0,512)
Nº de obs.
72
72
72
72
71
66
66
Chi2(k)
0,350
0,730
0,000
3,800 5,210 3,600
1,890
P > chi2
0,554
0,394
0,969
0,051 0,023 0,058
0,169
Pseudo R2
0,004
0,007
0,000
0,037 0,048 0,045
0,009
O que o estudo não
respondeu
• Este estudo usou o capital físico (ativos) como
um indicador da renda.
– Comunidades pobres podem consumir grande parte
de aumento na renda, o que não se reflete em
aumento de capital.
• Resultados indicam que há probabilidade do
impacto na renda ser positivo, mas não são
conclusivos.
– Para medir impacto na renda é necessário usar
dados de perfil de entrada coletados na época de
implementação dos projetos
Capital Social - KS
• Objetivo: medir impacto do PCPR na
organização da vida social e instituições
locais e as relações entre as comunidades
e o Estado
• Medir impacto quantitativamente
• Construção de índices a partir de
questões concretas e simples
Como medimos Capital Social
• Indices de Capital Social (KS)
– “CONDICIONANTES”
– Cognitivo: grau de confiança, solidariedade e
ajuda mútua
– Estrutural: formação e engajamento em
associações
– “RESULTANTES”
– Participação comunitária: solução conjunta de
assuntos locais
– Participação civil: representação e influência
em decisões governamentais
Impactos no Capital Social são maiores
na relação entre comunidade e governo
local: induz maior transparência pública
e redução de riscos de corrupção.
Conclusões Principais KS
– Impacto positivo em capital social em geral,
mas maior em indicadores de envolvimento
da comunidade na política pública local
– O PCPR se baseia no capital social existente,
transformando o capital social comunitário em
ação de controle e participação na esfera de
políticas públicas locais
– Assim induz maior controle sobre
interferência política e corrupção
Implicações para Políticas
Públicas
• Alcance com relação aos serviços de infra-estrutura é
alto e abrangente, enquanto impacto na renda ainda
baixo
• Alguns Governos Estaduais estão assumindo atender a
infra-estrutura básica com recursos do Tesouro
(Estadual e/ou Federal)
• Nova Fase – Projetos Desenvolvimento Local :
Integração rural-urbana – maioria dos municípios de
pequeno porte
• Ênfase em projetos produtivos com alcance de mercado
– arranjos produtivos locais como base para os
investimentos
Implicações para Políticas
Públicas
• Fortalecimento da Integração das políticas nos 3 níveis
de governo, utilizando no âmbito local os mecanismos
participativos do PCPR: Conselhos Municipais e
Territoriais
• Integração Regional através do tratamento das questões
ambientais, gerenciamento dos recursos naturais,
ampliação da escala , ampliação do acesso aos
mercados
• Competitividade, Inovação, Tecnologia – aplicação
estratégica
Sugestões para Futuros
Estudos
• Um estudo metodologicamente apropriado não é necessariamente
difícil de ser implementado e tem um alto poder de produzir
resultados úteis e confiáveis;
• Os termos de referência dos estudos de avaliação de impacto
devem ser claramente definidos no período de preparação do
Projeto, devendo ser anexados ao PAD;
• O perfil de entrada deve ser realizado em até seis meses após a
declaração de efetividade do empréstimo; a contratação do perfil
deve fazer parte de um pacote de todas as atividades/produtos
esperados no estudo de avaliação de impacto;
• Selecionar indicadores de avaliação com clara relação (causaefeito) com as atividades intencionais do Projeto; evitar a tentação
de grande número de indicadores
• MIS deve conter registro das informações associadas com
atividades e indicadores, incluindo o perfil das comunidades no
momento de entrada no Projeto
Conclusão
• Elabore a pergunta certa para o estudo
(olhando em perspectiva o que deseja
obter)
• Forneça todas as informações sobre o
funcionamento real do programa
• Defina claramente os indicadores que, por
experiência dos gestores, são
provavelmente afetados pelo programa
• Os resultados serão muito úteis!