Aula 1 - Informações necessárias para a
Avaliação Econômica
Material Elaborado por Betânia Peixoto
Avaliação Econômica de Projetos Sociais
“A avaliação econômica pode ser dividida em duas partes: avaliação de
impacto e avaliação de retorno econômico.”
“A avaliação econômica é um componente importante de qualquer projeto
social. Assim, ainda na fase de elaboração do projeto, deve-se ficar atento
para que sua estruturação esteja de acordo com sua futura avaliação
econômica.”
Avaliação Econômica
Impacto
Impacto
Retorno
Econômico
Plano de Aula
Introduzir os conceitos gerais relacionados à avaliação econômica de
projetos sociais.
Apresentar elementos necessários para a avaliação econômica:





Público-Alvo
Objetivo
Indicadores
Dados/Fonte de Informações
Custos
Avaliação de Impacto: O programa funciona?
Atingiu seus objetivos, ou seja, afetou os beneficiários?
As melhoras observadas são um resultado direto do projeto
ou teriam acontecido de qualquer forma?
Há diferença de impacto entre regiões ou ao longo do
tempo?
O programa está causando algum impacto não pensado
inicialmente?
Relações Causais
A avaliação de impacto permite quantificar relações causais
entre as ações do projeto e os indicadores de interesse.
relações causais = relações de causa e efeito
A avaliação de impacto nos permitirá dizer se foi de fato o
projeto o responsável pelas alterações observadas no indicador
de interesse.
Ter tido impacto significa dizer que na ausência do projeto,
as alterações observadas no indicador de interesse não teriam
acontecido.
Avaliação de Impacto
Estabelecer relações causais entre as ações efetuadas e as
alterações verificadas nos indicadores de interesse
(estabelecidos de acordo com os objetivos do projeto).
A avaliação de impacto visa identificar os efeitos realmente
verificados no público-alvo afetado por um determinado
programa, em comparação com algum grupo de controle.
Exemplo:
 Programa que tem por objetivo melhorar a qualidade do ensino.
 Ação: capacitação de professores
 Indicador escolhido: desempenho escolar
Capacitação dos
professores
Desempenho
dos estudantes
Se a avaliação de impacto mostrar que os resultados obtidos são
significativamente positivos, pode-se implementar o programa em
outras escolas parecidas.
Retorno Econômico
Foram os custos justificados mediante os resultados
alcançados?
Qual a efetividade do programa, comparativamente a outras
alternativas?
Estas perguntas são importantes porque muitas vezes,
embora o projeto tenha impacto positivo, ele não é grande o
suficiente diante dos custos incorridos em sua implementação.
Retorno Econômico
Pode ser que outros programas alcançassem resultados semelhantes
mas com um custo menor e, então, seriam preferidos.
Cálculo do retorno econômico: comparar os benefícios
efetivamente obtidos com os custos incorridos na sua
implementação.
Elementos para a avaliação econômica
Público-Alvo
Objetivo
Indicadores
Dados/Fonte de Informações
Custos.
Usar como exemplo o programa Eu sou ativo
da SEFAZ
http://www.caen.ufc.br/~petterini/itau/Eu_Sou_Ativo.pdf
Público-Alvo
Público-Alvo

Os projetos sociais, em geral, são focalizados (versus programas
universais), ou seja, são dirigidos a um determinado grupo da
sociedade, denominado público-alvo.

Assim, para realizarmos a avaliação econômica, um primeiro
ponto importante é que definamos claramente o grupo a que ele se
destina, isto é, o grupo de pessoas que o programa pretende
beneficiar.
Critérios de elegibilidade


Em geral, para a identificação do público-alvo utilizam-se os
chamados critérios de elegibilidade.
Exemplo: o Programa Bolsa Família atende todas as famílias
que tenham renda familiar per capita abaixo do nível de
pobreza (renda mensal de até meio salário mínimo por pessoa
ou de três salários mínimos no total).
Definido o público-alvo, é possível posteriormente avaliar a
focalização do programa.
Focalização

O programa está incluindo de fato as pessoas que deveria
incluir? Ou será que dentre os beneficiários estão indivíduos que
a principio não deveriam estar participando?

Quando um programa beneficia pessoas que não deveriam ser
contempladas e/ou quando deixa de fora pessoas que pertencem
ao público-alvo, dizemos que o programa incorreu nos
chamados erros de focalização.
Erros de Focalização
Dois tipos:
 i) excluir do programa pessoas pertencentes ao público-alvo
(ineficiência no alcance ou na cobertura do programa);
 ii) incluir no programa pessoas não pertencentes ao público-alvo
(vazamento do programa).

O esforço de focalização deve atuar no sentido de
minimizar os dois tipos de erros.
Observação:
 Para fixarmos os conceitos-chave discutidos nesta aula,
trabalharemos com dois exemplos de programas sociais. Um
primeiro relacionado à qualidade de ensino e um segundo,
relacionado à desnutrição infantil.
Exemplo (1) –Diagnóstico
1.
Pesquisadores observam uma série de indicadores bastante
ruins relacionados à qualidade da escola (notas escolares,
freqüência escolar, aprovação, evasão, etc) entre os alunos do
ensino médio da zona leste da cidade de São Paulo.
Exemplo (2) - Diagnóstico
2.
Constatou-se um elevado grau de desnutrição infantil entre as
crianças de 0 a 5 anos da zona rural do Vale do Ribeira.
Público-Alvo

Exemplo (1): alunos do ensino médio da zona leste da cidade
de São Paulo.

Exemplo (2): crianças de até 5 anos da zona rural do Vale
Ribeira.
Objetivo
Objetivo


Para que servirá o projeto?
O que se pretende alcançar ao final do projeto?
Para realizar a avaliação econômica é importante que os
objetivos do projeto sejam claros, bem definidos e
mensuráveis.
Objetivo

Exemplo (1): Melhorar o desempenho escolar dos estudantes
do ensino médio da zona leste da cidade de São Paulo.

Exemplo (2): Reduzir a desnutrição infantil entre as crianças de
0 a 5 anos da zona rural do Vale do Ribeira.
Do objetivo aos indicadores de impacto do projeto social

A partir dos objetivos do programa,
indicadores do projeto.
escolheremos os
Indicadores
Indicadores




Indicadores de impacto = indicadores relacionados aos resultados
do projeto.
Será a partir dos indicadores, ou melhor, a partir da variação
verificada em alguns indicadores, que iremos quantificar de forma
adequada os impactos do projeto.
Os indicadores devem estar intimamente relacionados ao
objetivo proposto.
Não necessariamente existe um único indicador
Indicadores

Exemplo (1): freqüência escolar; notas na prova...

Exemplo (2): peso associado à altura das crianças, ...
Características desejáveis dos indicadores de impacto

Indicadores devem ter:




fácil entendimento, fácil construção e baixo custo;
confiabilidade (fácil observação);
consistência com os dados disponíveis; e
relação direta com as ações efetuadas.
Indicadores Quantitativos

Respostas quantitativas são aquelas que fornecem respostas
numéricas objetivas.

A partir de dados quantitativos podemos elaborar nossos
indicadores de impacto.
Exemplos:
1.
Nota do aluno na prova / taxa de abandono escolar
2.
Peso/Altura das crianças
Indicadores Qualitativos

Respostas a questões de natureza qualitativa são abertas,
expressando valores pessoais.

Mais difícil tabulação.
Exemplos:
1.
Grau de satisfação com a escola
2.
Cidadania dos participantes
Indicadores Qualitativos

Podemos ‘transformar’ indicadores qualitativos em indicadores
numéricos.

Grau de satisfação com a escola:


muito satisfeito = 3

satisfeito = 2

pouco satisfeito = 1
A combinação das respostas enriquece a análise.
Dados / Fontes de informações

Para realizar a avaliação econômica é preciso ter os dados!
Fontes primárias
Fontes secundárias


Cadastro dos Gestores do Programa
Cadastro Inicial

Um cadastro inicial, adequadamente planejado e bem construído,
é fundamental.

Quais informações devem constar do cadastro inicial?
Não existe uma única resposta a essa pergunta.
As informações relevantes para um cadastro dependem do
objetivo de cada programa.


Cadastro - Exemplo (1)









Nome do estudante
Idade
Gênero
Cor ou raça
Série em que estuda
Escolaridade da mãe
Renda familiar
Número de componentes da família
Indicação se o aluno trabalha
Caso os beneficiários estudem em escolas diferentes,
incluir questões sobre a escola





Escola que freqüenta
Nº de horas-aula da escola
Nível educacional do corpo docente da escola
Número de alunos por sala
Instalações da escola: computadores, acesso à internet,
laboratórios, bibliotecas, quadras, etc
Cadastro - Exemplo (2)








Identificação da mãe e da criança
Idade da mãe e da criança
Tempo de amamentação
Número de filhos
Indicação se a mãe trabalha
Rendimentos da mãe (da família)
Número de horas trabalhadas
Criança na creche
Tratamento e Controle
Definição:

Grupo de Tratamento: pessoas (do público- alvo) que serão
atendidas pelo projeto.

Grupo de Controle: pessoas com características similares, mas
que não serão atendidas pelo projeto.
Tratamento e Controle

Dependendo do desenho da avaliação, incluir no cadastro inicial
informações de ambos os grupos.

Como veremos adiante, definir aleatoriamente, dentre os
indivíduos que fazem parte do público-alvo, quais serão
beneficiados, isto é, quais serão ‘tratados’, é a melhor opção para
garantir uma boa avaliação.
Sorteio

Os indivíduos que não forem sorteados, formarão o chamado
grupo de controle, em oposição ao primeiro, conceituado como
grupo de tratamento.

Pode-se argumentar não ser ético ou desejável que um sorteio
seja realizado para definir os participantes do programa.
Dois pontos
1.
Normalmente, tais sorteios são feitos nos chamados
‘programas piloto’. Assim, quanto mais acurado for o desenho
da avaliação nessa etapa inicial, mais confiante estaremos
sobre o real potencial do programa.
2.
O sorteio é realizado dentre pessoas que fazem parte do
público-alvo. Assim, os ‘sorteados’ serão sempre pessoas que
o programa deveria atender.
Cadastro

É importante ter no cadastro a informação do indicador a
partir do qual a análise de impacto será feita!
Cadastro
Exemplo (1):
 Idade da criança combinada com a informação da série que a
criança estuda = atraso escolar
 Freqüência escolar e nota da prova de matemática= difícil
verificação junto ao beneficiário; idéia = analisar o boletim
escolar ou buscar a informação junto à escola.
Cadastro
Exemplo 2:
 Peso/Altura das crianças – fácil observação – basta ‘pesar’ e
‘medir’ as crianças.
Qualidade da informação



A avaliação correta do programa depende da qualidade da
informação coletada.
Dados incompletos, incorretos ou imprecisos podem levar a
conclusões errôneas, que podem prejudicar o andamento do
projeto!
As informações devem ser de fácil observação ou o custo para a
verificação de sua acuracidade deve ser baixo.
Desenho de questionário


Os cadastros mantidos pelos gestores do programa, em geral,
têm apenas as informações dos beneficiários do programa.
Por esta razão, muitas vezes, para a realização da avaliação
econômica, teremos que fazer alguma pesquisa de campo para
coletar os dados do grupo de controle.
Fontes externas de dados
Fontes externas de dados


São dados de pesquisas e avaliações feitas usualmente por órgãos
governamentais.
Estas informações podem ser úteis para:
 comparar as características do público-alvo de um projeto com
as de um conjunto de indivíduos de alguma fonte externa de
dados;
 formação de um grupo de controle.
Pesquisa Nacional por Amostra de Domicílios - PNAD



Pesquisa anual realizada pelo IBGE.
Pesquisa amostral representativa do conjunto da população
brasileira.
Conjunto de tópicos investigados é bastante amplo: migração,
educação, emprego e rendimento, fecundidade, condições de
moradia, dentre outros.
PNAD - Suplementos

Com periodicidade variável, são feitos os chamados ‘suplementos
especiais’:
 1998/2003: condições de saúde;
 2001: trabalho infantil;
 2006: acesso à educação e merenda escolar; trabalho infantil;
acesso a programas de transferência de renda.
Censo Demográfico






Realizado pelo IBGE.
Periodicidade: de 10 em 10 anos.
Parecido com a PNAD.
Principal diferença: é CENSITÁRIO.
Informações sobre os ‘municípios’.
Questionário – menor que o da PNAD.
Pesquisa de Orçamento Familiar




POF: 1985-1986, 1995-1996; 2002-2003
Objetivo: determinar o perfil de consumo das famílias brasileiras.
Finalidade: fornecer as estruturas de ponderação dos índices de
preços.
Também é amostral.
Representatividade
 1985-1986 & 1995-1996: regiões metropolitanas brasileiras e Brasil
metropolitano
 2002-03: estadual e nacional
Sistema Nacional de Avaliação da Educação Básica - SAEB



Objetivo = auxiliar os governos federal, estaduais e municipais na
melhoria da qualidade das políticas públicas de ensino.
É realizado pelo INEP desde 1990, mas com uso da TRI, desde 1995
(de dois em dois anos).
TRI: permite que as notas sejam comparáveis ao longo dos anos.
Exame Nacional do Ensino Médio - ENEM



Vem sendo realizado anualmente pelo INEP desde 1998.
Participam alunos do ensino médio de qualquer rede de ensino. A
participação é voluntária.
A prova contém questões de testes e uma redação. Também existe um
questionário sócio-econômico que deve ser respondido pelo aluno.
Censo Escolar




Realizado pelo INEP & secretarias estaduais de educação.
Objetivo = avaliar as condições de oferta de ensino de todas as
escolas de educação básica do país.
Objeto da avaliação = são as ESCOLAS
Questões: infra-estrutura escolar e medidas relativas ao fluxo escolar.
Custos
Custos

Um último elemento essencial para a avaliação econômica,
especificamente para o cálculo do retorno econômico do
projeto, é uma medida dos custos incorridos na realização do
projeto.

É importante ter em mente que todos os custos precisam ser
incluídos.
Custos

Custos econômicos = custos contábeis + o custo de
oportunidade daqueles que participam do programa.
Custo de oportunidade é o rendimento que se deixa de obter
quando se realiza uma determinada escolha.
Dito de outra forma:
 Custo de oportunidade de um item é aquilo que você abre
mão para poder obter tal item.

Exemplo de Custo de Oportunidade

O Exemplo (1) é um programa de melhoria da qualidade do
ensino - suponha que seu foco esteja no combate à evasão
escolar.

Neste caso, há um custo para esse jovem ou para sua família,
quando ele passa a freqüentar a escola (mesmo que isso seja
desejado pelos gestores do programa).
Exemplo de Custo de Oportunidade

Ao ir à escola, o jovem pode ter que deixar de trabalhar ou então
passar a trabalhar apenas em meio-período. Isto é, há uma queda
na renda que ele gerava para sua família.

Mesmo quando o jovem não trabalha ou quando seu trabalho
não é remunerado, ir à escola pode significar ter que encontrar
alguém para fazer os trabalhos domésticos ou cuidar dos irmãos
mais novos.
Exemplo de Custo de Oportunidade

O ‘salário perdido’ ou o ‘custo da babá’ são os custos de
oportunidade dessas famílias.
Outro exemplo

Há diversos projetos que são desenvolvidos dentro de uma
instituição que pertence aos próprios gestores do programa.
Portanto, não há custos associados ao aluguel do imóvel.

No entanto, podemos pensar que essa casa ou escola ou quadra
esportiva onde o projeto é desenvolvido poderia ser alugada,
gerando uma renda para os gestores.

‘Renda de aluguel perdida’ = custo de oportunidade
importante associado ao projeto, que deve ser considerado.
Taxa de juros de mercado = custo de oportunidade do
projeto social


Quando investimos recursos em um projeto social, abrimos
mão de aplicar esses recursos em outro tipo de projeto social ou
mesmo numa aplicação financeira.
É por essa razão que mais à frente, iremos fazer referência à
taxa de juros de mercado como sendo o custo de oportunidade
do projeto social.
Comentários Finais
Comentários Finais

Aula de hoje: tivemos uma idéia geral do curso, isto é, uma
introdução ao que denominamos de avaliação de impacto e
avaliação de retorno econômico. Além disto, discutimos os
elementos que devem estar presentes no projeto social para que
ele possa ser economicamente avaliado.

Estudamos os conceitos de público-alvo, de objetivo do projeto e
de indicadores de impacto; falamos também sobre a importância
de se construir um cadastro de beneficiários e de se conhecer a
estrutura dos custos associados ao projeto.