AVALIAÇÃO DE
POLÍTICAS PÚBLICAS
Profa. Dra. Maria Teresa Miceli Kerbauy
AVALIAÇÃO
• é um processo sistemático de
análise de uma atividade, fatos ou
coisas que permitem compreender,
de forma contextualizada, todas as
suas dimensões e implicações.
AVALIAÇÃO DE POLÍTICAS
PÚBLICAS
• é parte integrante do processo de
desenvolvimento da política pública
pois possibilita o conhecimento e a
formulação de subsídios para a
tomada de decisão institucional
visando a concretização dos
objetivos da política implementada.
AVALIAÇÃO DE POLÍTICAS
PÚBLICAS
• pode ser formulada e
implementada de diversas
maneiras. A avaliação permite
reconstituir suas características de
forma a compreendê-las melhor.
A AVALIAÇÃO...
• é parte integrante do processo de
desenvolvimento da política pública
pois possibilita o conhecimento e a
formulação de subsídios para a tomada
de decisão institucional visando a
concretização dos objetivos da política
implementada.
SUJEITOS DA AVALIAÇÃO
1) Sujeitos internos
a) Formuladores da
Política
b) Implementadores
da Política
c) Beneficiários da
Política
2) Sujeitos externos
Sociedade Civil
OBJETIVOS DA AVALIAÇÃO
• Pesquisa de Avaliação cujo
objetivo é conhecer a relação
entre condições, meios,
resultados e impactos da
intervenção.
OBJETIVOS
• Verificação de eficácia, de eficiência e de
accountability das ações visando:
–
–
–
–
–
redução dos custos
uso adequado dos recursos
prestação de contas do uso dos recursos
detectar dificuldades
produzir recomendações
• Estes objetivos podem
aparecer de forma
combinada, predominando
um ou outro, dependendo das
perspectivas e decisões do
avaliador ou do proponente
da avaliação.
A avaliação pensada
temporalmente pode ser
• Ex Ante. Tem por finalidade proporcionar
critérios racionais para a decisão se o
projeto deve ou não ser implementado.
Ocorrem durante as fases de preparação e
formulação. Permitem ordenar os projetos
segundo sua eficiência para alcançar os
objetivos perseguidos. São também
chamadas avaliações-diagnósticos.
QUE TEM COMO OBJETIVO
• produzir orientações,
parâmetros e
indicadores que se
incorporem ao projeto,
melhorando seu
desenho e suas
estratégias
metodológicas e de
implementação
• fixar um ponto
de partida que
permita
comparações
futuras (linha de
base ou tempo
zero) (DRAIBE,
2001).
OU PODE SER...
• Ex Post. São feitas concomitantemente ou
após a implantação do programa. Tem como
objetivo:
– verificar os graus de eficiência e eficácia com
que o programa está atendendo seus objetivos;
– avaliar a efetividade do programa, ou seja, seus
resultados, impactos e efeitos (DRAIBE, 2001).
QUANTO À
NATUREZA
AS AVALIAÇÕES
PODEM SER...
Avaliação de Resultado
• tem como objetivo avaliar o
cumprimento dos objetivos
propostos pela política ou
pelo programa.
Avaliação de Processo
• tem como objetivo avaliar as
características organizacionais
e de desenvolvimento dos
programas.
Avaliação de Desempenho
• ligada a área de recursos humanos e
psicologia organizacional. Consiste em
avaliar o nível de competência de uma
pessoa em relação ao nível exigido pelo
posto de trabalho que ela ocupa. Tem como
objetivo a proposta de incentivos, ou como
instrumento de informação ou como feedback para o desenvolvimento de recursos
humanos.
• É considerado como
elemento chave nas
estratégias de reforma e
modernização das
organizações.
AVALIAÇÕES DE
RESULTADOS
• Pode-se distinguir na
avaliação de resultado o
desempenho, o impacto e
os efeitos.
DESEMPENHO
• diz respeito aos produtos
do programa, previstos
em suas metas.
IMPACTOS
• referem-se às alterações
ou mudanças efetivas na
realidade sobre a qual o
programa intervêm e por
ele são provocados.
EFEITOS
• referem-se aos outros impactos do
programa, esperados ou não, que
afetam o meio social e
institucional no qual se realizou
(nível de informação, satisfação,
melhor capacitação dos
implementadores).
INDICADORES UTILIZADOS
PARA AVALIAR RESULTADOS
• devem medir os graus, as quantidades e os
níveis de qualidade com as metas
programáticas foram cumpridas.
Confrontam objetivos e metas. Por ex.:
cobertura da população alvo. Nível de
focalização do programa sobre os públicosalvo pretendidos.
PERGUNTAS
• O programa realizou os
objetivos pretendidos?
• Atingiu os grupos alvos
pretendidos?
• Cumpriu as metas propostas?
MAIORES DIFICULDADES
• Existem maiores dificuldades em
operacionalizar os indicadores de
impactos, pois implicam na
definição ou grupo de referência
com o qual se compararão os
impactos do programa.
COM O QUE COMPARAR?
• Comparação antes e depois.
•
Comparação
Exige diagnóstico da
entre seus
situação anterior ao início
participantes e
do programa. Quando os
não
programas são contínuos,
participantes.
rotineiros e universais é
quase impossível
determinar o ponto inicial.
São avaliações caras.
CONTROLE DE VARIÁVEIS
• é decisivo, de preferência por meio
de métodos estatísticos. Por ex.:
análise multivariada, técnicas de
modelagem ou regressão logística.
PERGUNTAS
• O programa efetivamente produziu
os resultados strito senso que
pretendia alcançar?
• Afetou e em que medida a
característica da realidade que
queria transformar?
INDICADORES DE EFEITO
• medem alterações – esperadas ou não –
provocadas pelo programa que afetam,
além do grupo alvo focalizado, as
instituições ou organizações
participantes, os agentes que
implementam o programa e o meio
social em que este se realiza.
TIPOS
• efeitos sociais
(agentes
implementadores,
comunidade local e
grupos particulares
de interessados na
sua execução).
• Efeitos
institucionais
(instituições
governamentais e
não governamentais
associadas à sua
implementação).
PERGUNTAS
• A implementação do programa logrou produzir, nas
instituições envolvidas, alguma aprendizagem
institucional?
• Produziu melhoria de suas capacidades institucionais?
• Estimulou ou criou condições para a continuidade,
ampliação ou multiplicação da experiência?
(sustentabilidade)
• Foram constatadas melhoras nas capacidades
profissionais dos agentes da implementação, como
resultado das atividades desenvolvidas no interior do
programa?
AVALIAÇÃO DE
PROCESSOS
• A avaliação das políticas públicas
quase sempre se referem ao momento
da formulação, sobretudo às decisões
iniciais (que dizem respeito a atores,
conteúdos materiais e desenho).
FORMULAÇÃO
• “compreende a formação da agenda pública
(tema ou demandas na agenda social e
pública); a produção e o confronto de
alternativas por parte dos diferentes grupos de
atores, os processos de filtragem e de
apropriação / domesticação da poliey por parte
dos agentes segundo o legado ou as tradições e
culturas organizacionais, a formulação e
decisão; as definições de estratégias de
implementação” (Draibe, 2001).
ESTRATÉGIA
• constituída fundamentalmente por
características ou dimensões do processo
tais como a dimensão temporal; os atores
estratégicos a serem mobilizados nos
diferentes estágios, para apoiar a
implementação do programa, os
subprocessos e estágios pelos quais se
desenvolverá a implementação são
importantes para a avaliação de processos.
AVALIAÇÃO DE
PROCESSO
• deve envolver ainda a avaliação
das estratégias que orientaram a
implementação aferindo em que
medida tiveram ou não êxitos,
garantiram ou dificultaram o
sucesso do processo.
IMPLEMENTAÇÃO
• “inclui tanto as atividades-meio,
que viabilizam o desenvolvimento
do programa, quanto a atividadefim, ou a execução propriamente
dita, antes que se torne rotineiro”
(Draibe, 2001).
ITENS IMPORTANTES NA
AVALIAÇÃO DE PROCESSOS
1) Dimensão temporal que envolve
cálculos políticos quanto aos
apoios e resistências que enfrentará
o programa.
ALTERNATIVAS
• Estratégias incrementais. Período
longo, que compreende estágios,
que possibilite construir alianças
ou coalizões de apoio capazes de
vencer resistências.
ALTERNATIVAS
• Estratégias de choque. A implementação
se faz num momento único do tempo e parte
do suposto que a surpresa e medidas, tais
como o insulamento burocrático dos que
tem poder decisório, sejam capazes de
vencer as resistências esperadas e inibir o
surgimento de novas.
2) Atores Estratégicos e Matrizes de
Conflito e Cooperação
• Diagnóstico dos atores institucionais ou
individuais que sustentam o programa e os
que aderem e ou resistem.
• Matrizes institucionais de cooperação ou
conflito para localização dos pontos de
acordo e dos consensos mínimos,
indispensáveis às negociações e
sustentabilidade dos programas.
3) Parcerias e redes de apoio
• Identificação dos produtores e
consumidores da política pública
• Inclui beneficiários mais diretos até atores
institucionais ou não (financiadores,
concorrentes, vinculados a programas
similares e competitivos)
• Para a avaliação de
Processo torna-se
necessário a
identificação de sistemas
ou subprocessos
Sistema Gerencial e Decisório
• Estrutura
hierárquica do
sistema
– centralização ou
descentralização
– autonomia ou
dependência
• Gestão do Tempo
• Capacidade de
implementar
decisões de que
dispõem os
gerentes
Atributos da autoridade que
conduz o processo
• Interno ou externo ao programa
• Funcionários ou assessor
• Liderança e legitimidade
Processos de Divulgação e
Informação
• Divulgação junto ao público interno e
externo
• Informação qualificada entre agentes
implementadores e beneficiários
INDICADORES
• Clareza
• Abrangência
• Suficiência da
informação
• Agilidade do
fluxo
SISTEMA DE SELEÇÃO
• Critérios de seleção de
recrutamento dos
agentes
• Critérios de seleção
dos grupos
beneficiários
• Abrangência da
divulgação dos
processos seletivos
• Critérios na seleção de
instituições e agentes
estratégicos do
programa
(competência e
mérito)
• Adequação do
processo seletivo aos
objetivos do programa
Sistemas de Capacitação
• Capacitação dos
agentes de
implementação
(gerenciais, didáticas,
de supervisão ou
monitoramento, de
desenvolvimento
social)
• Capacitação
dos
beneficiários
Sistemas internos de
Monitoramento e Avaliação
• Monitoramento dos estágios iniciais
• Avaliações internas – restringindo-se em geral a
examinar registros administrativos ou a coletar
opiniões dos agentes implementadores
• Auditorias e avaliações externas (raras)
• Regularidade das avaliações
• Correção de processos e procedimentos
• Resultados sistematizados e socializados entre
instituições e técnicos participantes
Sistemas Logísticos e
Operacionais (Atividade-fim)
• Suficiência de recursos para os objetivos
propostos
• Maximização dos recursos em benefício dos
objetivos e metas
• Suficiência e qualidade dos recursos materiais
(equipamentos coletivos, equipamentos de
comunicação, serviços de transporte)
• Prazos adequados (tempo)
• Os conceitos de eficácia,
eficiência e efetividade
são os mais utilizados
nas avaliações de
processos e resultados.
EFICÁCIA
• Refere-se às características de
implementação de um processo e os
resultados efetivamente alcançados.
• Maior eficácia quando os resultados são
alcançados em menor tempo, menor custo e
melhor qualidade onde o programa se apoia
em processos e sistemas adequados de
implementação.
PERGUNTA
• Quais são ou foram, na
implementação, os fatores de ordem
material e, sobretudo, institucional
que operam como condicionantes
positivos ou negativos do
desempenho dos programas?
EFICIÊNCIA
• Refere-se à relação tempo e custos na
implementação do programa. Mede o grau
de aproximação e à relação entre o previsto
e o realizado, no sentido de combinar os
insumos e implementos necessários à
consecução dos resultados visados.
EFICIÊNCIA
• Relaciona Produtos (bens e • Pergunta: As
atividades operam
serviços) e custos dos
com menores custos
recursos (insumos e
e no menor tempo
atividades) – adicionado o
possível para a
parâmetro tempo
produção máxima
(produtividade). Pode-se
dos resultados
considerar também as
esperados?
alternativas tecnológicas
do processos (eficiência
técnica).
EFETIVIDADE
• Refere-se à relação entre objetivos e metas
de um programa e impactos e efeitos de
outro. A efetividade significa as quantidades
e/ou níveis de qualidade com que o
programa atinge impactos esperados e
promove os efeitos previsíveis ou não.
OS EFEITOS PODEM SER...
• Efetividade social – Capital Social – Rede
de articulações e parcerias específicas que
facilitam sua execução ou adesão e
satisfação dos agentes implementadores e
da população-alvo.
OU...
• Efetividade institucional – modificações
provocadas pelo programa sobre
organizações e instituições responsáveis ou
envolvidas na implementação – capacidade
institucional, aprendizagem institucional ou
hábitos ou comportamentos culturais das
organizações.
PRINCIPAIS DIFICULDADES
• dificuldade de isolar da realidade variáveis
efetivamente relevantes;
• a incerteza sobre os reais objetivos da
política avaliada (dada a necessidade de
distinguir entre objetivos explícitos e
implícitos);
• as dificuldades de obtenção e adequação das
informações;
PRINCIPAIS DIFICULDADES
• as dificuldades técnicas para estabelecer
relações de causalidade entre os programas
e seus resultados;
• as dificuldades para obtenção dos recursos
financeiros necessários à realização de
avaliações confiáveis (Arretche, 1998);
• a descontinuidade político-administrativa
(Lobo, 1998).