A avaliação das ações públicas, uma forma
de avaliação entre outras
Podemos avaliar :
O
pessoal (nível de conhecimento,
competências, práticas profissionais)
 As
estruturas (instituições, organismos,
serviços)
 As
técnicas (produtos, processos,
procedimentos)
 As
ações (políticas, programas, projetos)
Vários tipos de ações
 Políticas
 Programas
 Projetos
 Normas,
regulamentação (leis, decretos)
 Procedimentos
 Dispositivos
 Funções
Definição da avaliação das
políticas (ações) públicas (I)
 Avaliar
uma política consiste em
“avaliar sua eficiência, comparando
seus resultados com os objetivos
fixados e os meios utilizados”
(Decreto de 18/11/1998)
Definição da avaliação (V)
 Atividade
de estudo e análise sobre a
implementação e os resultados de uma
ação pública
 Realizada num quadro metodológico e
institucional (mais ou menos) formalizado
 No intuito de prestar contas e/ou de
melhorar essa ação
A avaliação : um momento no
ciclo de vida das ações
 Avaliação
ex-ante
 Avaliação concomitante
 Avaliação a meio caminho
 Avaliação ex-post
Três dimensões da avaliação
Cognitiva
 Normativa
 Instrumental

Pesquisa social
Análise de políticas
Controle
Auditoria
AVALIAÇÃO
Consultoria
Medição da performance
Benchmarking
Finalidade da avaliação
contas sobre o “bom uso dos fundos
públicos” (accountability)
 Prestar
 Tomar
decisões em base mais racional
estratégia (relação com a prospectiva)
otimização do uso dos recursos
 Mobilizar-se, dar sentido à ação
 Compartilhar informações, fazer convergir as
representações
Princípios da avaliação como
procedimento institucional
 A avaliação
institucional utiliza os
resultados da pesquisa avaliativa
 Trata-se de um trabalho coletivo,
monitorado e sintetizado por uma instância
de avaliação
 Toda avaliação começa pela elaboração
coletiva de um projeto (referencial,
questionamento, hipóteses, métodos)
Etapas de uma avaliação
 Carta
de mandato
 Elaboração de um projeto de avaliação
 Constituição de uma instância de avaliação,
que valida o projeto
 Lançamento de um programa de estudo
 Acompanhamento e validação dos estudos
 Redação e validação do relatório
 Acompanhamento e valorização das
conclusões
O PROJETO DE AVALIAÇÃO
 Contexto,
expectativas, apostas
 Delimitação
das ações a serem avaliadas
 Critérios de avaliação (referencial)
 Diagnóstico e hipóteses
 Questionamento (agenda analítica)
 Balanço informacional
 Programa de estudo (entrevistas, pesquisas)
 Escolha dos operadores
Papel da instância de avaliação
Elaborar uma lista de questionamentos com
base no mandato
 Escolher um (uns) método(s)
 Juntar informações e documentos pertinentes
 Realizar audições
 Organizar e conduzir as pesquisas
 Sintetizar e interpretar seus resultados
 Redigir o relatório de avaliação
 Comunicar, explicar, divulgar

Elaborar um referencial:
Transformar objetivos imprecisos,
contraditórios e incompletos em um
sistema hierarquizado de resultados ou de
impactos esperados, suscetíveis de serem
medidos ou objetivados através de
indicadores ou de descritores
Distinguir diferentes níveis de resultados
(“resultados operacionais”) :
resultado direto da atividade dos serviços,
bens e serviços produzidos no âmbito de
um programa
 Outputs
 Outcomes
(impacto, efeitos): efeitos
econômicos e sociais do programa, a curto,
médio ou longo prazo
 A cadeia dos resultados
Um exemplo simples : O policial e a segurança
rodoviária









Os efetivos da polícia (os “meios”)
As horas de trabalho disponíveis do
policial (o “potencial”)
Os controles de alcoolismo
Os controles positivos
As sanções
A informação pública
A dissuasão
A redução do alcolismo ao volante
A redução do número de mortos
“Meios”
ou
“Recursos”
“Outputs”
ou
“Produções”
“Saídas”
ou
“Impactos”
Os principais objetos do questionamento
 Implementação (conformidade, mobilização dos
atores)
 Alcance
dos objetivos (como o problema evolui)
 Efeitos líquidos sobre os objetivos (eficácia)
 Efeitos inesperados (efeitos de sistema…)
 Mecanismos de ação (porquê e como a política
opera)
 Influência
do contexto (circunstâncias influindo
na implementação e na eficácia)
“Meta-critérios” de avaliação
 PERTINÊNCIA (objetivos
/ finalidades /
necessidades)
 COERÊNCIA (meios
 EFICÁCIA
/ dispositivo / objetivos)
(resultados / objetivos)
 EFICIÊNCIA (resultados
 IMPACTO
o sistema)
/ meios / custos)
SISTÊMICO (impacto global sobre
IMPACTO SISTÊMICO
Problemas
Necessidades
Problemas
Necessidades
Ambiente
Sociedade
PERTINÊNCIA
POLÍTICA
Objetivos – Meios – Recursos – Atores
COERÊNCIA
EFICIÊNCIA
EFICÁCIA
Resultados
Efeitos
Redigir um relatório de avaliação
o que o leitor deve poder entender :
 Objetivo
da avaliação
 Delimitação exata do objeto
 Como a avaliação foi planejada e conduzida
 Quais fatos foram estabelecidos
 Quais conclusões foram tiradas
 Quais recomendações resultaram dela
Fonte : Guia da Comissão
Avaliando as Despesas da UE
A Carta da Sociedade Francesa
para a Avaliação (SFE)
 Princípios
de :
Pluralidade
Distanciamento
Competência
Respeito das pessoas
Transparência
Oportunidade
Responsabilidade
Onde encontrar as informações ?
 Dados
quantitativos
exploração de arquivos estatísticos
informações administrativas
pesquisa por sondagem (questionário,
telefone, entrevista)
 Dados qualitativos
entrevistas abertas ou semi-abertas
análise de documentos
vídeos
discussão em grupo
observação participativa
Os métodos da análise causal
 Objetivo
: comprovar e quantificar uma
relação causal entre um “tratamento” e
um efeito observável
 Uma tarefa central na ótica de uma
racionalização da decisão
 Método preferido : a experimentação
controlada
 Outro método : a estimativa de um
modelo econométrico
O modelo da experimentação social
 Um
“tratamento” social é aplicado a uma
amostra aleatória de beneficiários
 Uma amostra estatisticamente equivalente de
não-beneficiários é formada
 A situação dos indivíduos em relação aos
objetivos é observada antes, durante e após a
implementação do programa
 Testes estatísticos permitem estabelecer em
qual medida o tratamento “faz a diferença”
Limites e dificuldades da experimentação
 Utilização
limitada a certos tipos de
programas (efeitos específicos,
existência de um ”contrafactual”)
 Obstáculos éticos / práticos
 Custos, prazos
 Problemas de validade externa
(generalização)
Métodos microeconométricos
 Exigem
muitos dados individuais a
respeito dos beneficiários de um
“tratamento”
 Sua validade depende da validade dos
modelos explicativos subjacentes
Modelos macroeconométricos
 Exigem
séries temporais bastante
longas
 Sua validade depende da validade do
modelo explicativo subjacente
 Na prática : utilização limitada à
análise dos efeitos econômicos das
políticas
A avaliação não se limita à análise causal
 A avaliação
visa tanto explicar mecanismos
quanto medir efeitos
 Ela participa tanto da explicitação do significado
da ação quanto da sua racionalização
 Ela deve produzir uma argumentação apropriada
para convencer um público diversificado…
 e para fundamentar novas ações / decisões com
base em informações heterogêneas
 agindo por indução mais do que por
demonstração
Os métodos qualitativos
 Pesquisas
qualitativas (entrevistas…)
 Estudos de casos, monografias
 Análise de documentos
 Etno-metodologia
 Utilização de material audiovisual
 “Palavra de especialistas”
 Métodos de trabalho em grupo
As técnicas de decisão
– eficácia: comparação de relações
custo / resultados para diferentes
programas comparáveis
 Custo – benefícios : os resultados e os
impactos são traduzidos em termos
monetários e comparados ao custo do
programa
 Análise multicritérios
 Custo
Os métodos econômicos da avaliação
ambiental
 Método
dos “preços hedônicos”
 Avaliação
 Limites
contingente
desses métodos : o valor dos bens
ambientais é assimilado à sua utilidade
para os indivíduos
A “neutralidade carbono”
 Princípio
geral : compensação obrigatória por
economias equivalentes, em termos físicos
(toneladas de carbono), no âmbito de um
território (região), do impacto dos novos
projetos de desenvolvimento sobre as
emissões de gases com efeito estufa
 Ferramenta de base : sistema de cálculo dos
“balanços de carbono” de acordo com a
natureza dos projetos
 Implantada na França dentro dos contratos de
planos Estado – Regiões
 Objetivo : estabilidade ou “fator 4” ?
As agendas 21
Programa de ação para o século 21, adotado em
1992 por 173 países, na Cúpula da Terra, Rio
92
 as coletividades territoriais foram convidadas a
implementar uma Agenda 21 local
 Objetivos : desenvolvimento econômico e
social ; conservação e administração dos
recursos para o desenvolvimento; dar força aos
principais grupos sociais
 Mais de 200 ações na França

A diretriz européia sobre os planos e
programas (2001)
 Torna
obrigatória a avaliação ambiental exante dos planos e programas suscetíveis de
ter uma incidência significativa sobre o meio
ambiente
 Na França, essa diretriz é aplicada em
dezenas de procedimentos administrativos