Modelos e Metodologia de
Avaliação de Programas e
Políticas Públicos
Bernard Perret
Outubro de 2007
A avaliação das políticas públicas
 Definições
– finalidades da avaliação
 Elementos
históricos
 Atualidade
da avaliação
 Elementos
de metodologia
 As
ferramentas de avaliação
 Exemplos
A avaliação das ações públicas, uma forma
de avaliação entre outras
Podemos avaliar :
O
pessoal (nível de conhecimento,
competências, práticas profissionais)
 As
estruturas (instituições, organismos,
serviços)
 As
técnicas (produtos, processos,
procedimentos)
 As
ações (políticas, programas, projetos)
Vários tipos de ações
 Políticas
 Programas
 Projetos
 Normas,
regulamentação (leis, decretos)
 Procedimentos
 Dispositivos
 Funções
A avaliação : um momento no
ciclo de vida das ações
 Avaliação
ex-ante
 Avaliação concomitante
 Avaliação a meio caminho
 Avaliação ex-post
Politica pública
 Conjunto
de meios e dispositivos de ação,
implementados em conseqüência das
decisões de uma ou várias autoridades
públicas, no intuito de alcançar um
objetivo ou de atingir uma finalidade
ligada ao interesse geral.
Definição da avaliação das
políticas (ações) públicas (I)
 Avaliar
uma política consiste em
“avaliar sua eficiência, comparando
seus resultados com os objetivos
fixados e os meios utilizados”
(Decreto de 18/11/1998)
Definição da avaliação (V)
 Atividade
de estudo e análise sobre a
implementação e os resultados de uma
ação pública
 Realizada num quadro metodológico e
institucional (mais ou menos) formalizado
 No intuito de prestar contas e/ou de
melhorar essa ação
Três dimensões da avaliação
Cognitiva
 Normativa
 Instrumental

Pesquisa social
Análise de políticas
Controle
Auditoria
AVALIAÇÃO
Consultoria
Medição da performance
Benchmarking
Avaliação versus fiscalização
“A avaliação procura ter como
resultado um parecer compartilhado
a respeito da eficiência da política
avaliada, e não apenas verificar a
conformidade com normas
administrativas ou técnicas”
(Circular de 28 de dezembro de 1998)
Fronteiras imprecisas com a auditoria
Em regra geral :
- a auditoria é realizada sobre funções ou
estruturas (organismos, serviços, instituições,
funções...)
- a avaliação é feita sobre ações (políticas,
programas, projetos)
Nem sempre a situação fica tão clara, como
demonstram 2 exemplos franceses :
- avaliação dos estabelecimentos sociais e
médico-sociais (Lei de 02/01/2002)
-auditoria dos programas orçamentários
Finalidade da avaliação
contas sobre o “bom uso dos fundos
públicos” (accountability)
 Prestar
 Tomar
decisões em base mais racional
estratégia (relação com a prospectiva)
otimização do uso dos recursos
 Mobilizar-se, dar sentido à ação
 Compartilhar informações, fazer convergir as
representações
Uma pluralidade de mecanismos de
retroação
Controle hierárquico
 Inspeção / auditoria interna
 Controle de gestão
 Controle externo (Tribunal de Contas)
 Indicadores de performance / benchmarks
 Avaliação das políticas e programas públicos
 “Avaliação política” (pesquisas de opinião,
eleições)

Eleições, pesquisas de opinião (avaliação política)
Avaliação das políticas públicas
Controles externos
Controle de gestão
Controle hierárquico
Políticos
Administrativos
Atividade dos
agentes
Outputs
Resultados
Satisfação e
opinião do
público
A avaliação enquanto modo de
elaboração da ação pública
O
paradigma do decisor racional
 A abordagem “cognitiva” das políticas
públicas
Avaliação e “abordagem cognitiva” das
políticas públicas


“As políticas públicas são a conseqüência de
interações sociais, que resultam na produção
de idéias, representações e valores comuns”
(Yves Surel)
Nessa perspectiva, a avaliação aparece como
um esforço de amplificação e sistematização
dos processos de interação e de conhecimento
que “produzem” as políticas públicas.
As origens americanas
 Intervenções
federais contestadas
 Programas sociais com pouca legitimidade
 Democracia = Accountability
 A orientação empirista das ciências sociais
 O objetivo de uma “política baseada em
provas” (Evidence-based policies)
Os pontos fortes da avaliação no mundo anglófono
 Uma real integração da avaliação ao
processo orçamentário
 O caráter programático da ação pública
 O papel ativo do Parlamento e do
Tribunal de Contas
 A orientação empirista das ciências
sociais
 A profissionalização dos avaliadores
Algumas datas da avaliação na França

A Racionalização das escolhas orçamentárias (19701984)

As tentativas de institucionalização da avaliação
pluralista como ferramenta da governança pública :
Criação de um Conselho Científico da Avaliação (1990)
Transformação em Conselho Nacional da Avaliação
(1998)
Fracasso relativo e supressão do CNE (2002)

A avaliação nos procedimentos contratuais (1993)

A avaliação dos fundos estruturais europeus (1993)

A avaliação na nova lei orçamentária (2001)

A Revisão geral das políticas públicas (2007)
Os desafios da ação pública
 Novas
exigências sociais / complexidade
 Aperto da pressão orçamentária
 Crise das ideologias e da autoridade
(deficit de legitimidade da ação pública)
 Novas formas de governança e de
regulação (globalização, Europa,
descentralização, parcerias, passagem do
“fazer” para o “mandar fazer”)
 Crise da administração pública, demanda
de “significado” no trabalho
Das utilizações potenciais às utilizações
reais: o caso francês







Uma contribuição muito fraca ao debate público
Utilizações orçamentárias relativamente raras, pelo
menos na França
O lugar da avaliação na governança mundial (UE, Banco
Mundial…)
Um auxílio real para o monitoramento das políticas
A importância da dimensão “formativa”
A contribuição para a elaboração de visões
compartilhadas
Na maioria das vezes, efeitos adiados e indiretos
Vários pontos de vista possíveis
A avaliação “Goal free”
A avaliação econômica
A avaliação baseada nos objetivos
A avaliação baseada na “teoria” da
política
 O ponto de vista mais natural e mais
legítimo para realizar uma avaliação
institucionalizada consiste em partir
dos objetivos.
Princípios da avaliação como
procedimento institucional
 A avaliação
institucional utiliza os
resultados da pesquisa avaliativa
 Trata-se de um trabalho coletivo,
monitorado e sintetizado por uma
instância de avaliação
 Toda avaliação começa pela elaboração
coletiva de um projeto (referencial,
questionamento, hipóteses, métodos)
“Num mundo onde a atenção constitui um
recurso importante e dos mais escassos, a
informação pode ser um luxo caro, pois ela
pode desviar nossa atenção daquilo que é
importante para aquilo que não é. Não
podemos nos dar o luxo de tratar uma
informação pelo simples motivo que ela
está aí” (Herbert Simon)
Etapas de uma avaliação
 Carta
de mandato
 Elaboração de um projeto de avaliação
 Constituição de uma instância de avaliação,
que valida o projeto
 Lançamento de um programa de estudo
 Acompanhamento e validação dos estudos
 Redação e validação do relatório
 Acompanhamento e valorização das
conclusões
O PROJETO DE AVALIAÇÃO
 Contexto,
expectativas, apostas
 Delimitação
das ações a serem avaliadas
 Critérios de avaliação (referencial)
 Diagnóstico e hipóteses
 Questionamento (agenda analítica)
 Balanço informacional
 Programa de estudo (entrevistas, pesquisas)
 Escolha dos operadores
Papel da instância de avaliação
Elaborar uma lista de questionamentos com
base no mandato
 Escolher um (uns) método(s)
 Juntar informações e documentos pertinentes
 Realizar audições
 Organizar e conduzir as pesquisas
 Sintetizar e interpretar seus resultados
 Redigir o relatório de avaliação
 Comunicar, explicar, divulgar

Elaborar um referencial:
Transformar objetivos imprecisos,
contraditórios e incompletos em um
sistema hierarquizado de resultados ou de
impactos esperados, suscetíveis de serem
medidos ou objetivados através de
indicadores ou de descritores
Distinguir diferentes níveis de resultados
(“resultados operacionais”) :
resultado direto da atividade dos serviços,
bens e serviços produzidos no âmbito de
um programa
 Outputs
 Outcomes
(impacto, efeitos): efeitos
econômicos e sociais do programa, a curto,
médio ou longo prazo
 A cadeia dos resultados
Um exemplo simples : O policial e a segurança
rodoviária









Os efetivos da polícia (os “meios”)
As horas de trabalho disponíveis do
policial (o “potencial”)
Os controles de alcoolismo
Os controles positivos
As sanções
A informação pública
A dissuasão
A redução do alcolismo ao volante
A redução do número de mortos
“Meios”
ou
“Recursos”
“Outputs”
ou
“Produções”
“Saídas”
ou
“Impactos”
Os principais objetos do questionamento
 Implementação (conformidade, mobilização dos
atores)
 Alcance
dos objetivos (como o problema evolui)
 Efeitos líquidos sobre os objetivos (eficácia)
 Efeitos inesperados (efeitos de sistema…)
 Mecanismos de ação (porquê e como a política
opera)
 Influência
do contexto (circunstâncias influindo
na implementação e na eficácia)
“Meta-critérios” de avaliação
 PERTINÊNCIA (objetivos
/ finalidades /
necessidades)
 COERÊNCIA (meios
 EFICÁCIA
/ dispositivo / objetivos)
(resultados / objetivos)
 EFICIÊNCIA (resultados
 IMPACTO
o sistema)
/ meios / custos)
SISTÊMICO (impacto global sobre
IMPACTO SISTÊMICO
Problemas
Necessidades
Problemas
Necessidades
Ambiente
Sociedade
PERTINÊNCIA
POLÍTICA
Objetivos – Meios – Recursos – Atores
COERÊNCIA
EFICIÊNCIA
EFICÁCIA
Resultados
Efeitos
Onde encontrar as informações ?
 Dados
quantitativos
exploração de arquivos estatísticos
informações administrativas
pesquisa por sondagem (questionário,
telefone, entrevista)
 Dados qualitativos
entrevistas abertas ou semi-abertas
análise de documentos
vídeos
discussão em grupo
observação participativa
O que é um indicador ?
 Um
número que fornece uma informação
a respeito de um fenômeno ou da sua
evolução
 Um
“dispositivo de agregação otimizada
da informação”
 Sua
função é de chamar a atenção sobre
um fato ou uma tendência importante
 Em
geral, ele não basta para formar um
juízo a respeito do sucesso de uma ação
Lugar dos indicadores na avaliação
 Toda
avaliação está baseada em números
 Os indicadores ocupam um lugar que
varia muito enquanto ponto de apoio das
conclusões :
Às vezes, eles respondem por si só às
perguntas da avaliação
Em regra geral, eles precisam ser
interpretados e completados por
informações qualitativas
Os métodos da análise causal
 Objetivo
: comprovar e quantificar uma
relação causal entre um “tratamento” e
um efeito observável
 Uma tarefa central na ótica de uma
racionalização da decisão
 Método preferido : a experimentação
controlada
 Outro método : a estimativa de um
modelo econométrico
O modelo da experimentação social
 Um
“tratamento” social é aplicado a uma
amostra aleatória de beneficiários
 Uma amostra estatisticamente equivalente de
não-beneficiários é formada
 A situação dos indivíduos em relação aos
objetivos é observada antes, durante e após a
implementação do programa
 Testes estatísticos permitem estabelecer em
qual medida o tratamento “faz a diferença”
Limites e dificuldades da experimentação
 Utilização
limitada a certos tipos de
programas (efeitos específicos,
existência de um ”contrafactual”)
 Obstáculos éticos / práticos
 Custos, prazos
 Problemas de validade externa
(generalização)
Métodos microeconométricos
 Exigem
muitos dados individuais a
respeito dos beneficiários de um
“tratamento”
 Sua validade depende da validade dos
modelos explicativos subjacentes
Modelos macroeconométricos
 Exigem
séries temporais bastante
longas
 Sua validade depende da validade do
modelo explicativo subjacente
 Na prática : utilização limitada à
análise dos efeitos econômicos das
políticas
A avaliação não se limita à análise causal
 A avaliação
visa tanto explicar mecanismos
quanto medir efeitos
 Ela participa tanto da explicitação do significado
da ação quanto da sua racionalização
 Ela deve produzir uma argumentação apropriada
para convencer um público diversificado…
 e para fundamentar novas ações / decisões com
base em informações heterogêneas
 agindo por indução mais do que por
demonstração
Os métodos qualitativos
 Pesquisas
qualitativas (entrevistas…)
 Estudos de casos, monografias
 Análise de documentos
 Etno-metodologia
 Utilização de material audiovisual
 “Palavra de especialistas”
 Métodos de trabalho em grupo
As técnicas de decisão
– eficácia: comparação de relações
custo / resultados para diferentes
programas comparáveis
 Custo – benefícios : os resultados e os
impactos são traduzidos em termos
monetários e comparados ao custo do
programa
 Análise multicritérios
 Custo
Redigir um relatório de avaliação
o que o leitor deve poder entender :
 Objetivo
da avaliação
 Delimitação exata do objeto
 Como a avaliação foi planejada e conduzida
 Quais fatos foram estabelecidos
 Quais conclusões foram tiradas
 Quais recomendações resultaram dela
Fonte : Guia da Comissão
Avaliando as Despesas da UE
A Carta da Sociedade Francesa
para a Avaliação (SFE)
 Princípios
de :
Pluralidade
Distanciamento
Competência
Respeito das pessoas
Transparência
Oportunidade
Responsabilidade