FÓRUM DA REDE GOIÁS
Avaliação, instrumento estratégico
no ciclo de gestão do PPA 20042007, “Avançar Mais”
Dra. Maria das Graças Rua
AVALIAÇÃO DE PROGRAMAS, AÇÕES
E PROJETOS


 Ferramenta que contribui para integrar
as atividades do ciclo de gestão pública: desde a
identificação dos problemas e o planejamento, a
gestão, até o controle
 Pode subsidiar o planejamento e formulação de
uma intervenção, o acompanhamento de sua
implementação, os conseqüentes ajustes a serem
adotados, e até as decisões sobre sua
manutenção, aperfeiçoamento, mudança de rumo
ou interrupção.
Importância da avaliação para
o ciclo de gestão do PPA

Contribui para a melhor
planejamento governamental.

Favorece a formulação de objetivos e metas
exequíveis e responsáveis.

Permite a correção de rumos nas ações
públicas.

Facilita
alcançar
eficácia,
eficiência
efetividade nas ações governamentais.
qualidade
do
e
Importância da avaliação para
o ciclo de gestão do PPA

Facilita alcançar maior satisfação dos usuários
e maior legitimidade social e política.

Contribui para todas as atividades de controle
interno, externo, e controle social, levando maior
transparência e accountability às ações de
governo.

É decisiva para o processo de aprendizagem
institucional.



Obstáculos à avaliação:
 Modelos gerenciais orientados para processos/
Ausência de cultura de accountability
 Ameaça: avaliação alheia à gestão, estritamente
por avaliadores externos

 Falta de domínio conceitual e metodológico

 Falta de clareza dos critérios

 Falta de conexão entre avaliação e tomada de
decisão, impede o aprendizado organizacional
Avaliação formal




 É o exame sistemático de certos objetos, baseado em
critérios explícitos e mediante procedimentos
reconhecidos de coleta e análise de informação sobre o
conteúdo, estrutura, processo, resultados, qualidade e/ou
impactos de quaisquer intervenções planejadas na
realidade
 Avaliação: envolve tanto julgamento como atribuição
de valor e mensuração
 Não é tarefa neutra, mas comprometida com princípios
e seus critérios
 Requer uma cultura: uma disciplina intelectual e uma
familiaridade prática, amparadas em valores
Avaliação X Monitoramento
Avaliação é o exame discreto de processos,
produtos, qualidade, resultados, impactos, das
intervenções realizadas.
Monitoramento é o exame contínuo de processos,
produtos, resultados, impactos, das intervenções
realizadas.
Avaliação: objetivos gerais
identificar e mensurar os resultados, efeitos, impactos
compreender como e porque foram obtidos ou não
julgar as intervenções mediante critérios definidos,
como eficácia, eficiência, sustentabilidade, etc
proporcionar informações necessárias para a tomada
de decisão sobre o objeto avaliado
viabilizar estratégias de responsabilização e
accountability
proporcionar aprendizado institucional
Monitoramento: objetivos gerais
identificar mudanças parciais a partir da linha de
base das metas
controlar o cumprimento das metas estabelecidas
acompanhar a execução de um Plano de Atividades
para facilitar sua correta implementação
identificar erros e omissões na concepção do
próprio projeto ou programa
proporcionar informações necessárias para a
tomada de decisão sobre o projeto ou programa
proporcionar aprendizado institucional
Tipologia (s) de Avaliação






 Avaliação
Jurídica ou de conformidade
 Avaliação de situação, ambiental ou de
contexto
 Avaliação de desempenho individual e
institucional
 Avaliação de processo
 Avaliação de produto/resultado
 Avaliação de impacto
Tipologia (s) de Avaliação






 Avaliação de qualidade
 Avaliação de satisfação do usuário
 Avaliação Interna
 Avaliação Externa
 Avaliação Mista
 Avaliação participativa
Tipologia (s) de Avaliação
 Avaliação

ex-ante
 Avaliação ex-post

 Avaliação Somativa

 Avaliação Formativa ou Retroalimentadora

Desafios para a institucionalização da avaliação:



 definição clara dos objetivos e valores que
orientam o ciclo de gestão e a atividade de
intervenção (objeto)
 definição clara dos objetivos da avaliação
 definição de critérios claros e consolidados
para mensuração e julgamento





Desafios para a institucionalização da avaliação:
construção e utilização precisa e regular de
indicadores fidedignos
identificação e pactuação de indicadores e
informações relevantes com os atores envolvidos
 estabelecimento e consolidação de marco
conceitual e metodológico
 utilização das abordagens compatíveis com o
objeto e a ser avaliado e com sua complexidade.




Desafios para a institucionalização da avaliação:
 combinação de abordagens qualitativas e
quantitativas
definição e manejo efetivo de fluxos da
informação gerada pelo processo avaliativo:
utilização para decisões gerenciais
adoção de mecanismos efetivos de
disseminação dos resultados e de aprendizagem
organizacional
Critérios para avaliação:
Eficácia capacidade de produzir os resultados
esperados
Economicidade  capacidade de reduzir custos
Eficiência elevação da produtividade, da relação
custo/benefício
Efetividade capacidade de maximizar a eficácia e a
eficiência
Equidade capacidade de contribuir para a redução de
assimetrias individuais e sociais
Sustentabilidade capacidade de manter e/ou expandir
os ganhos obtidos, para além da intervenção
Métodos/Modelos de Avaliação





 Análise custo-benefício, análise custoefetividade.
 Meta-avaliação
 Avaliação quasi-experimental: sincrônica e
diacrônica
 Modelo causal: Marco Lógico(BID) ou Matriz
Lógica (BIRD) ou Quadro Lógico (GTZ)
 Avaliação Independente de objetivos
Como gerenciar um sistema de avaliação :
1. Definir objetivos e periodicidade
2. Identificar os Usuários
3. Estabelecer Critérios  questões gerais
4. Identificar dimensões focais perguntas específicas
5. Selecionar Instrumentos e Mecanismos de Avaliação
6. Definir o Arranjo institucional
7. Definir as estratégias de disseminação e aprendizado
organizacional
8. Definir as estratégias de aplicação das
recomendações e de sustentabilidade
9. Orçamento
1-Objetivo e periodicidade das avaliações
*Testar a estratégia inicial para gerar os resultados
momento inicial do ciclo do programa (1-2 anos)
*Averiguar a necessidade e identificar quais os ajustes
para melhorar a obtenção dos resultados
momento intermediário do ciclo do programa (2-3
anos)
*Tomar decisões sobre prosseguimento ou extensão do
programa, extrair lições
momento final do programa: meados do último ano
2-Usuários: a quem se destina cada produto do
sistema de M&A, conforme os objetivos definidos
3- Critérios: economicidade, conformidade,
tempestividade, celeridade, eficácia, eficiência,
efetividade, equidade, sustentabilidade, etc
4-Dimensões focais: processo, atividades, produtos,
resultados, efeitos, impactos  definem as
perguntas a serem respondidas
5-Instrumentos e Mecanismos: Relatórios de
Monitoramento; Relatórios de Avaliações Iniciais,
Intermediárias e Final; Visitas de Validação; Oficinas
de Avaliação de Efeitos; Exame Final
6-Arranjo institucional: definição das funções e
responsabilidades de cada ator no sistema de
M&A
7-Estratégia de disseminação e aprendizado
organizacional: alcance da divulgação de cada
tipo de produto do sistema (quem recebe o quê,
quando e por que meios) + mecanismos,
instrumentos e dinâmicas a serem adotadas para
aprendizagem (oficinas, reuniões, audiências de
revisão, etc)
8-Estratégia de aplicação e sustentabilidade
avaliação das reações ao sistema de M&A:
monitoramento da implementação das
recomendações e das lições aprendidas;
identificação das necessidades e oferta de
sensibilização e de capacitação dos
stakeholders; exame crítico do sistema de M&A e
ajustes necessários.
9-Orçamento