Por que institucionalizar a avaliação de políticas e programas? Visão de Controle Mudança no Foco do Controle POLÍTICA PÚBLICA Resultados Finais Problemas SócioEconômicos Necessidades Resultados Intermediários ORGANIZAÇÃO / PROGRAMA/ ATIVIDADE/ PROJETO/POLÍTICA Objetivos Insumos Atividades Produtos EFICIÊNCIA EFETIVIDADE UTILIDADE E SUSTENTABILIDADE Fonte: Pollit, 1999 O que o interessa ao TCU avaliar nas políticas e programas? EFICÁCIA EFICIÊNCIA EFETIVIDADE QUALIDADE EQUIDADE • As coisas estão sendo feitas? • As coisas estão sendo feitas da melhor maneira possível? • Os problemas estão sendo resolvidos? • Os serviços prestados são satisfatórios tecnicamente ou na opinião dos usuários? • Quem deveria estar recebendo o benefício, está mesmo? • Quem não deveria estar recebendo o benefício, está? GESTÃO • As estruturas permitem que as coisas sejam feitas? RISCO • O que pode dar errado e quais as consequências? Papel do Gestor Obrigação avaliar Órgãos de controle tem recursos limitados e múltiplas atribuições Na medida em que o próprio gestor pode Diminuir os desperdícios Melhorar a qualidade dos serviços prestados Eliminar gargalos Revelar problemas de gestão e corrigi-los Otimiza-se a utilização dos recursos de controle Otimização dos Recursos de Controle Nos casos de problemas de desempenho 1ª barreira preventiva/corretiva Diminui-se o risco nos programas avaliados Órgãos de controle podem se concentrar em menos unidades Trabalhos mais rápidos/avaliações podem esgotar pauta relacionada ao desmpenho Auditoria no Programa do Leite Programa de Aquisição de Alimentos – PAA, modalidade Incentivo à Produção e Consumo do Leite Relatório de avaliação contratado pelo MDS junto à Fundação de Apoio ao Desenvolvimento da Universidade Federal de Pernambuco – FADE/UFPE Em razão do amplo escopo, nível de detalhamento, do relatório bem documentado e dos instrumentos de coleta de dados consistentes com os objetivos a equipe de auditoria concluiu que a relação custobenefício de prosseguir com a auditoria era desfavorável. Papel do TCU Atuar como avaliador (em alguns casos) Incentivar a avaliação de programas governamentais Garantir a utilização dos resultados das avaliações Aumentar a accountability do sistema de avaliação Atuar como Avaliador 1998 - 2009 73 Avaliações de Programas 2009 2010 Prouni Formação de Estoques Benefício de Prestação Continuada - BPC Defesa Civil Auxílio Doença Atenção a Portadores de Coagulopatias Incentivar a Avaliação de Programas Provendo informações ao gestor sobre o desempenho do seu programa Sugerindo Indicadores de Desempenho Recomendando avaliações (monitoramentos) Ajudar na Formulação de Indicadores Programa Construção Cisternas Indicador Fórmula Análise do Indicador Custo médio da cisterna construída Custo médio da cisterna/ custo médio esperado. Permite medir economicidade, tomando como referência análise de custos recomendada previamente. Número de cisternas construídas em relação à meta fixada Número total de cisternas construídas/ n.° previsto de cisternas construídas Permite verificar a eficácia. Pode ser utilizado para o acompanhamento mensal da execução da Ação. Percentual de cisternas em funcionamento N.° de cisternas vistoriadas em funcionamento x 100/ n.° de cisternas vistoriadas Permite avaliar a efetividade da Ação, por meio da mensuração do percentual das cisternas construídas em funcionamento. Poderá ser medido apenas em relação às regiões visitadas durante a supervisão periódica. Garantir a utilização dos resultados das avaliações realizadas Preocupação presente Avaliações importam em gasto público Diagnóstico da situação da administração pública Aumentar a accountability do sistema de avaliação Preocupação Futura Mudança na estratégia de atuação Meta avaliações Informar a sociedade sobre o funcionamento do sistema Aumentar o nível de resposta do gestor sobre os resultados apresentados