Ministério do Planejamento, Orçamento e Gestão
Secretaria de Planejamento e Investimentos Estratégicos
Uso e Construção de Indicadores no PPA1
Brasília, maio de 2007
1
Material do módulo IV do curso PPA: Elaboração e Gestão – Ciclo Básico
Índice:
Introdução ................................................................................................................. 3
Aspectos Conceituais........................................................................................... 4
Conceitos gerais: o que são indicadores?............................................................... 4
Funções: Para que servem os indicadores ? .......................................................... 4
Tipos de Indicadores ........................................................................................... 5
Indicadores Segundo Âmbito de Medição Gerencial............................................. 5
Indicadores Segundo Dimensões de Avaliação do Desempenho........................... 6
Uso de Indicadores no PPA.............................................................................. 8
Definição de indicador de programa do PPA......................................................... 8
Situação atual dos indicadores no PPA.................................................................. 9
Construção de Indicadores no PPA........................................................... 10
Atributos de Indicadores ....................................................................................... 10
Referências Bibliográficas.............................................................................. 12
2
Introdução
A transição recente em nível mundial de uma administração pública de tipo
burocrática, centrada em meios e procedimentos para uma administração gerencial
voltada para os resultados junto aos cidadãos, não pode prescindir do
desenvolvimento de instrumentos voltados para conhecer e gerir as mudanças
necessárias de forma efetiva, eficaz e eficiente.
Nesse sentido, vêm ganhando importância o desenvolvimento de
metodologias de planejamento, gerenciamento e avaliação, dotadas de meios para
se aferir o desempenho e os resultados obtidos pela ação de Governo.
Para tanto, o uso de indicadores se faz necessário nas diversas etapas dos
ciclos de planejamento e gestão, de maneira a melhor caracterizar e dimensionar
as situações problemáticas e demandas sociais, tanto para a construção de um
plano constituído de programas efetivos para alcance de seus objetivos, quanto
para permitir o monitoramento e avaliação periódica dos resultados obtidos pelas
intervenções.
O Governo federal ao estabelecer que, a partir do PPA 2000-2003 toda a
ação destinada a proporcionar bem ou serviço para atendimento a demandas da
sociedade fosse estruturada em Programas, condicionou que os mesmos fossem
constituídos de indicadores destinados a quantificar a situação que se pretendia
modificar.
O modelo de Planejamento Federal tem na construção e utilização de
indicadores, portanto, um de seus aspectos constitutivos fundamentais, na medida
em que busca integrar por meio dos programas do PPA o planejamento, o
orçamento e o gerenciamento de maneira a orientar as decisões dos agentes
públicos para o alcance dos objetivos da ação governamental.
Esse documento tem por objetivo apresentar, de forma sucinta, os principais
aspectos relacionados ao uso de indicadores na gestão pública de maneira geral e
na construção de indicadores para programas do Plano Plurianual em Particular, de
maneira a contribuir para com que as equipes direta ou indiretamente envolvidas
na concepção e implementação de programas disponham de referências
metodológicas essenciais para a compreensão do tema.
3
Aspectos Conceituais
Conceitos gerais: o que são indicadores?
Indicadores podem ser compreendidos como instrumentos que permitem
identificar e medir aspectos relacionados a um determinado conceito, fenômeno,
problema ou resultado de uma intervenção na realidade.
A principal finalidade de um indicador é traduzir de forma mensurável
determinado aspecto de uma realidade dada (situação social) ou construída (ação
de governo), de maneira a tornar operacional a sua observação e avaliação.
Os indicadores, portanto, são medidas, ou seja, uma atribuição de números
a objetos, acontecimentos e situações de acordo com certas regras (Ruas, 2005).
É importante distinguir os conceitos de “indicador” em relação ao conceito de
“medição de variável” (Weiss, 1998). Um indicador é uma medição ordinal que
sempre tem uma dimensão de rumo esperado. Por exemplo, o “número de
desempregados” é uma medição de variável sobre a qual, isoladamente, não é
possível definir se é a situação medida é boa ou ruim, ao contrário do que acontece
quando a medição escolhida é a “Taxa de Desemprego”, cuja evolução desejável é
sempre sua redução.
Funções: Para que servem os indicadores ?
Dentre as funções básicas que podem ter os indicadores, duas podem ser
destacadas (Bonnefoy e Armijo, 2005):
Função Descritiva: consiste em aportar informação sobre uma
determinada situação social ou ação pública como, por exemplo, quantidade de
famílias em situação de pobreza ou o número de estudantes que recebem bolsas de
estudos.
Função valorativa (ou avaliativa): que implica em agregar informação de
juízo de valor a partir da situação anterior, para verificar a importância relativa de
determinado problema ou se o desempenho do programa é adequado, o que no
caso anterior poderia significar “o número de famílias em situação de pobreza em
relação ao número total de famílias” ou “número de bolsas concedidas em relação
ao número de estudantes carentes”.
Tanto para a pesquisa social quanto para o desenho e implantação de
políticas públicas, planos e programas, os indicadores surgem como uma mediação
entre a teoria e as evidências da realidade, gerando instrumentos capazes de
identificar e medir algum tipo de fenômeno social, estabelecido a partir da reflexão
teórica (Cardoso, 1998).
Os indicadores, em decorrência de suas funções básicas, são amplamente
utilizados para o planejamento, a avaliação e o monitoramento de programas. Para
tanto é necessário saber com clareza quais aspectos do programa são importantes,
e dispor de indicadores para que cada um deles seja constantemente monitorado e
periodicamente avaliado. O gerenciamento necessita de indicadores de processos,
de indicadores das ações que conformam resultados; sobre elas, exerce o
julgamento e as medidas corretivas, quando necessário, buscando sempre o melhor
resultado, que é obtido por antecipação, com qualidade, oportunidade e intensidade
apropriada das ações (Garcia, 2001).
4
Tipos de Indicadores
As classificações de indicadores são muito variadas na literatura
especializada, bem como suas perspectivas de utilização, seja do ponto de vista de
sua utilização pelas ciências sociais, da formulação ou análise de programas e
políticas ou da perspectiva da verificação do desempenho organizacional.
Do ponto de vista da produção de bens e serviços públicos ou privados e os
resultados produzidos, destacam-se duas principais tipologias de mensuração de
aspectos fundamentais da gestão: i) pela atuação na geração de produtos e ii)
pelas dimensões de desempenho.
Indicadores Segundo Âmbito de Medição Gerencial
A primeira tipologia se refere aos instrumentos de mensuração das principais
variáveis associada ao cumprimento de metas e objetivos, relacionando os
insumos2 usados e os custos incorridos em sua utilização em processos
destinados a ofertar bens ou serviços (produtos)3 destinados à obtenção de
resultados4 junto a um determinado público-alvo (Kriestensen, Grosyk e Büher,
2002). Podem ser denominados âmbitos de medição estão representados na figura
abaixo.
Âmbitos de Medição Gerencial das Ações
Custos
Insumos
Processos
os
Produtos
Resultados
Para cada um destes aspectos do processo produtivo dão origem a
indicadores:
Indicadores de Insumos: referem se aos recursos materiais, financeiros e
humanos utilizados, geralmente expressos no número de profissionais envolvido,
quantidade de horas necessárias para o desenvolvimento de um projeto ou custo
de aquisição de insumos. São indicadores úteis para dimensionar os recursos
necessários para a produção, mas não são capazes de indicar o cumprimento de
objetivos finais.
Indicadores de Processos: quantificam o desempenho de atividades
relacionadas à forma de produção de bens e serviços, tais como procedimentos de
aquisições (dias de prazo para contratação de bens ou serviços) ou realização de
atividades (prazo médio para concessão de licenças ambientais).
Indicadores de Produtos: demonstra quantitativamente os bens e
serviços produzidos por um programa, que são resultados da combinação um
2
Frequentemente referidos na literatura especializada como entradas ou inputs, na língua inglesa.
São comumente mencionados como outputs ou saídas de determinados processos.
4
O termo outcome é utilizado na literatura especializada geralmente para se referir ao resultado final ou
impacto. Kriestensen, Groszyk e Bühler (2002) lembram que nos Estados Unidos o termo se refere
habitualmente às conseqüências intencionais da intervenção, enquanto que na Austrália é utilizado para
se referir tanto aos efeitos intencionais quanto àqueles não previstos.
3
5
conjunto de insumos mediante determinado processo. No plano plurianual são
sempre representados pela realização das metas físicas de ações, que resultam em
produtos específicos, por exemplo, “cidadão vacinado”, no caso de uma ação em
programas destinados à erradicação de doenças. Existem, no entanto indicadores
de produtos estabelecidos como indicadores de programa, como nos exemplos
abaixo:
Programa
Indicador
Fórmula de Cálculo
Qualidade do
Serviço de Energia
Elétrica
Engenho das Artes
Outorga de Linhas
de Transmissão da
Rede Básica
Número de
Espetáculos
Apoiados por Região
Linhas de transmissão da rede básica
outorgadas no ano, em km.
Número absoluto de espetáculos promovidos
pela União por região
Indicadores de Resultado: estão relacionados aos objetivos que
determinado programa visa a cumprir. Também são denominados indicadores de
impacto e se relacionam à efetividade do programa, conforme será mostrado na
seção seguinte. São indicadores que informam quanto às conseqüências da
realização de um programa.
Indicadores Segundo Dimensões de Avaliação do Desempenho
A segunda tipologia, destinada a mensurar o desempenho de programas, é
intrinsecamente relacionada à primeira, com a distinção fundamental de que a
anterior se destina principalmente aos objetivos de prestação de contas e controle
gerencial, enquanto esta é mais voltada à avaliação e à tomada de decisões por
estabelecer parâmetros relativos ao mérito da intervenção.
O esquema abaixo ilustra como os indicadores de desempenho se
relacionam com as dimensões fundamentais de gerenciamento, cujas variáveis
observáveis podem ser combinadas para sua criação.
Âmbito das dimensões de avaliação do desempenho
Custos
Insumos
ECONOMICIDADE
Processos
os
EFICIÊNCIA
Produtos
EFICÁCIA
Resultados
EFETIVIDADE
Garcia (2001) sugere o seguinte conceito de desempenho: “resgate do
compromisso de execução de uma programação formalmente estabelecida como
desejável e factível, a partir de parâmetros confiáveis surgidos da aplicação do
conhecimento técnico-científico sobre a experiência prática”, formulada a partir da
reflexão de que “empenhar” é contrair uma dívida mediante o oferecimento de
garantia real de pagamento. No caso da Administração Pública, segundo o autor, o
desempenho se refere à realização de compromissos assumidos, ao cumprimento
daquilo a que estava obrigado pelas competências inerentes à função ou cargo ou
ainda pela responsabilidade atribuída circunstancial ou permanentemente a uma
função dirigente ou a um órgão.
6
Para se realizar uma avaliação é necessário explicitar e precisar a que se
refere à avaliação, quais dimensões do desempenho interessam, a partir da análise
dos seguintes aspectos5 de:
Efetividade. É a medida do grau de atingimento dos objetivos que
orientaram a constituição de um determinado Programa, tendo como referência os
impactos na sociedade, conforme os exemplos abaixo6.
Programa
Indicador
Fórmula de Cálculo
Primeiro Emprego
Participação relativa
de jovens do
Programa Primeiro
Emprego - PNPE no
total de admissões
Taxa de Cura da
Tuberculose
Numero total de jovens, na faixa etária de 16 a
24 anos, colocados pelo Programa sobre
número total de jovens admitidos no Cadastro
Geral de Empregados e Desempregados CAGED.
Relação percentual entre o número de casos de
tuberculose curados e o número total de casos
de tuberculose diagnosticados.
Controle da
Tuberculose e
Eliminação da
Hanseníase
Essa categoria de indicadores é fundamental para a mensuração do
resultado de um programa em solucionar um problema ou demanda social e tratase do indicador de programa por excelência, contudo, existem grandes dificuldades
em sua construção, por exemplo:
o
Dificuldade na definição e operacionalização do que se espera como
resultado final, quando é o caso de estabelecer melhorias na
“qualidade de vida” ou incrementar a “segurança da população”, que
são conceitos multidimensionais (envolvem mais de uma variável).
o
Dificuldade de isolar os fatores externos ao programa que contribuem
para o seu resultado final.
o
Prazos de transformação das condições iniciais enfrentadas pelo
programa extrapolam o período de vigência do Plano Plurianual.
o
A apuração do indicador implica em custos proibitivos, pela
necessidade de realização de avaliações ou pesquisas custosas e/ou
demoradas para sua obtenção.
Eficácia. É a medida do grau de atingimento das metas fixadas para um
determinado projeto, atividade ou programa em relação ao previsto. No caso do
exemplo abaixo, o percentual de execução física e o percentual de execução
financeira constituem exemplos de indicadores de eficácia da ação.
Ação:
•
Produto:
E
f Físico
i Financeiro
c
iência
Ampliação da Rede Rural de Distribuição de Energia Elétrica - Luz para Todos
REDE AMPLIADA
Unid. Medida: km
Previsto Atual
Liquidado
% de Execução
1.409,000
992,710
70%
44.563.341,00
31.001.470,00
70%
5
As dimensões de efetividade, eficácia e eficiência fazem parte do glossário de termos do Decreto Nº
5.233, 6/10 de 2004, que estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus
Programas.
6
Os exemplos foram extraídos do Sistema de Informações Gerenciais e de Planejamento do Plano
Plurianual – SIGPLAN.
7
Eficiência. É medida da relação entre os recursos efetivamente utilizados
para a realização de uma meta para um projeto, atividade ou programa frente a
padrões estabelecidos.
Programa
Indicador
Fórmula de Cálculo
Combate à
Criminalidade
Prazo de Conclusão
de Inquéritos
Policiais na Polícia
Federal
Taxa de Julgamento
de Processos no
Supremo Tribunal
Federal
Prazo de Concessão
de Benefícios
Tempo médio gasto entre a abertura e
conclusão de inquéritos policiais na Polícia
Federal.
Prestação
Jurisdicional no
Supremo Tribunal
Federal
Qualidade dos
Serviços
Previdenciários
Relação percentual entre o nº de processos
julgados e o total de processos protocolizados
no ano.
Tempo médio para concessão de benefícios,
contado a partir da entrada do requerimento.
Economicidade (ou economia). É a minimização dos custos de aquisição
dos recursos utilizados na consecução de uma ação, sem comprometimento da
qualidade desejada (Brasil, 2000). Os indicadores de economicidade são de grande
importância para o gerenciamento de programas. No PPA, geralmente não são
explicitados na forma de indicadores de programa e são freqüentes na elaboração e
acompanhamento de planos gerenciais, relacionando variáveis de custo de
aquisição de insumos para a realização de determinado produto. Para o exemplo
abaixo, dados os atributos de uma atividade do PPA:
Ação:
Obtenção de Imóveis Rurais para Reforma Agrária
Produto:
Área obtida
Físico
Previsto
(Há)
1.519.435,000
Unid. Medida: Hectare
Financeiro Previsto
931.936.115,00
(R$)
Custo médio de Aquisição de Imóveis Rurais: 613,34 R$/Ha
Um possível indicador de seria o “custo médio de aquisição de imóveis
rurais”, cuja fórmula de cálculo se daria pela razão entre o custo total previsto
(variável de custo do insumo) previsto e a meta física prevista (variável de
produto). Sua apuração passa ter sentido para a verificação de economia quando o
indicador é comparado com padrões observados no mercado de imóveis rurais.
Uso de Indicadores no PPA
Definição de indicador de programa do PPA
No Plano Plurianual 2004-2007, cada programa finalístico ou de serviços ao
estado do deve conter um ou mais indicadores, cuja definição é, segundo o Manual
de Elaboração de Programas, editado pelo Ministério do Planejamento:
“Instrumento capaz de medir o desempenho do programa. Deve ser passível de
aferição e coerente com o objetivo estabelecido, ser sensível à contribuição das
principais ações e apurável em tempo oportuno. O indicador permite, conforme o
8
caso, mensurar a eficácia, eficiência ou efetividade alcançada com a execução do
programa.”
Considerando que os programas são construídos para enfrentar problemas e
demandas na sociedade, os indicadores constituem a principal medida da
efetividade da atuação governamental para a verificação do alcance de seus
objetivos ao longo do tempo ao medir a efetividade, eficácia e eficiência do
programa.
Para que isso ocorra, é importante que o problema ao qual se refira o
programa esteja bem definido e adequadamente descrito por informações da
realidade que deverão integrar o indicador, juntamente com aqueles que se refiram
às mais importantes ações com que o problema será atacado. Do contrário, não
será possível verificar mudanças no problema nem tampouco associar as mudanças
ao desempenho das ações. Se o indicador não estiver assim construído, corre-se o
risco de não se ter como avaliar resultados dos esforços desprendidos para sanar o
problema (Garcia, 2000).
Situação atual dos indicadores no PPA
A título ilustrativo, o quadro abaixo mostra que cada programa finalístico ou
de serviço ao Estado dispõe em média de dois indicadores, embora a maioria dos
programas disponha de apenas um indicador, enquanto há programas com até 14
indicadores e 7 programas que não apresentaram indicadores quando de sua
inclusão no Plano Plurianual.
Indicadores nos Planos Plurianuais
2000
2001
2002
2003
2004
2005
Programas
389
392
380
392
394
392
Indicadores
598
662
663
663
674
780
Média
1,5
1,7
1,7
1,7
1,7
2,0
Fonte: Sigplan
Embora o número de indicadores e a média de indicadores por programa
possam ser considerados satisfatórios, há um desafio permanente não apenas na
criação de indicadores adequados para a mensuração da efetividade de cada
programa do plano, mas também no sentido de obter sua apuração efetiva,
conforme ilustra o quadro abaixo.
Apuração de indicadores
Indicadores
Total
Percentual
2000
2001
2002
2003
2004
2005
203
271
239
259
270
440
34%
41%
36%
39%
43%
55%
Fonte: Sigplan
9
Construção de Indicadores no PPA
Cada programa finalístico ou de serviços ao Estado deve haver um ou mais
indicadores. Os programas de apoio administrativo e gestão de políticas públicas
não possuem indicadores, por não serem constituídos de ações finalísticas7.
Exemplo:
- Objetivo: "Reduzir o analfabetismo no País"
- Indicador: "Taxa de analfabetismo" (relação percentual entre a população
não-alfabetizada e a população total)
Atributos de Indicadores
Cada indicador no PPA deve possuir os atributos especificados a seguir:
i)
sociedade.
Denominação: Forma pela qual o indicador será apresentado à
ii)
Unidade de medida: Padrão escolhido para mensuração da relação
adotada como indicador. Por exemplo, para o indicador "taxa de analfabetismo" a
unidade de medida seria "porcentagem", e para o indicador "taxa de mortalidade
infantil" a unidade de medida seria "1/1000" (1 óbito para cada 1000 nascimentos).
iii)
Índice de referência: Expressa a situação mais recente do
problema e sua respectiva data de apuração. Consiste na aferição de um indicador
em um dado momento, mensurado com a unidade de medida escolhida.
iv)
Índices esperados ao longo do PPA: Situação que se deseja
atingir com a execução do programa, expresso pelo indicador, ao longo de cada ano
do período de vigência do PPA.
v)
Índice ao final do programa (somente para programas
temporários): Resultado, expresso pelo indicador, que se deseja atingir com a
conclusão da execução do programa.
vi)
Fonte: Órgão responsável pelo registro ou produção das informações
necessárias para a apuração do indicador e divulgação periódica dos índices. A
maior parte das informações utilizadas na construção dos indicadores poderá ser
produzida pelos próprios órgãos executores dos programas ou outros integrantes
da estrutura do Ministério responsável. Estes deverão manter sistemas de coleta e
tratamento de informações com esta finalidade. Em muitos casos as informações
serão buscadas junto a outras fontes que podem ser instituições oficiais ou mesmo
privadas, quando de reconhecida credibilidade: IBGE, FIPE, FGV, Banco Central,
DIEESE, ANBID, entre outras.
vii)
Periodicidade: Freqüência com a qual o indicador é apurado.
7
Entende-se por ação finalística aquela que proporciona bem ou serviço para atendimento direto a
demandas da sociedade (Brasil, 2006)
10
viii) Base geográfica: Menor nível de agregação geográfica da apuração
do índice, podendo ser municipal, estadual, regional ou nacional.
ix)
Fórmula de cálculo: Demonstra, de forma sucinta e por meio de
expressões matemáticas, o algoritmo que permite calcular o valor do indicador. Por
exemplo, para o indicador "Espaço aéreo monitorado", a fórmula de cálculo poderia
ser "Relação percentual entre o espaço aéreo monitorado e o espaço aéreo sob
jurisdição do Brasil", assim como para o indicador "Incidência do tétano neonatal" o
indicador poderia ser "Relação percentual entre o número de casos novos de tétano
neonatal e o total da população menor de um ano de idade".
11
Referências Bibliográficas
BRASIL. Lei Nº 10.933, DE 11 DE AGOSTO DE 2004. Dispõe sobre o Plano
Plurianual para o período 2004/2007. Diário Oficial da República Federativa
do Brasil de 12.8.2004 - Edição extra.
_______ . Lei n. 9.989, de 21 de julho de 2000. Dispõe sobre o plano plurianual
para o período de 2000/2003. Diário Oficial da República Federativa do
Brasil, Brasília, DF, p. 1, 21 jul. 2000.
________. Ministério do Planejamento, Orçamento e Gestão. Secretaria de
Planejamento e Investimentos Estratégicos. O desafio do planejamento
governamental. Brasília, 2002.
________. Manual de Elaboração de Programas. Brasília, 2006.
________. Plano Plurianual 2000-2003: análise dos quatro anos de implementação.
Brasília: DF, 2004.
________. Manual de Avaliação PPA 2004-2007: Ano Base 2005. Brasília, 2006.
_______. Decreto Nº 5.233 de 6 de Outubro de 2004. Estabelece normas para a
gestão do Plano Plurianual 2004-2007 e de seus Programas e dá outras
providências. Diário Oficial da República Federativa do Brasil
de
7.10.2004. Brasília: DF, 2004d.
CARDOSO, Adauto Lúcio. Indicadores Sociais e Políticas Públicas: algumas notas
críticas. Proposta, Nº 77, Junho-Agosto de 1998.
BONNEFOY, Cristóbal e ARMIJO, Marianela. Indicadores de desempeño en el sector
público. Instituto Latinoamericano y del Caribe de Planificación Económica
y Social – ILPES. Santiago do Chile, 2005.
GARCIA, Ronaldo.Coutinho. A Reorganização do Processo de Planejamento do
Governo Federal: O PPA 2000-2003. Brasília: IPEA, 2000.
________. Subsídios para organizar avaliações da ação governamental.
Planejamento e Políticas Públicas, Brasília, n.23, jun.2001.
JANNUZZI, Paulo de Martino. Indicadores Sociais na Formulação e Avaliação de
Políticas Públicas, Mimeo, Escola Nacional de Administração Pública,
Brasília, 2004.
KRISTENSEN, Jens; GROSZYK, Walter y BÜHLER, Bernd (2002), “Outcome-focused
Management and Budgeting”, OECD Journal on Budgeting, Vol 1, Nº4,
Paris, 2002.
RUA, Maria das Graças. Desmistificando o problema: uma rápida introdução ao
estudo dos indicadores, Mimeo, Escola Nacional de Administração Pública,
Brasília, 2004.
WEISS, Carol. “Evaluation: Methods for Studying Programs and Policies, (2nd
Edition), Prentice Hall, New Jersey, 1998.
12