A AVALIAÇÃO NO CICLO DE GESTÃO PÚBLICA
Maria das Graças Rua
O conceito de avaliação das ações governamentais, assim como o de
planejamento, surge com as transformações no papel do Estado especialmente
devido ao esforço de reconstrução após a Segunda Guerra, à adoção de
políticas sociais e à conseqüente necessidade de analisar os custos e as
vantagens de suas intervenções. Mais recentemente, no âmbito do grande
processo de mudança das relações entre o Estado e a sociedade e da reforma
da administração pública, que passa do primado dos processos para a
priorização dos resultados, a avaliação assume a condição de instrumento
estratégico em todo o ciclo da gestão pública (Kettl, 2000).
Segundo Guba & Lincoln (1990), a trajetória histórica dos processos de
avaliação, passa de um primeiro estágio, centrado na medida dos fenômenos
analisados, para a focalização das formas de atingir resultados, evoluindo para
um julgamento das intervenções e, finalmente, tendendo a constituir “um
processo de negociação entre os atores envolvidos na intervenção a ser
avaliada” (Constandriopoulos, 1997).
O termo “avaliação” é amplamente usado em muitos e diversos contextos,
sempre se referindo a julgamentos. Por exemplo, se vamos ao cinema ou ao
teatro formamos uma opinião pessoal sobre o que vimos, considerando
satisfatório ou não. Quando assistimos a um jogo de futebol, formamos
opinião sobre as habilidades dos jogadores. E assim por diante. Estes são
julgamentos informais que efetuamos cotidianamente sobre todos os aspectos
das nossas vidas. Porém, há avaliações muito mais rigorosas e formais,
envolvendo julgamentos detalhados e criteriosos, sobre a consecução de
metas, por exemplo, em programas de redução da exclusão social, melhoria
da saúde dos idosos, prevenção da delinqüência juvenil ou diminuição de
infecções hospitalares. Essas correspondem à avaliação formal, que é o exame
sistemático de certos objetos, baseado em procedimentos científicos de coleta
e análise de informação sobre o conteúdo, estrutura, processo, resultados e/ou
impactos de políticas, programas, projetos ou quaisquer intervenções
planejadas na realidade (Rua, 2000).
As definições de avaliação são muitas, mas um aspecto consensual é a sua
característica de atribuição de valor. A decisão de aplicar recursos em uma
ação pública sugere o reconhecimento do valor de seus objetivos pela
sociedade, sendo assim, sua avaliação deve “verificar o cumprimento de
objetivos e validar continuamente o valor social incorporado ao cumprimento
desses objetivos” (Mokate, 2002).
A avaliação representa um potente instrumento de gestão na medida em que
pode – e deve - ser utilizada durante todo o ciclo da gestão, subsidiando desde
o planejamento e formulação de uma intervenção, o acompanhamento de sua
implementação, os conseqüentes ajustes a serem adotados, e até as decisões
sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.
Além disso, a avaliação pode contribuir para a viabilização de todas as
atividades de controle interno, externo, por instituições públicas e pela
sociedade levando maior transparência e accountability às ações de governo.
Por isso, Mokate (2002) defende que uma das características chave da
avaliação deve ser sua integração a todo o ciclo de gestão, desenvolvendo-se
simultaneamente a ele, desde o momento inicial da identificação do problema.
Além dos objetivos relacionados à eficiência e eficácia dos processos de
gestão pública, a avaliação é decisiva para o processo de aprendizagem
institucional e também contribuiria para a busca e obtenção de ganhos das
ações governamentais em termos de satisfação dos usuários e de legitimidade
social e política. Por essas e outras razões, tem sido ressaltada a importância
dos processos de avaliação para a reforma das políticas públicas,
modernização e democratização da gestão pública.
Nos países desenvolvidos os processos de avaliação de políticas vêm se
tornando crescentemente institucionalizados. Isso exige o empenho das
estruturas político-governamentais na adoção da avaliação como prática
regular e sistemática de suas ações, na regulação das práticas avaliativas e no
fomento de uma cultura de avaliação integrada aos processos gerenciais
(Hartz, 2001).
No Brasil, a importância da avaliação das políticas públicas é reconhecida em
documentos oficiais e científicos, mas esse reconhecimento formal ainda não
se traduz em processos de avaliação sistemáticos e consistentes que subsidiem
a gestão pública (Hartz et Pouvourville, 1998).
Esse consenso no plano do discurso, não produz automaticamente a
apropriação dos processos de avaliação como ferramentas de gestão, pois
freqüentemente a tendência é percebe-los como um dever, ou até mesmo
como uma ameaça, impostos pelo governo federal ou por organismos
financiadores internacionais.
Mokate (2002) identifica algumas das possíveis razões pelas quais a avaliação
não seria facilmente integrada ao ciclo de gestão:
(1) Os paradigmas gerenciais dificultam a apropriação da avaliação pelas
equipes de gestão, na medida em que focalizam mais as atividades e
processos do que os resultados, não valorizando a explicitação de
metas e objetivos, e a responsabilização pelo seu alcance;
(2) As aplicações convencionais dos processos de monitoramento e
avaliação têm se realizado de tal maneira que não têm induzido sua
percepção como aliados do processo de gestão, cabendo
freqüentemente apenas aos avaliadores externos e assumindo o aspecto
de fiscalização, auditoria ou controle, cujos resultados não costumam
ser utilizados no processo decisório e gerencial;
(3) A complexidade dos objetivos e a adoção de estratégias e tecnologias
diferenciadas, que não necessariamente conduzem ao mesmo resultado,
dificultam a avaliação das intervenções. A sensibilidade dos problemas
sociais a múltiplas variáveis faz com que a seleção de estratégias para
seu enfrentamento se baseie em hipóteses de relações causais. É
particularmente difícil atribuir, através da avaliação, as mudanças
observadas a uma intervenção específica operada sobre um problema,
até porque, freqüentemente, os efeitos de algumas intervenções só se
evidenciam no longo prazo.
A avaliação tem constituído uma estratégia de mudança do paradigma
gerencial. Sob o ponto de vista da gerência social, as políticas devem ser
avaliadas pelo cumprimento de seus objetivos e os gerentes devem ter
incentivos naturais para utilizar informação no acompanhamento de seu
desempenho em relação a esses objetivos. Mokate (2002) aponta quatro
desafios prioritários para construir um processo de avaliação aliado à gerência
social:
1. A definição de um marco conceitual da intervenção que se pretende
avaliar, indicando claramente objetivos, resultados e as supostas
relações causais que orientam a intervenção, pois quando não se sabe
onde e como se quer chegar, torna-se muito difícil avaliar nosso
desempenho.
2. A superação da brecha entre o “quantitativo” e o “qualitativo” na
definição de metas e objetivos e na própria avaliação, gerando
complementaridade e sinergia entre eles;
3. A identificação e pactuação de indicadores e informações relevantes,
levando em conta o marco conceitual e as diversas perspectivas e
interesses dos atores envolvidos;
4. A definição e manejo efetivo de fluxos da informação gerada pelo
processo avaliativo e a introdução de estratégias de incentivos que
promovam o uso dessa informação.
Para uma cultura gerencial que incorpore uso efetivo da avaliação ao ciclo de
gestão, Mokate (2002) aponta algumas condições:
a) incentivar a flexibilidade e a inovação como mecanismos para
assegurar o alcance de objetivos máximos desejados e tolerar o
erro para promover ajustes e mudança de opções;
b) permitir que, dentro da organização, os que têm a informação
possam fazer uso dela, inclusive dissemina-la, em função dos
objetivos pretendidos;
c) definir “valores objetivos” e “valores de referência” que facilitem
a interpretação da informação;
d) adotar incentivos organizacionais e gerenciais que favoreçam o
uso da informação (premiação ou reconhecimento por mérito ou
alcance de resultados);
e) estabelecer mecanismos de ajuste para realocação de recursos
humanos, físicos e financeiros, redefinição de estratégias
operativas e modificações nos produtos e serviços para alcançar
os objetivos desejados;
f) vincular os indicadores ou informações com os processos
decisórios;
g) especificar “pontos de decisão”, fixando prazos e “valores
objetivo” para alguns indicadores;
h) comprometer os gestores e suas equipes com o alcance de metas
através de pactos e contratos de gestão ou desempenho.
A avaliação de desempenho constitui um importante instrumento para a gestão
das intervenções, mas a falta de acordo sobre como medir esse desempenho
ainda é um desafio. Como o desempenho refere-se ao grau de alcance dos
objetivos e os países definem diferentes objetivos, metas e dimensões de
desempenho nas suas avaliações, muitas vezes torna-se difícil fazer análises
comparativas. Esse tipo de avaliação deveria focalizar fundamentalmente
qualidade, eficiência e eqüidade mas as experiências internacionais de
avaliação de desempenho enfocam de maneira desigual essas dimensões. Nos
países da OECD predominam análises sobre a melhoria de resultados e sobre a
“responsividade”. Apesar das recomendações de organismos internacionais,
no sentido de que a eqüidade seja uma dimensão transversal de todas as
avaliações de desempenho especialmente no caso das intervenções de natureza
social, ainda são poucas as experiências que consolidaram o exame desta
dimensão.
CONTANDRIOPOULOS, A. P. (1997). “A avaliação na área da saúde:
conceitos e métodos”. In: HARTZ, Z.M.A. Avaliação em Saúde: dos modelos
conceituais à prática na análise da implantação de programas. Rio de Janeiro:
Fiocruz.
GUBA, E.G. & LINCOLN Y.S. (1990). Fourth generation evaluation.
Berverly Hills: Sage.
HARTZ, Z. M. A. (2001). “Institucionalizando a avaliação em saúde: lições
(inter)nacionais nas evocações da França”. Cadernos de Saúde Pública. 15(2):
229-260.
HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliação da eficiência em
saúde: a eficiência em questão. Ciência & Saúde Coletiva. , III(1): 68-82.
KETTL, D. (2000). The Global Public Management Revolution: A Report on
the Transformation of Governance.
Acessado em 10/03/2004:
http://www.brookings.edu/scholars/dkettl.htm
MINTZBERG, H. (1994). The rise and fall of strategic planning. Nova York:
Free Press.
MOKATE, K. M. (2002). “Convirtiendo el ‘monstruo’ en aliado: a avaliação
como herramienta de la gerencia social”. Revista do Serviço Público, 8(1), 91136.
NASSUNO, M. (2003). “Avaliação de resultados e avaliação de satisfação do
usuário-cidadão: elementos para reflexão”. Res Pública – Revista de Políticas
Públicas e Gestão Governamental. 2(2): 99-139.
RUA, M.G. (2000). “Avaliação de Políticas, Programas e Projetos: Notas
Introdutórias”. Mimeo.
SILVA, P. L. B. e MELO, M. A. B. (2000). “O processo de implementação de
políticas públicas no Brasil: características e determinantes da avaliação de
programas e projetos”. In: Caderno nº 48 - NEPP-UNICAMP.
TAYLOR, C. (2003) “O teste ACIDD: uma estrutura para o planejamento de
políticas e processos decisórios”. In: Desafios para o desenvolvimento de
políticas públicas: uma visão geral. Brasília: ENAP.