TENDÊNCIAS NO ESTUDO SOBRE AVALIAÇÃO
(Marta T. S. Arretche)
A)
INTRODUÇÃO
I
É certo que qualquer forma de avaliação envolve um julgamento, vale
dizer, trata-se de atribuir um valor, uma medida de aprovação ou
desaprovação a uma política ou programa público particular, de
analisá-la a partir de uma certa concepção de justiça (explícita ou
implícita). Nesse sentido, o uso adequado dos instrumentos de
análise e avaliação são fundamentais para não se confundir opções
pessoais com resultados de pesquisa.
II
Por avaliação de política entende-se o exame dos pressupostos e
fundamentos de um determinado curso da ação pública e de seus
resultados independente de sua engenharia institucional.
III
Por análise de Políticas Públicas, entende-se o exame da engenharia
institucional e dos traços constitutivos dos programas. A análise de
Políticas Públicas busca reconstituir as diversas características da
Política Pública específica de forma a apreende-las em um todo coerente.
IV
Ainda que a análise de uma dada Política Pública possa atribuir a um
determinado desenho institucional alguns resultados prováveis, somente
a avaliação desta política poderá atribuir uma relação de casualidade
entre um programa x e um resultado y.
V
A particularidade da avaliação de uma Política Pública consiste na
adoção de métodos e técnicas de pesquisa que permitam
estabelecer uma relação de casualidade entre um programa x e um
resultado y, ou ainda, que na ausência do programa x não teríamos o
resultado y.
B) ALGUMAS TENDÊNCIAS DE AVALIAÇÃO DE
POLÍTICAS PÚBLICAS
Na avaliação de Políticas Públicas, costuma-se distingui-las em termos
de, EFETIVIDADE, EFICÁCIA e EFICIÊNCIA, distinção que é
basicamente um recurso analítico.
B.1) SOBRE A AVALIAÇÃO DE EFETIVIDADE
I
Por avaliação de efetividade entende-se o exame da relação entre a
implementação de um determinado programa e seus impactos e/ou
resultados, isto é, se é um sucesso ou fracasso em termos de uma
efetiva mudança nas condições sociais prévias da vida das populações
atingidas pelo programa sob avaliação.
II
Nas avaliações de efetividade, a maior dificuldade metodológica consiste em
distinguir produtos de resultados. De fato, a principal dificuldade
metodológica consiste precisamente em demonstrar que os resultados
encontrados (seja do sucesso ou do fracasso) estão casualmente
relacionados aos produtos oferecidos por uma dada política sob análise.
III
Na verdade, a tradição brasileira em Políticas Públicas – se é que se
pode afirmar existir uma tradição no Brasil nesta área – é bastante
pobre em termos de estudos de avaliação da efetividade das
políticas.
IV
Boa parte das análises atribuem à inefetividade das políticas sociais
brasileiras a persistência da aguda condição de abandono, pobreza e
desproteção de nossa população pobre, menos que resultado de
avaliações precisas, estas conclusões são resultados da correlação
entre índices de pobreza e oferta de serviços sociais.
B.2) SOBRE A AVALIAÇÃO DE EFICÁCIA
I
Por avaliação de eficácia, entende-se a avaliação entre os objetivos e
os instrumentos explícitos de um programa e seus resultados
efetivos. Exemplo: entre as metas propostas e as metas alcançadas.
II
A avaliação de eficácia é seguramente a mais usualmente aplicada nas
avaliações correntes em Políticas Públicas. Isso porque ela é
certamente aquela mais factível e menos custosa de ser realizada.
Nesse tipo de avaliação, a maior dificuldade consiste na obtenção
de confiabilidade das informações recebidas.
III
Na maior parte das vezes, esta avaliação (da relação entre os
instrumentos previstos e os efetivamente empregados), consiste no
exame da processualidade concreta e da adequação e coerência dos
meios e instrumentos utilizados durante a vigência de um
determinado programa.
IV
Este tipo de avaliação exige pesquisas de campo capazes de aferir e
reconstituir o processo de implantação e/ou implementação da
política sob análise.
B.3) SOBRE AVALIAÇÃO DE EFICIÊNCIA
I
Por avaliação de eficiência, entende-se a avaliação da relação entre o
esforço empregado na implementação de uma dada política e os
resultados alcançados. Tem sido feito um grande esforço nos métodos de
avaliação de eficiência nos últimos anos.
II
Este esforço nos métodos de avaliação de eficiência tem ocorrido sob o
impulso de diversos fatores:
Primeiro: a escassez de recursos públicos exige maior racionalização nos
gastos. Ou seja, limites para a obtenção de recursos com base na criação
de novas fontes de arrecadação e o crescente estreitamento de suas
fontes tradicionais têm induzido a inovações no campo da racionalização
da gestão e do gasto público, portanto no terreno da eficiência, medidas
que demandam estudos de avaliação.
Segundo: os estudos de avaliação de eficiência tornam-se cada vez
mais necessários porque no Brasil ao lado da escassez de recursos
públicos, os universos populacionais a serem cobertos pelos
programas sociais são de enormes proporções.
Terceiro: as avaliações de eficiência impõem-se porque eficiência é
um objetivo democrático. Ao dispor de recursos públicos e ao
implementar Políticas Públicas,o governo está gastando um dinheiro
que não é seu, mas do dinheiro do contribuinte.
III
Isso não significa que o critério de eficiência no setor público seja o
mesmo da eficiência do setor privado, ou seja, uma mera equação
entre custos os mais reduzidos e resultados os melhores possíveis. O
conceito de eficiência no setor público é distinto do setor privado.
C) DA AVALIAÇÃO COMO MÉTODO
DEMOCRÁTICO
I
Em sociedades em que o mercado eleitoral tem peso, o impacto social
de uma Política Pública tende a ter menor peso no processo
decisório que seu impacto sobre a opinião pública ou seu impacto
eleitoral. Os elementos de efetividade, eficácia e eficiência tende a
ser apenas um dos elementos, provavelmente de menor importância,
na decisão pela adoção, reformulação ou suspensão de um programa
público, dado que as razões do mercado eleitoral têm forte
influência sobre o processo decisório.
II
Produção e divulgação de avaliações, disponibilizam instrumentos que
capacitam o eleitorado a exercer o princípio democrático de
controle sobre a eficiência da ação dos governos, como a produção e
divulgação de avaliações rigorosas, tecnicamente bem feitas. A idéia
de que “desperdiçar dinheiro público” é eleitoralmente negativo.
III
A criação e fortalecimento de instituições e agências independentes
capazes de produzir estudos confiáveis de avaliação de Políticas
Públicas é crescentemente uma necessidade para o bom governo.
D) DA NECESSIDADE DE AVALIAÇÕES
INDEPENDENTES
I
Porque destinadas a exercer controle sobre as ações públicas, seja
pelos cidadãos sobre o governo, seja do governo sobre si mesmo, as
avaliações precisam ser realizadas por órgãos independentes.
II
Quando realizadas pelos próprios órgãos governamentais, há uma série
de incentivos para que tais avaliações concluam pelo sucesso do
programa ou, pelo menos, que tendam a minimizar seus elementos de
fracassos. Estas razões vão desde a manutenção dos próprios
empregos até o interesse das burocracias em aumentar suas
margens de poder e de gasto.
III
A veracidade e utilidade dos estudos de avaliação de Políticas Públicas advêm
em grande parte de seu rigor metodológico e da necessidade de obter
resultados os mais confiáveis possíveis, seja para a análise do sucesso ou
do fracasso de uma dada política.
IV
Dificuldades dos estudos de avaliação que podem comprometer seus
resultados:
A)
B)
C)
D)
E)
F)
De isolar da realidade variáveis efetivamente relevantes;
A incerteza sobre os reais objetivos da política;
A obtenção e adequação das informações;
De técnicas para estabelecer relações de casualidade entre programas e
seus resultados;
De obtenção dos recursos financeiros para avaliações confiáveis;
O próprio avaliador.
V
Instituições independentes têm maiores condições e incentivos para,
com base em critérios valorativos explícitos e objetivos definidos,
montar instrumentos adequados para responder à questão da
relação entre as políticas, seus processos e seus resultados, que são
condições ao bom governo.