GOVERNO DO ESTADO DO PARANÁ
ROBERTO REQUIÃO
Governador
SECRETARIA DE ESTADO DO PLANEJAMENTO E COORDENAÇÃO GERAL - SEPL
NESTOR CELSO IMTHON BUENO
Secretário
INSTITUTO PARANAENSE DE DESENVOLVIMENTO ECONÔMICO E SOCIAL - IPARDES
JOSÉ MORAES NETO
Diretor-Presidente
NEI CELSO FATUCH
Diretor Administrativo-Financeiro
MARIA LÚCIA DE PAULA URBAN
Diretora do Centro de Pesquisa
SACHIKO ARAKI LIRA
Diretora do Centro Estadual de Estatística
THAÍS KORNIN
Diretora do Centro de Treinamento para o Desenvolvimento
4
CONTEÚDO
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Carlos Aurélio Pimenta de Faria
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA
AÇÃO GOVERNAMENTAL
Ronaldo Coutinho Garcia
O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS NO
BRASIL: CARACTERÍSTICAS E DETERMINANTES DA AVALIAÇÃO DE
PROGRAMAS E PROJETOS
Pedro Luiz Barros Silva e Marcus André Barreto de Melo
COMBATER A POBREZA ESTIMULANDO A FREQÜÊNCIA ESCOLAR:
O ESTUDO DE CASO DO PROGRAMA BOLSA-ESCOLA DO RECIFE
Lena Lavinas e Maria Ligia de Oliveira Barbosa
6
A POLÍTICA DA AVALIAÇÃO DE
POLÍTICAS PÚBLICAS
Carlos Aurélio Pimenta de Faria
A POLÍTICA DA AVALIAÇÃO
DE POLÍTICAS PÚBLICAS*
Carlos Aurélio Pimenta de Faria
Em um plano normativo, a década de 1990
testemunhou, nas democracias ocidentais de uma
maneira geral, e na América Latina particularmente, a busca de fortalecimento da “função avalia*
O autor agradece à Fundação Vitae, Programa de Cooperação Científico-Acadêmica Argentina, Brasil e Chile,
pelo financiamento da pesquisa que deu origem a este
trabalho. Partes deste trabalho foram apresentadas no
Seminário Temático “Processo decisório e implementação de políticas públicas no Brasil”, durante o 28º Encontro Anual da Anpocs, Caxambu, outubro de 2004, e
no Seminário Nacional Avaliação de Políticas Públicas
em Saúde e Direitos Sexuais e Reprodutivos, São Paulo, Cebrap/Nepo-Unicamp/ISC-UFBa, maio de 2005. O
autor gostaria de agradecer os comentários e sugestões
feitos pelos pareceristas anônimos da RBCS e pelos seguintes colegas participantes do referido encontro da
Anpocs: Eduardo César Marques, Marta Arretche, Soraya Côrtes, Telma Menicucci e Washington Bonfim.
Artigo recebido em janeiro/2005
Aprovado em julho/2005
ção” na gestão governamental. Com efeito, foram
implementados, em diversos países da América
Latina, sistemas de avaliação das políticas públicas de escopo variável. Tal processo tem sido justificado pela necessidade de “modernização” da
gestão pública, em um contexto de busca de dinamização e legitimação da reforma do Estado.
Os argumentos que justificam a necessidade
de institucionalização da avaliação da atividade governamental na América Latina também fazem eco
à visão mais canônica do processo de avaliação de
políticas públicas, aquela muitas vezes adotada em
manuais e apreciações mais introdutórias, os quais
apresentam a avaliação como “última etapa” do
chamado “ciclo das políticas”, definindo-a como:
(a) atividade destinada a aquilatar os resultados de
um curso de ação cujo ciclo de vida se encerra; (b)
a fornecer elementos para o desenho de novas intervenções ou para o aprimoramento de políticas e
programas em curso; e (c) como parte da prestação de contas e da responsabilização dos agentes
RBCS Vol. 20 nº. 59 outubro/2005
98
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
estatais, ou seja, como elemento central da accountability. Mesmo que essa concepção reconheça, ainda que implicitamente, o caráter inextricavelmente político da avaliação, podemos observar
nos debates e nos estudos correlatos mais recentes
a prevalência de um viés francamente normativo
e/ou uma priorização dos aspectos mais técnicos
da avaliação das políticas públicas, bem como uma
ênfase em seu papel de instrumento gerencial.
Reconhecendo o caráter incipiente da pesquisa e da prática da avaliação no Brasil, o presente
trabalho tem como objetivos: (1) analisar os fatores
que têm justificado e condicionado a implantação
dos sistemas de avaliação, sobretudo nos países da
América Latina; (2) averiguar as razões da prevalência, no âmbito estatal e também no plano analítico, de uma concepção “tecnicista” da avaliação,
vista hoje quase exclusivamente como instrumento
da gestão governamental; e, finalmente, (3) enfatizar o caráter eminentemente político da avaliação
de políticas públicas, elencando e categorizando as
suas distintas formas de utilização. Será ressaltada,
assim, a virtual subordinação do uso gerencial da
avaliação e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das políticas às
injunções políticas mais abrangentes e às estratégias e interesses dos tomadores de decisão e dos
demais envolvidos (aqueles que a literatura especializada denomina, desvelando suas matrizes intelectuais, stakeholders).
A institucionalização da “função
avaliação” na América Latina: premissas, expectativas e motivações
Diga-se, logo de início, o essencial: nas décadas de 1980 e 1990 a avaliação de políticas públicas foi posta a serviço da reforma do Estado.1 Se
parece haver consenso quanto a essa questão, há,
contudo, uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa desde o início do boom da avaliação de políticas e programas públicos, ocorrido nos Estados
Unidos na década de 1960. Guba e Lincoln (1989),
por exemplo, tendo como foco os Estados Unidos
e fazendo uma caracterização desde os anos de
1930, detectaram a emergência de quatro sucessivas “gerações” de pesquisas avaliativas, quais se-
jam: (1) um início com um viés mais técnico, no
período do New Deal; (2) uma “geração” mais
“descritiva”, predominante desde a Segunda Guerra Mundial até meados da década de 1960; (3) uma
que enfatizava a oferta de “julgamentos” abalizados, prevalecente entre meados dos anos de 1960
e meados da década seguinte, ou seja, quando da
avaliação dos polêmicos programas da “Guerra à
Pobreza” (War on Poverty) e da “Grande Sociedade” (Great Society); e, finalmente, (4) uma “geração” “reativa”, característica dos anos Reagan.
Albaek (1998), por seu turno, afirma que,
quando do início da massificação da avaliação nos
Estados Unidos, na década de 1960, a pesquisa avaliativa era encarada predominantemente como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão.
Em um contexto de expansão sem precedentes do
gasto público no país, de escasso conhecimento
acerca do impacto da ação governamental e da busca de um maior controle sobre os burocratas/implementadores, a avaliação é institucionalizada, tendo
como característica predominante o seu desenho
top-down. A expectativa era, ainda, a de que a avaliação, ao superar o problema de déficit de compreensão acerca desses processos e de seu impacto, pudesse garantir a racionalidade dos processos
decisórios e a legitimação das políticas e dos programas. Essa “era de ouro” da avaliação, assim denominada por Rossi e Wright (1984), que, de acordo com Oakley (1998), teria durado até o final da
década de 1980, foi dominada por um paradigma
metodológico experimental – “randomizado” e controlado (“randomised, controlled experimental paradigm”, Oakley, 1998, p. 95) – tendo sido dinamizada por uma Ordem Executiva do presidente
norte-americano, que determinava que os programas sociais fossem avaliados.
Segundo Albaek (1998), na década de 1970
avolumaram-se as evidências acerca do excesso
de otimismo no que dizia respeito à plena utilização e incorporação, de forma racional/instrumental, dos resultados das avaliações. O paradigma
top-down foi assim progressivamente revertido,
abrindo espaço para o desenvolvimento de abordagens e metodologias bottom-up. Nas décadas
de 1980 e 1990, como se verá em detalhe adiante, a avaliação das políticas públicas foi posta a
serviço da reforma do setor público.
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Uma terceira forma de se pensar a maneira
como têm variado as motivações do Estado para a
valorização da avaliação de políticas é sugerida por
Derlien (2001), em artigo particularmente interessante e provocativo. Partindo da distinção das três
funções básicas atribuídas à avaliação – informação, realocação e legitimação –, o autor defende a
tese de que, dos anos de 1960 aos anos de 1990,
os objetivos buscados com a avaliação teriam passado da função de informação para a de realocação. Tal deslocamento teria sido acarretado por fatores políticos e econômicos específicos, tendo
havido também uma mudança nos atores políticos
dominantes. Segundo Derlien, na década de 1990
passou a predominar em muitos países a função de
realocação, associada ao movimento do New Public Management, tendo os avaliadores se convertido em auditores que privilegiavam a medição dos
resultados. Vale a pena reproduzirmos aqui, em
uma longa citação, a apresentação que o autor faz
da função de (re)alocação, a qual, segundo sua
tese, passa a pautar a ênfase na avaliação durante
as duas últimas décadas:
A função predominante da avaliação nos anos de
1980, durante a segunda etapa de institucionalizações, estava claramente destinada a apoiar uma
alocação racional dos recursos. Nesse momento
os atores principais já não são mais os administradores dos programas (como quando prevalecia a
função de informação), mas os escritórios de auditoria, os ministérios da Fazenda e as unidades
centrais, a quem compete a elaboração global do
orçamento e sua estrutura interna. As questões básicas que passaram a ser enfatizadas são:
– Quais programas podem ser suprimidos ou reduzidos a partir dos resultados negativos da avaliação?
– Quais são as conseqüências do retrocesso das
fronteiras do Estado, ou seja, da privatização de
determinadas atividades públicas?
– Como se pode obter ‘mais rendimento pelo dinheiro’ a partir da reorganização dos programas
individuais e das atividades públicas em seu
conjunto?
As questões induzidas dos motivos da alocação
tendem a dar mais ênfase na quantidade do que
na qualidade (Derlien, 2001, p.106).
É precisamente essa associação da “função
avaliação” à reforma gerencialista do Estado, com
ênfase nos resultados e na desresponsabilização/devolução/privatização da provisão de bens e
99
serviços sociais, que torna compreensíveis manifestações como estas de Vieira (1997):
[...] [no] Brasil, desde o tempo da elaboração da
Constituição de 1988, a febre avaliatória ganha dimensão de epidemia e os avaliadores metamorfoseiam-se em festejados demiurgos [...]” (p.70).
Esta nova fase de acumulação capitalista não se
importa com direitos. Seus filhos mais queridos,
os recentes avaliadores, nutrem-se do relativismo
tão a gosto da meritocracia (p.71).
Diga-se, de passagem, que reações como
essa, que beiram a fobia, obscurecem a necessária
percepção de que a avaliação “não é, por natureza, característica de um tipo específico de Estado
ou cultura administrativa” (Thoenig, 2000, p. 57).
A seguir apresentaremos, de maneira sucinta, as premissas, as expectativas e as motivações
para a institucionalização da “função avaliação”
na América Latina. Tal processo ocorreu tardiamente, apenas na década de 1990, tendo prevalecido a perspectiva de instrumentalização da pesquisa avaliativa para o sucesso da reforma do
Estado. Tal discussão pavimentará o nosso caminho para que possamos, na seção subseqüente,
analisar a postura da academia brasileira diante da
hegemonia da perspectiva “gerencialista” sobre o
papel da avaliação de políticas públicas.2
Como destacado por diversos autores, a medição e a avaliação do desempenho governamental e das políticas públicas tornaram-se parte integral da agenda de reformas dos anos de 1980 e
1990, as quais, como se sabe, estiveram longe de
se circunscrever aos países latino-americanos.
Tanto por razões pragmáticas como ideológicas –
e não nos parece pertinente arrolarmos aqui os fatores de ordem econômica, política e ideológica
que têm dado sustentação aos processos de reforma do Estado em grande parte das democracias
ocidentais –, o desenho dessas reformas privilegiou dois propósitos básicos. Em primeiro lugar, a
adoção de uma perspectiva de contenção dos gastos públicos, de busca de melhoria da eficiência e
da produtividade, de ampliação da flexibilidade
gerencial e da capacidade de resposta dos governos, bem como de maximização da transparência
da gestão pública e de responsabilização dos gestores, em um processo no qual o “consumidor”
dos bens e serviços públicos estaria, supostamen-
100
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
te, em primeiro plano. O segundo propósito ou
expectativa é de que tais reformas pudessem contribuir para uma reavaliação da pertinência das organizações governamentais preservarem todo o
seu leque tradicional de atribuições, prevalecendo
um contexto de valorização da provisão privada
de bens e serviços (Caiden e Caiden, 2001, p. 79).
Como corretamente assinalado por Caiden e
Caiden, “a medição de desempenho, o monitoramento e a avaliação não foram apenas ornamentais
nem tiveram uma significação incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais da mudança” (Idem, p. 80). Vale lembrar
que Wiesner Duran chama a avaliação de “proxy
do mercado na administração pública” (apud Mokate, 2002, p. 90). A centralidade da avaliação justifica-se, assim, porque se esperava que essas “funções” garantissem a credibilidade do processo de
reforma e a sustentabilidade política das diretrizes
de desregulamentação e de redução do tamanho
do governo, quer pela via da chamada “devolução”, ou seja, do deslocamento das funções e dos
serviços para as instâncias subnacionais, quer pela
via da privatização. Esperava-se, também, que pudessem ser fomentadas a transparência na gestão
pública e a satisfação dos usuários/clientes.
Parece por demais óbvio, pois, o caráter
eminentemente político do projeto de “modernização” do Estado vinculado à “revolução” gerencialista que se deseja implantar, no qual o monitoramento e a avaliação de políticas ocupam lugar
de destaque. Contudo, como se discutirá adiante,
a política da avaliação das políticas públicas está
longe de se restringir a questões e disputas relativas à definição dos interesses prioritários e do escopo do Estado, posto que a avaliação pode também, por exemplo, ser elemento central na
disputa eleitoral, no controle das interações intergovernamentais e na busca de acomodação de
forças e de interesses no âmbito intraburocrático.
A hegemonia inconteste da perspectiva “gerencialista”: uma discussão
exploratória acerca do papel da academia brasileira
Pode parecer contraditório o fato de a nova
ênfase dada à avaliação de políticas no Brasil apa-
rentemente não ter despertado um interesse equivalente por parte da comunidade acadêmica dos
analistas de políticas públicas, notadamente nas
áreas da ciência política e da sociologia, no sentido de se abrir novas frentes de investigação. O
mesmo parece não se dar, contudo, na seara da
administração pública, como demonstrado, por
exemplo, pela freqüência com que periódicos nacionais, como a Revista do Serviço Público e a Revista de Administração Pública, têm encampado
a temática.3 Note-se, ainda, que a questão tem ganhado destaque também em publicações do
Ipea,4 da Fundação Seade (Carvalho, 2003) e da
Fundação Carlos Chagas, como os Cadernos de
Pesquisa e os Estudos em Avaliação Educacional.
É importante destacarmos aqui o viés acentuadamente normativo da maior parte destes trabalhos,
bem como o fato de a Revista do Serviço Público
republicar trabalhos de consultores internacionais
muitas vezes produzidos a partir de demandas
dos organismos multilaterais, o que evidencia o
forte caráter de indução externa a vincar o processo de institucionalização dos sistemas de avaliação na América Latina.
Se for possível justificar esse panorama a
partir do fato de a avaliação de políticas públicas
ser tarefa eminentemente multidisciplinar, como é
amplamente reconhecido, resta-nos buscar compreender o que pode ser denominado como a
omissão da ciência política brasileira.5 Um primeiro elemento para se pensar tal omissão é a postura assumida por Michael Scriven, um dos primeiros e principais teóricos da avaliação, para quem
a “investigação avaliativa deve produzir como
conclusão exatamente o tipo de afirmação que os
cientistas sociais dizem ser ilegítima: um juízo de
valor ou mérito” (Scriven, 1974, apud Ballart,
1996, p. 325). Esse viés normativo talvez possa
nos ajudar na compreensão do seguinte paradoxo: se as investigações conduzidas na subárea da
análise de políticas públicas são fortemente condicionadas pela conjuntura, como apontado por
Melo (1999), tal condicionamento parece não ter
sido suficiente para que a questão da avaliação
ganhasse lugar de destaque na agenda de pesquisa dos profissionais da área, aqui entendida como
subárea da ciência política.
Cabe recordarmos, ainda, que apesar do boom
das duas últimas décadas, a estruturação do campo
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
da análise de políticas públicas ainda é bastante incipiente no Brasil, o qual padece, como também
mostrado por Melo (1999), de grande fragmentação
organizacional e temática, tendo uma institucionalização ainda precária. Porém, se essas características
podem tornar compreensíveis determinadas lacunas, a notória ausência de investimentos mais sistemáticos no estudo dos processos de implementação
e avaliação parece evidenciar também o status privilegiado de que desfrutam os processos decisórios
na ciência política do país. No entanto,
[...] a escassez dos estudos “pós-decisão” no país
parece explicada não apenas pela frágil institucionalização da área no Brasil, que faz com que a
análise de políticas públicas continue gravitando
na órbita das questões analíticas mais tradicionalmente valorizadas pela Ciência Política, mas também pela debilidade no país do campo de estudos da Administração Pública (Faria, 2003, p. 22).
Se a administração pública, como área de
trabalho acadêmico, é extremamente débil no
país, tendo, porém, ganhado certo vigor na década passada com a abertura de Escolas de Governo em diversos estados da Federação, sua interação com a ciência política e com a sociologia
talvez ainda seja por demais frágil.
Retratado e explicado, assim, este panorama
de omissão, cabe recordarmos, como discutido na
seção anterior, que a atual “gerencialização” da
avaliação de políticas públicas é, antes de tudo, derivada de sua instrumentalização no processo/projeto de reforma do Estado. Contudo, a concepção
hoje prevalecente da avaliação como instrumento
administrativo e, portanto, como função supostamente alheia às disputas propriamente políticas talvez fique ainda mais evidenciada em função da
postura da ciência política brasileira, que acaba, assim, por endossar esse viés distorcido do princípio
republicano da desvinculação entre política e administração pública.
Reconhecida, portanto, a hegemonia quase
inconteste da perspectiva gerencialista – e recorde-se que essa é a tônica dada à implantação dos
sistemas de avaliação pelos organismos multilaterais, que têm investido sistematicamente nesse
processo ao disponibilizar assistência técnica e financiamento, ao articular redes de profissionais,
101
ao sensibilizar lideranças políticas e acadêmicas e
ao atrelar o financiamento de projetos à exigência
de avaliação –, parece-nos oportuno inventariarmos as distintas formas de uso esperado e potencial da avaliação de políticas públicas, para que
possamos ampliar a nossa percepção do viés político da pesquisa avaliativa. Antes, contudo, cabe
alertarmos para o fato de que, evidentemente,
não se espera aqui que a ciência política seja capaz, por si só, de “(re)politizar” a avaliação de políticas públicas. Cabe a ela, isto sim, a análise do
impacto e das implicações de tal hegemonia.
Os usos e a política da avaliação de
políticas públicas
Parte significativa dos estudos sobre os processos de avaliação de políticas públicas realizados
desde a década de 1960, os quais, via de regra, tiveram (e ainda têm) o seu epicentro na academia
norte-americana, refere-se às questões de ordem
metodológica e/ou às distintas maneiras de se classificar a avaliação. A avaliação tem sido, usualmente, classificada em função do seu timing “(antes, durante ou depois da implementação da política ou
programa), da posição do avaliador em relação ao
objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto,
insumos, processos e resultados)” (Cotta, 2001, p.
91). Como discutido na primeira seção deste ensaio, os estudos avaliativos tinham originalmente
um acentuado viés top-down, sendo via de regra
encarados como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes
de mais alto escalão. Nesses primórdios, partia-se
da premissa que os resultados da avaliação seriam
automática e necessariamente encampados pelos
tomadores de decisões para a melhoria da política
ou do programa em questão. A discussão acerca do
uso da avaliação restringia-se, assim, ao que hoje se
denomina uso “instrumental”.
Logo se percebeu, uma vez que se avolumavam as evidências de que o esperado efeito de
feedback da avaliação era freqüentemente obstruído, a flagrante ingenuidade das expectativas de se
produzir “melhores e mais sábias decisões” com
base apenas na realização da avaliação. É a partir
desse momento que se passa a investigar os deter-
102
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
minantes do uso da avaliação, sendo constituída,
assim, uma nova e vicejante seara de pesquisa.6
A ênfase nos fatores que condicionam a utilização da avaliação e a mitigação do “furor positivista” da época do primeiro boom dos estudos
avaliativos (já que se pode dizer que vivemos hoje
o seu segundo boom) abriu espaço para um maior
questionamento, ainda hoje incipiente, diga-se,
acerca do que chamo “política da avaliação de políticas públicas”
Vale lembrar que tal denominação é pensada
neste ensaio como abarcando as questões e as disputas relativas à definição dos interesses prioritários e do escopo do Estado, à competição eleitoral,
ao controle das interações intergovernamentais e à
busca de acomodação de forças e de interesses no
âmbito intraburocrático, entre muitas outras questões relacionadas às disputas de poder entre agentes e principais os mais diversos. Essa concepção
mais abrangente engloba, assim, as três dimensões
do uso da avaliação normalmente evocadas: instrumental (relativa ao apoio às decisões e à busca de
resolução de problemas); conceitual (ou função
“educativa”); e simbólica (uso “político”) (Shulha e
Cousins, 1997).
A percepção da vasta diversidade e da intensidade dos fatores que obstaculizam uma plena
ou mesmo freqüente utilização da avaliação para
o seu propósito “original” (melhorar a qualidade
das decisões e garantir a maximização da consecução dos objetivos definidos pelas políticas e
programas) produziu reações muito diferenciadas. Aaron Wildawsky, por exemplo, desalentado
diante de tantos obstáculos, questiona, em um
quase desabafo, o valor de toda a empreitada: “eu
comecei pensando que era ruim não avaliar as organizações e terminei me perguntando por que
elas têm que fazê-lo” (apud Caiden e Caiden,
2001, p. 94). Thoenig, por seu turno, parece propor, em algumas circunstâncias, o uso de “avaliações informais”, as quais poderiam tornar possível
a introdução de “ajustes e mudanças sem atrair a
atenção de grupos interessados internos ou externos, que podem ser tentados a usar uma avaliação formal como uma oportunidade para resistir
à reforma” (2000, p. 66). Muitas das análises mais
recentes, contudo, ao reconhecer que as condições para o aproveitamento das informações disponibilizadas pela avaliação quase nunca estão
dadas a priori, sugerem, a exemplo de Cotta, que
a avaliação “é uma atividade que, por suas próprias características, exige que estas condições sejam intencional e meticulosamente criadas, sob
pena de se comprometer todo o esforço despendido” (2001, p. 94).7
Mas quais seriam, mais especificamente, os
fatores que podem interferir na utilização dos resultados da avaliação? Entre tantos outros possíveis, podem ser destacados os seguintes: existência
de crenças e interesses conflitantes na organização
que gerencia o programa; ocorrência de conflitos
de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado, quando,
por exemplo, os novatos têm prioridades diferentes daquelas vigentes na época do início da avaliação; eventual inflexibilidade das regras e dos padrões operacionais da organização encarregada,
que pode impedir a adoção das recomendações
feitas quando da avaliação; e mudanças nas condições externas, tais como cortes orçamentários e
alterações no ambiente político, que podem tornar impossível para a organização responder à
necessidade de mudança revelada pelos avaliadores (Weiss, 1998, p. 22).
Como o objetivo deste ensaio, mais do que a
análise de qualquer caso específico, é ressaltar a estreiteza da concepção gerencialista da avaliação e
expandir a nossa percepção das múltiplas implicações políticas da pesquisa avaliativa, buscaremos a
seguir elencar e categorizar as distintas formas de
sua utilização. Seguindo de perto a proposta de Carol Weiss (1998), serão discutidas não apenas as formas de uso, mas também os elementos da avaliação
que podem ser utilizados e, por fim, o papel e os interesses dos vários usuários potenciais da avaliação.8
É possível distinguir pelo menos quatro tipos de uso da avaliação, quais sejam: (a) instrumental; (b) conceitual; (c) como instrumento de
persuasão; e (d) para o “esclarecimento”. O uso
instrumental para a tomada de decisão depende
não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados,
de sua inteligibilidade e da factibilidade das recomendações eventualmente propostas. Segundo
Weiss (1998), o uso instrumental seria comum em
pelo menos quatro situações: (1) quando as implicações das descobertas da avaliação não são muito controvertidas; (2) quando as mudanças deriva-
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
das ou sugeridas não são de grande monta e/ou
fazem parte do repertório do programa em questão ou de sua organização implementadora; (3)
quando o ambiente do programa é relativamente
estável no que diz respeito a suas lideranças, orçamento, tipos de beneficiários etc.; e (4) quando
o programa está em crise e não se sabe bem o
que deve ser feito.
O segundo tipo de uso é o “conceitual”,
usualmente circunscrito aos técnicos locais do
programa, a quem não é com freqüência atribuído um maior poder de decisão. Nesse caso, as
descobertas da avaliação (e o seu próprio processo de realização) podem alterar a maneira como
esses técnicos compreendem a natureza, o modo
de operação e o impacto do programa que implementam. Tal aprendizagem torna-se maximizada
quando os técnicos participam mais ativamente
do processo de avaliação.9 Como notado por Scriven (1996), o uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma decisão ou ação é esperada
(pelo menos não imediatamente).
O uso da avaliação como instrumento de persuasão, por seu turno, dá-se quando ela é utilizada para mobilizar o apoio para a posição que os
tomadores de decisão já têm sobre as mudanças
necessárias na política ou programa. Busca-se aqui
legitimar uma posição e ganhar novos adeptos
para as mudanças desejadas. O ponto pode ser ilustrado pela forma como o ditador Augusto Pinochet
fez uso do sistema de avaliação educacional implantado por ele no Chile (Simce), em 1988, para
dar maior visibilidade e legitimidade ao processo
de privatização do ensino no país, posto que os
primeiros resultados mostravam com clareza o desempenho superior das instituições privadas (Faria
e Filgueiras, 2003).
Por fim, há o uso para o “esclarecimento”,
que nem sempre é propositado, mas que acarreta,
pela via do acúmulo de conhecimento oriundo de
diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre
as advocacy coalitions, bem como alterações nas
crenças e na forma de ação das instituições, pautando, assim, a agenda governamental. Esse é um
tipo de influência que ultrapassa a esfera mais restrita das políticas e dos programas avaliados.
Ainda que esta distinção das formas de uso
da avaliação seja importante e inovadora, é necessário que se faça a seguinte ressalva:
103
Note-se que tal distinção das formas de uso constitui avanço significativo em relação à célebre contraposição entre avaliação “somativa”, que seria
judgement-oriented, e avaliação “formativa”, que
seria improvement-oriented. Contudo, ela parece
apenas resgatar, com modificações tópicas, a proposição feita por Floden e Weiner (1978) em um
trabalho pioneiro, hoje aparentemente relegado, o
qual, destacando também as debilidades e a idealização do “modelo decisionista”, chama a atenção
para o uso da avaliação nos seguintes sentidos: da
“resolução de conflitos”; como mecanismo para a
“redução de complacência” (complacency reduction), dado o seu potencial de fazer com que o
pessoal encarregado do programa avalie criticamente as suas concepções e comportamentos; e
como “ritual”, cuja função seria “acalmar as ansiedades do público e perpetuar uma imagem do governo como racional, eficiente e accountable” (Faria e Filgueiras, 2003, p. 8).
No que diz respeito aos elementos da avaliação que podem ser utilizados, cabe destacar que as
suas “descobertas” (ou o relatório final da avaliação)
inicialmente monopolizaram a atenção daqueles interessados em investigar a questão da utilização da
pesquisa avaliativa. Contudo, essas “descobertas”
constituem apenas um dos elementos que podem
ser utilizados. Como se sabe, elas usualmente se
concentram nos processos, nos resultados e no impacto das políticas e dos programas.
Vale ressaltarmos, ainda que de maneira breve, que são exatamente as descobertas e/ou o relatório final da avaliação as informações mais amplamente divulgadas. A questão da abrangência e
da forma de divulgação, que não é objeto de
maiores considerações neste trabalho, é, contudo,
absolutamente central para que se possa melhor
aquilatar o uso dos estudos de avaliação. Discorrendo sobre a experiência de avaliação de políticas na França, Meldolesi afirma que, naquele país,
[...] o problema não é a divulgação [dos relatórios],
que é assegurada pela Documentation française,
mas a pouca divulgação que eles têm nos jornais
e, por conseqüência, na opinião pública: nada
comparável ao canal de televisão especializado,
que existe nos Estados Unidos, e à influência da
avaliação do GAO (General Accounting Office) sobre o debate público naquele país” (1996, p.104).
104
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
Retornando à necessidade de se distinguir os
elementos da avaliação que podem ser utilizados,
reportamo-nos uma vez mais a Weiss (1998), que
distingue a possibilidade de uso de outros quatro
elementos: (a) idéias e generalizações derivadas
da avaliação; (b) o próprio fato de a avaliação ter
sido ou estar sendo feita; (c) o foco do estudo, especialmente as medidas adotadas; e, finalmente,
(d) o desenho do estudo. A seguir discorreremos
brevemente sobre cada um desses elementos.
(a) Uso das idéias e generalizações derivadas da
avaliação
Ainda que descobertas específicas da avaliação não sejam usadas, os formuladores e o pessoal
técnico do programa podem aplicar idéias e generalizações dela derivadas. É o seguinte o exemplo
dado por Weiss (1998): a generalização da descoberta de que agências locais não promovem mudanças no seu padrão de provisão de serviços
quando elas são as únicas a fazer tais mudanças
pode levar a que se pense na necessidade de se
coordenar a atuação de todas as agências.
(b) Uso possível do próprio fato de a avaliação ter
sido ou estar sendo feita
São diversificadas as alternativas aqui. Primeiramente, a realização da avaliação pode ser
utilizada como uma desculpa para a inação. Por
que se deveria tomar qualquer atitude no sentido
de se operar mudanças antes que se tenha o resultado do trabalho de avaliação? O fato de uma
avaliação estar sendo ou ter sido feita pode ser
utilizado também para demonstrar a racionalidade
e a predisposição ao aprimoramento e à responsabilização por parte dos encarregados da política ou do programa. Por outro lado, a própria realização da avaliação pode ser pensada como
assegurando uma aura de legitimidade para o
programa ou sugerir que algo não vai bem em
sua gestão ou que há problemas no seu desenho.
(c) Utilização do foco do estudo
É amplamente reconhecido que o público
(interno e o externo) do programa avaliado passará a dar atenção prioritária a todos os focos da
avaliação, com destaque para os elementos escolhidos para serem mensurados. Esse fenômeno é
conhecido como “ensinar para o teste”, dado o
efeito quase universal que a avaliação externa tem
sobre o comportamento das instituições de ensino. Como se sabe, o risco principal aqui é que sejam negligenciados outros aspectos do programa
que não incidem sobre os indicadores de sucesso
definidos. Tal efeito, contudo, não é necessária e
forçosamente negativo.
(d) Utilização do desenho da pesquisa avaliativa
Destaca-se aqui a possibilidade de que as
categorias de análise utilizadas pelos avaliadores,
a metodologia de avaliação e a forma de se analisar os dados tenham influência não apenas sobre a gestão da política ou do programa em questão, ao fomentar, por exemplo, disputas entre
distintos níveis de implementação, mas também
sobre outras áreas e esferas de governo.
Por fim, é necessário inventariarmos também
os usuários potenciais da pesquisa avaliativa. Originalmente, a comunidade de avaliadores era quase unânime na percepção de que os usuários da
avaliação se restringiam aos financiadores do programa (e da própria avaliação), aos gerentes e encarregados de mais alto escalão e, por vezes, aos
técnicos e profissionais que lidavam de maneira
mais direta com os beneficiários. Esses são os atores que, inclusive, muitas vezes ajudam a definir o
escopo, a abrangência, a metodologia e o âmbito
de divulgação dos resultados da avaliação.
A crítica ao desenho hierárquico da avaliação
e a percepção das limitações de seu planejamento
top-down levaram, primeiramente, a que se prestasse mais atenção nos agentes encarregados da
implementação ou na chamada street level bureaucracy, percebidos a partir da década de 1970 como
capazes de muito mais autonomia do que aquela
concebida pelos modelos tradicionais de planejamento (Pressman e Wildavsky, 1973; Lipsky, 1980).
Posteriormente, com a popularização das metodologias participativas de avaliação e com o crescente reconhecimento (e propaganda) da avaliação
como instrumento de “empoderamento” dos beneficiários, a avaliação começou a levar em consideração, de maneira mais sistemática, as necessidades e as expectativas dos beneficiários dos
programas. A reforma gerencialista do Estado, com
sua ênfase nos resultados, em detrimento dos processos, e na satisfação daqueles que passaram a ser
denominados “clientes”, viria a sacramentar a ênfa-
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
se nos beneficiários. Observada a questão de um
ponto de vista mais abrangente, contudo, não deixam de parecer ingênuos comentários como:
Os avaliadores freqüentemente optavam por levar
em consideração os valores e os interesses dos
clientes [sic], valorizando as suas preocupações.
Mais do que reforçar o status quo, esses avaliadores esperavam produzir mudanças no sentido de
tornar os programas mais “responsivos” às necessidades dos participantes. Eles queriam [...] “desafiar
o discurso privilegiado dos poderosos”. A sua postura significava um esforço em transformar a avaliação, de um mecanismo capaz de sustentar e reforçar as práticas correntes por meio de ajustes
tópicos, em um meio de se remediar as desigualdades e de se redistribuir o poder (Weiss, 1998, p.27).
É certo que diversos outros usuários, para
além daqueles envolvidos diretamente nos programas em questão, podem se valer das descobertas
ou de outros elementos da avaliação. Dentre tantos, destacam-se: gerentes de programas similares
e/ou de diferentes níveis governamentais; agentes
do governo central e representantes de fundações,
interessados em conhecer projetos exitosos que
mereçam financiamento ou preocupados em melhorar os programas dos quais são responsáveis;
membros do legislativo interessados na melhoria
de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e
com as metodologias empregadas. É ainda Weiss
(1998) que sugere a existência de dois outros
usuários potenciais: (a) as próprias organizações
que administram o programa avaliado ou similares
(e aqui deve ser feito não só o contraponto à tradicional ênfase no indivíduo como usuário, mas
também deve ser mencionada a importância que
tem sido dada atualmente à questão da learning
organization – “organização que aprende” – e aos
limites, tradições e procedimentos cristalizados
e/ou impostos pelas organizações); e (b) o público em geral ou a sociedade civil.
A revisão crítica da literatura sobre a utilização
da avaliação feita por Shulha e Cousins (1997)
aponta as principais preocupações e questões que
têm sido enfatizadas mais recentemente pelos estudiosos da área, quais sejam: a centralidade do contexto para a compreensão e a explicação do uso; a
105
necessidade de se expandir a idéia de uso da esfera individual para a organizacional; a diversificação
do papel do avaliador, que muitas vezes incorpora
funções como a de facilitador, planejador e educador; e os impactos e condicionantes da não utilização ou da sub-utilização. Também passou a ser
mais amplamente reconhecido o fato de que, para
serem efetivamente utilizadas, as descobertas da avaliação devem competir com outras propostas e outras fontes de informação pela atenção dos tomadores de decisão e demais envolvidos, tudo isso se
dando em contextos e instâncias decisórias que talvez possam ser mais bem caracterizados como pluralistas e freqüentemente não racionais. Ademais,
não deixa de ser importante recordarmos que o legado de Herbert Simon continua a ser evocado no
que diz respeito, por exemplo, ao reconhecimento
dos incentivos para que o sistema governamental
adote um comportamento “satisfazedor”, em detrimento de uma postura estritamente racional, no
sentido da maximização do impacto de sua atuação.
Breves considerações finais
Várias questões importantes podem ser inferidas a partir deste breve mapeamento das distintas formas de uso da avaliação, dos seus vários
elementos que podem ser utilizados e dos usuários potenciais dos estudos de avaliação das políticas públicas. A primeira delas é que a literatura
específica parece ainda essencialmente circunscrita às expectativas acerca do papel da avaliação
elencadas pelo “modelo decisionista”. Isso porque, mesmo tendo sido questionado o tradicional
modelo hierárquico e top-down de planejamento
e de desenho da avaliação, esta maior preocupação com a questão do uso da pesquisa avaliativa
parece ainda fortemente restrita à utilização gerencial da avaliação e à necessidade de se gerar
feedbacks que justifiquem a relevância da própria
realização de tais estudos. Dito de outra forma, o
que se pode verificar na literatura é uma ênfase
quase exclusiva na utilização instrumental, intraburocrática, da avaliação das políticas públicas
ou, quando muito, nas interações entre decisores,
gestores e população beneficiária.
Ficam negligenciadas, assim, questões
como: o papel da avaliação das políticas no jogo
106
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
eleitoral; a reação do legislativo e do judiciário à
concentração do poder de avaliação no executivo
(Henry, 2001; Derlien, 2001); a eventual diferença
na institucionalização da avaliação entre países
parlamentaristas e presidencialistas e entre Estados federais e unitários (Derlien, 2001); o significado da distinta localização institucional dos sistemas de avaliação e o impacto de seu grau de
vinculação às autoridades financeiras etc.
Dessa forma, não deixa de ser irônico, mas
de maneira alguma contraditório, o fato de ser
justamente a literatura que adota o enfoque gerencialista de valorização da avaliação como instrumento da reforma do Estado aquela que está
aparentemente mais disposta a acentuar questões
políticas mais abrangentes, como, por exemplo, o
papel da avaliação na geração de accountability
por parte dos agentes estatais, seu potencial de
“empoderamento” das comunidades menos privilegiadas e seu impacto sobre a questão do controle social sobre o Estado. O fato não é contraditório porque, como visto, essa literatura advoga um
ideal regulativo que prescreve ao Estado um papel subsidiário, sendo determinantes os estímulos, os incentivos e os constrangimentos oriundos
ou espelhados no mercado.
Uma postura de omissão no tratamento analítico das questões associadas ao processo de avaliação das políticas públicas e de seu uso, como
aquela detectada no caso da ciência política brasileira (a qual, diga-se de passagem, parece não
se singularizar neste aspecto), significa o esvaziamento da possibilidade de se analisar de forma
cabal a política da avaliação de políticas, a qual
acaba, assim, negligenciada em muitos de seus aspectos e implicações.
Se há resistências, por parte da ciência política brasileira, aí incluídos os analistas de políticas
públicas, em encampar uma agenda de pesquisa
que contemple os processos pós-decisão, como
sugerimos, não seria possível e pertinente pensarmos a questão do uso e da política da avaliação
como claramente vinculada aos processos decisórios? Caso seja necessária uma nota de cautela,
lembramos que estudar o uso e a política da avaliação não implica, forçosa e automaticamente, a
transposição da temida, e muitas vezes tênue,
fronteira entre os papéis do analista e daquele que
faz advocacy ou que prescreve cursos de ação.
Contudo, a despeito do ranço positivista que
ainda pode ser observado na prática avaliativa e
também nas análises sobre esse processo, a avaliação não deixa de envolver também, necessariamente, advocacy, como defende Greene (1997),
na contracorrente do pensamento dominante na
área.10 Isso, segundo a autora, se compreendermos por advocacy não um “partidarismo programático ou um viés contaminador”, mas sim “uma
adesão a valores como um ideal regulatório específico (relativo à racionalidade do processo decisório ou ao ativismo comunitário) (p. 25). Se levarmos também em consideração o fato de que a
avaliação e os avaliadores atuam, como quer a
vertente construtivista, “interpretando o contexto
e construindo esse contexto e [que], portanto, ambos são produtores do espaço público” (Escolar e
Domench, 2002, p. 110), torna-se ainda mais lastimável a negligência ou a omissão de nossos
analistas de políticas públicas.
Notas
1
Para uma discussão sucinta a esse respeito, ver,
por exemplo, Faria e Filgueiras (2003), Caiden e
Caiden (2001) e Albaek (1998).
2
Para uma análise mais aprofundada a respeito da
institucionalização dos sistemas de avaliação nos
países latino-americanos, ver Bozzi (2001), que faz
uma apreciação da experiência do Chile e da Colômbia; Silva (2002), que discute os casos de Argentina, Chile, Colômbia e Costa Rica; Silva e Costa (2002), que apresentam, ainda que muito
sumariamente, as experiências de Brasil, Argentina
e Chile; Ghirlanda (2002), que também trata do
caso brasileiro. No que diz respeito à avaliação dos
sistemas educacionais dos países latino-americanos, área em que se avançou muito na região, ver,
por exemplo, Horn, Wolff e Vélez (1991); Ravela
(2001); Wolff (1998) e Faria e Filgueiras (2003).
3
Ver, na Revista do Serviço Público, Meldolesi
(1996); Thoenig (2000); Ala-Harja e Helgason
(2000); Caiden e Caiden (2001); Derlien (2001);
Bozzi (2001); Cotta (2001); Mokate (2002). Na Revista de Administração Pública, ver, por exemplo,
Costa e Castanhar (2003).
4
Como, por exemplo, Calmon (1999); Garcia (2001);
Escolar e Domench (2002); Silva (2002); e Silva e
Costa (2002).
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
5
Comentando o presente ensaio durante os trabalhos do Seminário Temático “Processo decisório e
implementação de políticas públicas no Brasil”, durante o 28º Encontro Anual da Anpocs, em outubro
de 2004, onde uma parte deste trabalho foi apresentada, Marta Arretche sugeriu a possibilidade de
se pensar a administração pública como detendo
no país a “hegemonia intelectual” na subárea dos
estudos avaliativos, ao passo que economistas e
econometristas teriam uma “hegemonia operacional”. A pesquisadora sugeriu, ainda, que o que explicaria o subdesenvolvimento dos estudos sobre
avaliação no Brasil não seria apenas a negligência,
por parte da ciência política, dos processos pós-decisão (note-se que talvez esse quadro já tenha começado a ser reparado, como sugere o próprio enfoque do seminário mencionado). O problema não
residiria apenas na agenda da ciência política, mas
também, ou principalmente, seria decorrente da
própria incipiência das avaliações no país, que não
geraria polêmicas capazes de pautar a agenda investigativa.
6
Para bons panoramas dessa subárea de pesquisa,
ver Shulha e Cousins (1997) e Weiss (1998). No
Brasil esse é um campo ainda sobremaneira incipiente. Exceções são Cotta (2001), Faria e Filgueiras (2003) e, tendo como ênfase a questão da
aprendizagem organizacional decorrente da utilização da avaliação, Calmon (1999).
7
Para além do desalento ou da simples incorporação de novas prescrições, acreditamos que pode
ser dito sobre a pesquisa acerca do uso da avaliação o mesmo que Rivlin disse sobre a análise de
políticas: ela pode não ter resolvido problema algum, mas pelo menos nos ajudou a determinar
melhor os problemas (apud Weiss, 1998, p. 23).
8
Antes, porém, pode ser útil reproduzirmos aqui a
sintética apresentação, feita por Ala-Harja e Helgason, das várias formas de uso, para que se possa ter
uma visão panorâmica da questão e para que alguns termos centrais sejam introduzidos de maneira ainda mais simples: “A definição do uso de uma
avaliação deve fazer distinção entre uso pelo programa e uso organizacional. O primeiro se refere a
estudos individuais de avaliação, e o segundo tem
a ver com o efeito cumulativo (aprendizagem) derivado de uma série de avaliações em uma organização. O uso em programas pode ser posteriormente dividido em uso instrumental, em que a
avaliação dá suporte a ação específica (confirmação, modificação ou término), e o uso conceitual,
em que não se toma nenhuma ação imediata, mas
107
no qual os resultados são considerados e a informação é acumulada para uso posterior” (2000, p. 25).
9
Aliás, diga-se de passagem, a chamada avaliação
“colaborativa”, na qual avaliadores e corpo técnico
do programa mantêm interação constante e amigável, compartilhando parte das decisões e dos procedimentos necessários, é muitas vezes tratada, na
literatura específica, como a melhor maneira de se
fomentar uma mais ampla utilização dos resultados
da avaliação.
10 Vale a pena citarmos a seguinte passagem do trabalho de Greene: “a própria noção de avaliação como
advocacy provoca tremores de desagrado e horror
entre a maior parte da comunidade contemporânea
da avaliação, tanto entre teóricos como entre praticantes. Isso porque o objetivo fundamental da avaliação era racionalizar a política social por meio da
produção de informação científica desinteressada,
relativa às opções de política, o que seria possível
apenas por meio de uma adesão à objetividade e à
neutralidade de valores. Advocacy é a antítese da
avaliação justa, de acordo com aqueles ideais e visões fundadores. Prescrever [to advocate] é esposar
e promover uma crença ou postura partidária [partisan], abraçar e fazer avançar uma causa. Avaliar é,
de acordo com a tradição, julgar de maneira justa a
qualidade, o mérito e o valor de um programa, com
base em informação imparcial, coletada de maneira científica” (1997, p.26).
BIBLIOGRAFIA
ALA-HARJA, M. & HELGASON, S. (2000), “Em direção às melhores práticas de avaliação”. Revista do Serviço Público, 51 (4):
5-60.
ALBAEK, Erik. (1998), “Knowledge, interests and
the many meanings of evaluation: a developmental perspective”. Scandinavian Journal of Social Welfare, 7: 94-98.
BALLART, Xavier. (1996), “Modelos teóricos para
la práctica de la evaluación de programas”, in Quim Brugué e J. Subirats
(orgs.), Lecturas de gestión pública. Madrid, Instituto Nacional de Administración Pública, pp.321-351.
BOZZI, S. O. (2001), “Evaluación de la gestión
pública: conceptos y aplicaciones em el
108
REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59
caso latinoamericano”. Revista do Serviço Público, 52 (1): 25-55.
CAIDEN, G. E. & CAIDEN, N. (2001), “Enfoques y
lineamiento, la medición y la evaluación del desempeno em programas del
sector público”. Revista do Serviço Público, 52 (1): 78-103.
CALMON, Kátya M. N. (1999), “A avaliação de
programas e a dinâmica da aprendizagem organizacional”. Planejamento e
Políticas Públicas, 19: 3-70.
CARVALHO, Sonia Nahas de. (2003), “Avaliação
de programas sociais: balanço das experiências e contribuição para o debate”. São Paulo em Perspectiva, 17 (3-4):
185-197.
COSTA, F. L. & CASTANHAR, J. C. (2003), “Avaliação de programas públicos: desafios
conceituais e metodológicos”. Revista
de Administração Pública, 5.
COTTA, T. C. (2001). “Avaliação educacional e
políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB)”. Revista do Serviço
Público, 52 (4): 89-111.
DERLIEN, H-U. (2001), “Una comparación internacional en la evaluación de las políticas públicas”. Revista do Serviço Público, 52 (1): 105-123.
ESCOLAR, Cora & DOMENCH, Patrícia. (2002),
“Los proyectos y programas sociales y la
evaluación: reflexiones en torno a una
experiencia”. Políticas Sociais: acompanhamento e análise, 5: 106-110, Brasilia,
Ipea.
FARIA, Carlos Aurélio Pimenta de. (2003), “Idéias,
conhecimento e políticas públicas: um
inventário sucinto das principais vertentes analíticas recentes”. Revista Brasileira de Ciências Sociais, 18 (51): 21-30.
FARIA, Carlos Aurélio P. & FILGUEIRAS, Cristina
de A. C. (2003), “A avaliação de políticas públicas como instrumento de planejamento: os casos do Sistema de Avaliação da Educação Básica (Saeb), do
Brasil, e do Sistema de Medición de la
Calidad de la Educación (Simce), do
Chile”. Trabalho apresentado no GT
“Políticas Públicas” do XXVII Encontro
Anual da Anpocs. Caxambu, MG, 21 a
25 de outubro.
FLODEN, Robert E. & WEINER, Stephen S. (1978),
“Rationality to ritual: the multiple roles
of evaluation in governmental processes”. Policy Sciences, 9 (1): 9-18.
GARCIA, Ronaldo Coutinho. (2001), “Subsídios
para organizar avaliações da ação governamental”. Planejamento e Políticas
Públicas, 23.
GHIRLANDA, Marta Penna M. (2002), “A experiência do governo federal na avaliação
do Plano Plurianual 2000-2003”. Trabalho apresentado no VII Congreso Internacional del CLAD. Lisboa, Portugal, 8 a
11 de outubro.
GREENE, Jennifer C. (1997). “Evaluation as advocacy”. Evaluation Practice, 18 (1): 2536.
GUBA, E. & LINCOLN Y. (1989), Fourth generation evaluations. Nova York, Sage Publications.
HENRY, Gary T. (2001), “How modern democracies are shaping evaluation and the
emerging challenges for evaluation”.
American Journal of Evaluation, 22 (3):
419-429.
HORN, Robin; WOLF, Laurence & VÉLEZ, Eduardo. (1991), “Establecimiento de sistemas
de medición del rendimiento académico
en América Latina: un análisis de los
problemas y las experiencias más recientes”. Washington, Banco Mundial.
LIPSKY, Michael. (1980), Street-level bureaucracy:
dilemmas of the individual in public services. Nova York, Russel Sage Foundation.
MELDOLESI, Nicoletta S. (1996). “Avaliação de
políticas públicas na França”. Revista do
Serviço Público, ano 47, 120 (1): 83-111.
MELO, Marcus André. (1999), “Estado, governo e
políticas públicas”, in S. Miceli (org.), O
A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS
que ler na ciência social brasileira
(1970-1995) [vol. 3: Ciência política],
São Paulo/Brasília, Sumaré/Anpocs/Capes, pp. 59-100.
MOKATE, K. M. (2002), “Convertiendo el ‘monstruo’ en aliado: la evaluación como herramienta de la gerencia social”. Revista
do Serviço Público, 53 (1): 89-133.
OAKLEY, Ann. (1998), “Public policy experimentation: lessons from América”. Policy
Studies, 19 (2): 93-114.
PRESSMAN, J. L. & WILDAVSKY, A. (1973), Implementation. Berkeley, University of California Press.
RAVELA, Pedro (ed.). (2001), “Los próximos pasos: ¿cómo avanzar en la evaluación de
aprendizajes en América Latina?”. Textos
PREAL/GRADE, 20.
ROSSI, P. H. & WRIGHT, J. D. (1984), “Evaluation
research: an assessment”. Annual Review of Sociology, 10: 331-352.
SCRIVEN, Michael. (1996), “Types of evaluation
and types of evaluator”. Evaluation
Practice, 17 (2): 151-162.
SHULHA, Lyn M. & COUSINS, J. Bradley. (1997),
“Evaluation use: theory, research, and
practice since 1986”. Evaluation Practice, 18 (3): 195-209.
SILVA, Ricardo Toledo. (2002), Eficiência e eficácia da ação governamental: uma análise comparativa de sistemas de avaliação. Relatório técnico. Brasília, Ipea.
SILVA, Pedro L. Barros & COSTA, Nilson do Rosário. (2002), A avaliação de programas
públicos: reflexões sobre a experiência
brasileira. Relatório técnico. Brasília,
Ipea.
THOENIG, J-C. (2000), “A avaliação como conhecimento utilizável para reformas de gestão pública”. Revista do Serviço Público,
51 (2): 54-71.
VIEIRA, Evaldo A. (1997), “As políticas sociais e
os direitos sociais no Brasil: avanços e
retrocessos”. Revista Serviço Social & So-
109
ciedade, 18 (53): 67-73.
WEISS, Carol H. (1998), “Have we learned anything new about the use of evaluation?”.
American Journal of Evaluation, 19,
(1): 21-34.
WOLFF, Laurence. (1998), Las evaluaciones educacionales en América Latina: avance
actual y futuros desafios. Santiago do
Chile, Preal.
RESUMOS / ABSTRACTS / RÉSUMÉS
169
A POLÍTICA DA AVALIAÇÃO
DE POLÍTICAS PÚBLICAS
PUBLIC POLICY EVALUATION
POLITICS
LA POLITIQUE D’ÉVALUATION
DES POLITIQUES PUBLIQUES
Carlos Aurélio Pimenta de Faria
Carlos Aurélio Pimenta de Faria
Carlos Aurélio Pimenta de Faria
Palavras-chave
Avaliação de políticas públicas;
Reforma do Estado; Novo gerencialismo público.
Keywords
Public policy evaluation; Reform
of the State; New public management.
Mots-clés
Évaluation des politiques publiques; Réforme de l’État; Nouvelle gestion publique.
Nos últimos anos, tem prevalecido
nos estudos e nos debates acerca da
avaliação de políticas públicas um viés
francamente normativo e/ou uma
priorização dos aspectos mais técnicos da pesquisa avaliativa, bem como
uma ênfase em seu papel de instrumento gerencial. Reconhecendo o
caráter incipiente da pesquisa e da
prática da avaliação no Brasil, o presente trabalho pretende: (1) analisar
os fatores que têm justificado e condicionado a implantação generalizada de sistemas de avaliação, sobretudo nos países da América Latina;
(2) averiguar as razões da prevalência, no âmbito estatal e também no
plano analítico, de uma concepção
“tecnicista” da avaliação, vista hoje
quase exclusivamente como instrumento da gestão governamental; e, finalmente, (3) enfatizar o caráter eminentemente político da avaliação de
políticas públicas, elencando e categorizando suas distintas formas de
utilização. Será ressaltada, assim, a
virtual subordinação do uso gerencial
da avaliação e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das políticas às injunções políticas mais abrangentes, às
estratégias e aos interesses dos tomadores de decisões e demais envolvidos.
In the last years, both research and
debates concerning public policy
evaluation have clearly been marked
by a specific normative bias and by
an emphasis upon the technical
aspects of evaluation, as well as by
the valorization of its role as a management tool. Recognizing the incipient character of both the research
and the practice of public policy
evaluation in Brazil, this paper has
the following objectives: (1) to analyze the aspects that have justified
and conditioned the generalized
implementation of public policy evaluation systems, particularly in Latin
America; (2) to discuss the reasons
behind the prevalence, both in the
state and in the analytical level, of a
“technicist” conception of evaluation, which is regarded today almost
exclusively as an instrument to be
used by the public managers; and
(3) to emphasize the essentially
political character of public policy
evaluation, listing and categorizing
the distinct forms of its utilization.
The virtual subordination of the
management use of evaluation to
broader political projects and to
specific strategies and interests of
decision makers and other stakeholders will be stressed.
Au cours de ces dernières années,
nous avons assisté, dans le cadre des
études et des débats sur l’évaluation
des politiques publiques, à une prédominance du biais normatif et/ou
une primauté des aspects plus techniques de la recherche évaluative, ainsi qu’à une mise en avant de leur rôle
d’instrument de gestion. Tout en reconnaissant le caractère initial de la
recherche et de la pratique de son
évaluation au Brésil, ce travail propose: (1) d’analyser les facteurs qui, jusqu’à présent, ont justifié et conditionné la mise en place généralisée de
systèmes d’évaluation, surtout dans
les pays d’Amérique latine ; (2) de
rechercher les raisons de l'importance, dans le cadre de l’État et aussi sur
le plan analytique, d’une conception
“technisciste” d’évaluation, comprise
aujourd’hui presque exclusivement
comme un instrument de gestion
gouvernementale; et, finalement, (3)
de mettre l’accent sur le caractère
éminemment politique de l’évaluation des politiques publiques, en citant
et en rangeant leurs différentes formes d’utilisation. Nous prétendons,
de cette façon, mettre en avant la subordination virtuelle de l’emploi de
l’évaluation comme instrument de
gestion et de son éventuelle capacité de mettre une fin, de recommencer ou de revitaliser le cycle des politiques aux injonctions politiques les
plus englobantes, aux stratégies et
aux intérêts des preneurs de décision
et des autres acteurs impliqués.
SUBSÍDIOS PARA ORGANIZAR
AVALIAÇÕES DA AÇÃO
GOVERNAMENTAL
Ronaldo Coutinho Garcia
PROGRAMA DO MÓDULO METODOLÓGICO
André Junqueira Caetano
1.ª sessão
Políticas públicas: formulação, implementação (operacionalização), ações e gestão
(operação) e avaliação
Avaliação prévia (ex-ante), durante (monitoramento) e posterior (ex-post)
Metodologias de avaliação: implementação, focalização, resultados e impactos
GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Brasília: IPEA,
2001. (Textos de Discussão 776).
MOKATE, K. Eficácia, eficiência, equidad y sostenabilidad: ¿Qué queremos decir?
Disponível em:<http://indes.iadb.org/verpub.asp?docNum=6216>. Acesso em: 10 maio 2006.
RUBIO, G. et al. Estratégias de redução da pobreza: livro de consulta. Disponível em:
<www1.worldbank.org/prem/poverty/portuguese/strategies/srcbook/m&e0118.pdf> Acesso em:
10 maio 2006.
2.ª sessão
Avaliação de implementação - Programa Bolsa-Família
SILVA, P. L. B. e M. A. B. MELO. O processo de implementação de políticas públicas
no Brasil: características e determinantes da avaliação de programas e projetos.
Cadernos NEPP 48, Campinas, NEPP-UNICAMP, 2000.
3.ª sessão
Avaliação de focalização e de resultados (eficiência e eficácia) - Programa Bolsa-Escola
LAVINAS, L.; M. L. O. BARBOSA. combater a pobreza estimulando a freqüência
escolar: o estudo de caso do Programa Bolsa-Escola do Recife. Dados 43(3):
447-477, 2000.
4.ª sessão
Avaliação de impacto - Programas Bolsa-Alimentação e Bolsa-Família
ISSN 1415-4765
TEXTO PARA DISCUSSÃO No 776
Subsídios para Organizar
Avaliações da Ação Governamental
Ronaldo Coutinho Garcia*
Brasília, janeiro de 2001
*
Da Diretoria de Estudos Setoriais (DISET) do IPEA.
MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO
Martus Tavares – Ministro
Guilherme Dias – Secretário Executivo
Instituto de Pesquisa Econômica Aplicada
Presidente
Roberto Borges Martins
Chefe de Gabinete
Luis Fernando de Lara Resende
DIRETORIA
Eustáquio J. Reis
Gustavo Maia Gomes
Hubimaier Cantuária Santiago
Luís Fernando Tironi
Murilo Lôbo
Ricardo Paes de Barros
Fundação pública vinculada ao Ministério do Planejamento,
Orçamento e Gestão, o IPEA fornece suporte técnico e
institucional às ações governamentais e torna disponíves, para
a sociedade, elementos necessários ao conhecimento e à
solução dos problemas econômicos e sociais do país.
Inúmeras políticas públicas e programas de desenvolvimento
brasileiro são formulados a partir dos estudos e pesquisas
realizados pelas equipes de especialistas do IPEA.
TEXTO PARA DISCUSSÃO tem o objetivo de divulgar resultados
de estudos desenvolvidos direta ou indiretamente pelo
IPEA, bem como trabalhos considerados de relevância
para disseminação pelo Instituto, para informar
profissionais especializados e colher sugestões.
Tiragem: 130 exemplares
COORDENAÇÃO EDITORIAL
Brasília – DF:
SBS Q. 1, Bl. J, Ed. BNDES, 10o andar
CEP 70076-900
Fone: (61) 315 5374 – Fax: (61) 315 5314
E-mail: [email protected]
Home page:
page http://www.ipea.gov.br
EQUIPE
Coordenação: Marco Aurélio Dias Pires; Secretaria: Gardênia Santos
Gerência: Suely Ferreira
Revisão: Chico Villela (coord.); Carlos Alberto Vieira, Flávia Nunes de Andrade (estag.),
Isabel Villa-Lobos Telles Ribeiro, Luciana Soares Sargio (estag.)
Edição Gráfica: Iranilde Rego (coord.); Aeromilson Mesquita; Cecília Bartholo, Edineide Ramos,
Francisco de Souza Filho, Lúcio Flavo Rodrigues
Divulgação: Cláudio Augusto Silva (coord.); Edinaldo dos Santos, Mauro Ferreira
Produção Gráfica: Edilson Cedro Santos
SERVIÇO EDITORIAL
Rio de Janeiro – RJ:
Av. Presidente Antonio Carlos, 51, 14o andar
CEP 20020-010
Fone: (21) 804-8118 – Fax: (21) 220 5533
E-mail: [email protected]
É PERMITIDA A REPRODUÇÃO DESTE TEXTO, DESDE QUE OBRIGATORIAMENTE CITADA A FONTE.
REPRODUÇÕES PARA FINS COMERCIAIS SÃO RIGOROSAMENTE PROIBIDAS.
SUMÁRIO
SINOPSE
1
INTRODUÇÃO
5
2
A DEMANDA POR AVALIAÇÕES
3
UMA DEMANDA COM POTENCIAL ORGANIZATIVO SISTÊMICO
4
TORNANDO A DEMANDA MAIS PRECISA
5
ESBOÇO TENTATIVO DE UM ROTEIRO PRELIMINAR
PARA ORGANIZAR AS AVALIAÇÕES DO PPA
42
6
DELINEAMENTO APROXIMATIVO DE UM SISTEMA DE AVALIAÇÃO
7
PARA FINALIZAR
6
18
24
58
61
REFERÊNCIAS BIBLIOGRÁFICAS
63
A produção editorial deste volume contou com o apoio financeiro do Banco Interamericano de Desenvolvimento, BID, por intermédio do Programa Rede de Pesquisa e Desenvolvimento de Políticas Públicas,
Rede-IPEA, operacionalizado pelo Projeto BRA/97/013 de Cooperação Técnica com o PNUD.
SINOPSE
A
reorganização do processo de planejamento, orçamento e gestão do governo
federal está em curso. O Congresso Nacional aprovou o primeiro Plano Plurianual elaborado em novas bases conceituais e metodológicas, determinando que se
proceda, anualmente, à avaliação global do plano e de cada um dos programas que o
integram. Ademais, era da própria lógica das mudanças introduzidas fortalecer a atividade
de avaliação como um requisito para a atualização do plano às mudanças da realidade e
como um imprescindível instrumento da gestão estratégica dos programas.
Implantar um sistema de avaliação para o planejamento e a gestão governamentais, no entanto, não é algo trivial. Inexiste, na administração pública brasileira, uma
prática consagrada ou uma cultura institucional de avaliação. Conceitos, metodologias, sistemas de informações terão que ser criados e desenvolvidos com a finalidade
específica de suportar a implantação do processo regular e recorrente de avaliações
da ação governamental. O presente texto é um subsídio a tão necessária construção.
O CONTEÚDO DESTE TRABALHO É DA INTEIRA E EXCLUSIVA RESPONSABILIDADE DE SEU AUTOR,
CUJAS OPINIÕES AQUI EMITIDAS NÃO EXPRIMEM, NECESSARIAMENTE, O PONTO DE VISTA DO
INSTITUTO DE PESQUISA ECONÔMICA APLICADA/MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO
5
BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
1 INTRODUÇÃO**
“Caminante, no hay camino, se hace camino al andar.”
António Machado
E
m dezembro de 1994, com a edição da Medida Provisória no 1 548, foi instituído o que, informalmente, passou a ser denominado de Ciclo da Gestão Pública: um conjunto de carreiras e categorias funcionais − os técnicos de planejamento e pesquisa do IPEA; analistas de planejamento e orçamento; técnicos de planejamento P-1501; analistas de finanças e controle; e especialistas em políticas públicas e gestão governamental. A idéia de um ciclo de gestão pública advinha do fato de
seus integrantes lidarem com o planejamento governamental, a preparação e execução do Orçamento da União, a administração financeira dos recursos, a gestão das
ações governamentais e o controle interno dos gastos públicos do Executivo federal.
Uma boa idéia que ainda não se materializou de forma plena no que diz respeito a
funcionar de maneira integrada e recorrente.
A 36a reedição da referida Medida Provisória (MP), em 2 de outubro de 1997, foi
ampliada para estabelecer atribuições específicas aos integrantes do ciclo, todas, no
entanto, entendidas como atividades que comporiam a gestão governamental, com
destaque para a avaliação. A MP foi convertida em lei no ano seguinte, Lei no 9 625,
de 7 de abril de 1998, e, em seu artigo no 24, diz que “aos ocupantes de cargos efetivos de Técnico de Planejamento e Pesquisa do IPEA compete o exercício de atividades de gestão governamental nos aspectos relativos ao planejamento, à realização de
pesquisas econômicas e sociais e à avaliação das ações governamentais para subsidiar
a formulação de políticas públicas”. O que segue é uma modesta tentativa de contribuir para a construção de um processo sistemático e apropriado de avaliações das
ações de governo. São adotados aqui dois supostos: um efetivo sistema de avaliações
é sempre o produto de uma construção deliberada com vistas a atender necessidades
específicas em um ambiente institucional particular. Resultará de um esforço coletivo
de tentativa e erro, de aprender fazendo, pois não existem um modelo universal nem
receitas genéricas aplicáveis a quaisquer situações. O outro suposto é que, sem um
processo sistemático de avaliação, a verdadeira gestão pública jamais poderá ser exercida, o que implica incalculáveis prejuízos para a grande maioria da população brasileira que tanto necessita de uma ampla presença do poder público, conduzida com
eficiência, eficácia e eqüidade.
**
Este texto foi concluído no início de julho de 2000.
6
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
2 A DEMANDA POR AVALIAÇÕES (e algumas respostas insuficientes)
O alto executivo governamental é, por definição, uma pessoa de ação. Dirigir uma
instituição, um programa, um processo é algo que só se faz mediante ações de diversas naturezas: declarações, convocações, articulações, emissão de atos normativos, atribuição de responsabilidades, alocação de recursos, formalização de decisões (processos
administrativos, contratos, convênios, acordos), entre outras. O exercício de direção exige um incessante processo de deliberação e decisão.
Das muitas decisões que um dirigente público é obrigado a tomar diariamente,
qual é o percentual daquelas suportadas por conhecimento e informação satisfatórios
e elevada segurança sobre a pertinência, oportunidade e intensidade? Qual a segurança sobre as conseqüências da decisão?
Não existem informações que possibilitem respostas confiáveis e precisas às perguntas. Mas, uma piada freqüentemente repetida na Administração Pública permite
uma aproximação esclarecedora: “o dirigente experiente ou esperto não assina nenhum documento sem que pelo menos uma dezena de subalternos tenha aposto o
seu correspondente ‘de acordo’ formal. Esta seria a garantia de que não se iria para a
cadeia sozinho...”. Ou seja, a garantia de que a decisão tomada é legal, e apenas isso, é
tão maior quanto maior for o número daqueles que não vêem nenhuma norma contrariada ou desrespeitada. Nada sobre a propriedade, a relevância, o momento ou a
pretensa eficácia da decisão.
Isso ocorre não porque os dirigentes se sintam melhor procedendo dessa maneira
e sim porque os processos praticados não permitem fazer diferente. As decisões são
tomadas porque não podem mais ser prorrogadas, porque o acúmulo de documentos
e demandas é desconfortável, porque as cobranças se avultam. Mas as incertezas e as
inseguranças de diversos tipos crescem em razão direta ao volume de decisões não
triviais que um dirigente é obrigado a tomar.
Quando o desconhecimento sobre os resultados das ações atinge um elevado patamar de
desconforto, ou quando os indícios de que não são os esperados (podendo ser o
oposto), ou ainda quando surgem demandas superiores (ou de organismos internacionais e nacionais de financiamento) ou críticas de setores da sociedade sobre o desempenho, o andamento, os resultados das ações, os dirigentes optam por uma das
duas mais freqüentes saídas:
2.1 Deficiências na Demanda
(a) determinam aos subordinados a preparação de avaliações das ações sob sua responsabilidade; e
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
7
(b) contratam consultorias de universidades, institutos de pesquisa, especialistas na
área e, mais recentemente, de ONG (muitas criadas por técnicos governamentais aposentados precocemente por conta da irracional política de pessoal e de previdência
adotada na última década e muitas outras financiadas com recursos públicos para
realizar atividades antes executadas diretamente pelos governos).
No primeiro caso, produz-se um transtorno na rotina dos subordinados que, sem
as condições apropriadas, irão desenvolver esforços adicionais de monta na busca de
informações não organizadas, de dados defasados e pouco confiáveis, de opiniões
pessoais, de evidências factuais esparsas. Conseguido o mínimo, inicia-se um processo extremamente criativo e esgotante de construção de uma miscelânea impressionista, que após muitas horas extras e finais de semana de trabalho intenso, irá receber
o pomposo título de Avaliação do Programa XYZ. Apresentado o documento, tudo
voltará a ser como antes, até que, passados muitos meses ou até anos, uma nova demanda surja e, sempre como um estorvo, provoque mais um espasmo avaliativo.
O conteúdo de tal avaliação estará dedicado a mostrar as realizações positivas do
programa (na verdade estimativas das metas alcançadas), com dados de difícil confirmação porque, na maioria das vezes, são projeções feitas sob bases precárias e com
distorções quase impossíveis de serem corrigidas: uma decorrência da nãoobrigatoriedade do registro sistemático dos fatos relevantes ocorridos durante a implementação das ações integrantes do programa. Os demais capítulos da avaliação irão
arrolar dificuldades, sempre referentes à insuficiência de recursos diversos (material,
pessoal qualificado, informações atualizadas, vontade política), às restrições legais/
administrativas, aos cortes nas dotações orçamentárias e aos implacáveis atrasos nas
liberações financeiras. Freqüente será, também, a atribuição de culpa aos outros
eventuais atores envolvidos na execução dos programas – a máquina emperrada,
outros ministérios, outras secretarias, governos estaduais e municipais – que não teriam conferido a devida prioridade ao cumprir as ações que lhes tocariam.
Em alguns casos mais pitorescos é possível encontrar reclamações por conta da
realidade não ter se comportado conforme o previsto ou de o público-alvo não ter
compreendido ou cooperado na execução das ações, com os resultados se apresentando muito diferentes daqueles esperados quando do desenho do programa. As
avaliações conduzidas dessa forma têm em comum o fato de quase nunca (e o quase é
apenas uma cautela, pois o universo dessas não é conhecido ou publicado) alterarem
as condições operacionais e o ambiente decisório sobre os quais dissertam. Não são
utilizadas para o aprendizado institucional por não terem sido demandadas para servirem como instrumento de governo e de aperfeiçoamento. São encaradas como
desvios de uma rotina impensada, de condutas repetitivas e acríticas, de processos
conduzidos pelas circunstâncias, nos quais os dirigentes apenas administram aspectos
formais ou secundários. São estorvos.
8
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Na contratação de consultorias externas, as razões que as movem são, basicamente, de três ordens: as exigências formais de contratos de financiamentos externos
(BID, Banco Mundial) ou internos (FAT, BNDES, CEF, entre outros); fortes pressões ou
críticas de atores sociais interessados (a favor ou contra) no programa que não conseguem ser respondidas com a produção interna de avaliações; as articulações de interesses pessoais/grupais entre os dirigentes públicos e núcleos acadêmicos, institutos
públicos de pesquisa, empresas de consultoria e consultores independentes. Quando
imperam as razões ligadas a articulações de interesses, a avaliação quase nunca é sobre o conjunto da política governamental sob a responsabilidade do dirigente/instituição contratante, mas sobre programas ou projetos particulares, pois, assim, a
autoridade ou a competência do executivo público não será questionada pelos resultados apresentados na avaliação, posto que o programa ou projeto estará, sempre,
sob a direção de uma autoridade do segundo escalão. Assim, as culpas pelos eventuais insucessos poderão ser atribuídas aos de baixo. E se por acaso a avaliação cobrir a
totalidade da atuação do contratante, o relatório final dificilmente conterá críticas
duras ou mostrará a realidade nua e crua dos resultados encontrados. A atenuação de
aspectos negativos, feita muitas vezes de forma um tanto inconsciente, funcionaria
como um seguro para manter abertas as portas para novas encomendas no futuro.
Em quaisquer dos casos, evidencia-se que a demanda não é formulada com vistas
a obter respostas orientadas para a melhoria do processo decisório e para o aperfeiçoamento do modelo de gestão institucional. A demanda não é formulada entendendo a avaliação como poderoso instrumento para elevar a qualidade global das ações.
A avaliação é vista ou como estorvo ou como obrigação contratual a ser cumprida
ou como forma de ajudar amigos ou instituições.
Quando conduzidas por consultorias externas, serão encontradas principalmente as pesquisas ou os estudos de avaliação, que constituem
o produto por excelência da cultura e do ‘modus operandi’ dos institutos/centros/núcleos de pesquisa acadêmica, estando eles fora ou dentro das universidades. As empresas de consultoria também acabam por produzi-las, pois é comum
contratarem professores e pesquisadores universitários para executarem as avaliações.
As pesquisas ou estudos são concebidos com dois objetivos básicos: avaliar os processos (se o programa está sendo implementado conforme seus objetivos, diretrizes e
prioridades e se seus produtos estão atingindo as metas previstas, com a necessária
eficiência) ou avaliar os impactos (verificar se as transformações primárias e/ou secundárias na realidade são atribuíveis às ações do programas, estabelecendo as devidas
relações de causalidade). Ambas exigem trabalho de campo, um largo tempo para a
realização, um número razoável de pesquisadores, e apresentam custos elevados (so2.2 Deficiências dos
Enfoques Predominantes
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
9
bre os quais incidem as ambicionadas taxas de administração das entidades públicas
conveniadas ou as taxas de lucro das empresas privadas contratadas).1
Quais os produtos e as conseqüências dos estudos e pesquisas de avaliação? Algumas respostas podem ser encontradas abrindo-se espaço para dar voz a analistas
da própria academia ou de institutos de pesquisa que se debruçaram criticamente
sobre essas avaliações.
Em Fetichismo da Avaliação, trabalho denso e perspicaz de Ana Maria Rezende
Pinto (1986, p. 88 e 89), encontramos que “os avaliadores ligados ao mundo da pesquisa, bem mais do que ao do planejamento, são regidos pelo sistema de incentivos
da academia, quase nunca coincidentes com os da administração pública. Eles são
movidos pela busca de novas perspectivas teóricas e metodológicas, nem sempre de
interesse imediato do decisor. Tendem, ao examinar um programa, a propor alterações mais substanciais ou de cunho reformador mais nítido, infactíveis na prática,
porque ameaçam ou os valores e ideologias e rituais dos órgãos que o implementam
ou as alianças políticas que dão sustentação ao plano. Muitas avaliações concluem
que os programas não vão bem, que as pessoas ou grupos beneficiados continuam
necessitados e/ou desassistidos, oferecendo pouca evidência sobre as possibilidades
de melhorias ou reformulações possíveis. Isto quando os resultados da avaliação não
são inconclusos e vagos...”, o que, não é arriscado afirmar, engloba a grande maioria
dos estudos e pesquisas de avaliação conduzidos academicamente.
Aliás, essa é a conclusão a que chegam Argelina Cheibub Figueiredo, da UNICAMP,
e Marcos Faria Figueiredo, do IDESP, após analisarem 144 pesquisas de avaliação de
programas sociais: “é interessante observar que a prática de policy-recommendation não é
muito utilizada (...) São poucos os estudos que apresentam de forma sistemática as
providências necessária para corrigir distorções detectadas ou que apontam alternativas” [Figueiredo e Figueiredo, 1986].
Se a maioria dos relatórios finais das pesquisas de avaliação de políticas, programas ou projetos são inconclusos, vagos e não apresentam recomendações para melhorar as ações governamentais, isso não quer dizer que aqueles que conduziram as
pesquisas de avaliação sejam incompetentes. O mais provável é que sejam profissionais responsáveis e não aventureiros formuladores de sugestões e recomendações
sobre aquilo que não conhecem, ou seja, os meandros e desvãos dos processos de
formação, desenho e execução das políticas governamentais. Algo sabidamente nebuloso, impreciso, muitas vezes não formalizado, que não gera registros sistemáticos.
1
Na situação de penúria em que as universidades públicas se encontram há vários anos, os recursos
financeiros aportados por esses convênios têm representado uma válvula de escape de enorme importância, permitindo suplementar salários de professores/pesquisadores, adquirir equipamentos,
livros, ‘softwares’ e, até mesmo, cobrir a manutenção de instalações. É verdade que, em algumas
delas, existem fundações de direito privado – de fato clubes de amigos – que administram esses recursos de forma bem pouco pública e transparente.
10
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
As dificuldades de se conhecerem de fora esses processos são quase intransponíveis.
Estar dentro, por outro lado, é ser capturado pela dinâmica quase caótica2 que impera em nossas administrações públicas, e representa uma impossibilidade para o pesquisador acadêmico enquanto tal. Talvez valha, aqui, a analogia com os buracos negros,3 um fenômeno cuja existência ainda carece de cabal comprovação científica (o
que não é o caso dos realmente existentes processos de governo), ainda pouco conhecido e para o qual não se dispõe de teoria suficiente e testada em sua capacidade
explicativa. Seria o caso de se perguntar se os pesquisadores acadêmicos não olham
para os complexos processos de governo de modo semelhante aos astrônomos para
com os buracos negros: de longe e sem teoria apropriada.
As argutas observações de Rezende Pinto se estendem, também, sobre esses aspectos: “os pesquisadores acostumados à largueza do tempo próprio da academia,
nem sempre oferecem respostas no timing adequado ao decisor. Formulam muitas
perguntas, encontram muitas respostas, sem considerar as expectativas das audiências
de avaliação, supondo uma certa isenção do conhecimento científico frente às necessidades práticas e imediatas de quem decide (...). Esta maneira peculiar de trabalhar
ou a lógica do trabalho acadêmico é bastante diferenciada daquela que orienta a ação
de outros sistemas que conduzem à atividade de planejamento – o de decisão e de
implementação. Os decisores, com sua equipe de assessoria, constituem o segmento,
por excelência, em condições potenciais para se apropriarem dos achados avaliativos.
Ao decidirem sobre a pertinência de mudanças, são, contudo, orientados por critérios
2
Uso aqui a palavra caótico com o sentido proposto pela teoria do caos, isto é: complexos sistemas
abertos, aparentemente aleatórios e imprevisíveis mas que obedecem a certas regras organizativas
bastante precisas. Ver Lorenz, 1996.
3
Os buracos negros são objetos extraordinários, verdadeiros abismos do espaço e do tempo, gerados pelas fusões nucleares das estrelas que, ao longo de bilhões de anos, vão formando núcleos
cada vez mais pesados. A compressão desenfreada daí resultante faz a estrela ficar progressivamente menor e mais densa. Quanto maior a densidade, maior a atração gravitacional. Quando o
buraco negro se constitui, deixa de haver emissão e radiação de luz. A partir de um determinado
raio, nada é capaz de fugir de sua irresistível atração e tudo que é atraído pelo buraco negro jamais
retorna, sendo inevitavelmente destruído. “A fronteira que delimita a região de não-retorno, separando o interior do exterior de um buraco negro é denominada horizonte de eventos. Assim como um
marinheiro não pode enxergar além da linha do horizonte, não podemos ver nada do que se passa
dentro de um horizonte de eventos de um buraco negro, inclusive em sua parte central onde se escondem os maiores mistérios. Toda a massa de um buraco negro está condensada em seu centro
em forma hiperdensa; tão densa que, para obtê-la, precisaríamos concentrar, por exemplo, toda a
matéria do sol num único ponto. Tal região é denominada singularidade. Em suas proximidades, o
campo gravitacional é tão intenso que até mesmo o espaço e o tempo perdem o significado, tornando-os verdadeiros abismos espaço-temporais” [Matsa e Vanzella, 2000, p. 8]. Todo o conhecimento parcial obtido sobre os buracos negros advém de formulações teóricas e observações indiretas (movimento atípico dos corpos celestiais próximos, desaparecimento de energia). “Nós só
podemos observar o exterior de buracos negros, mas em seu interior há a singularidade, onde as
condições são extremas e é preciso uma teoria da gravitação quântica para entender o que ocorre”
[Rees, 2000, p. 6]. Ou seja, será necessário compatibilizar a teoria da relatividade geral (que corrige
a teoria gravitacional) com a mecânica quântica.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
11
políticos e, não propriamente, pelas evidências ou descobertas científicas. São dirigidos pela lógica dos fatos políticos, necessitando resolver problemas sob pressão, e
com agenda apertada, os recursos para um novo programa, por exemplo, podem
surgir sem que a avaliação de um outro similar tenha terminado. Neste caso, considera-se preferível assegurar a posse dos recursos, corrigindo o fluxo de ação à proporção que ela acontece. Os decisores, além disso, não são eternos. Ao contrário, eles
mudam com freqüência, bem como seus auxiliares. A demanda, ou questão por trás
do estudo avaliativo, pode estar de acordo com a prioridade de um decisor que acaba
de sair, e em desacordo com a perspectiva do recém-ingressado; resultado: engavetase o relatório, restando a possibilidade de sua ‘descoberta’ muito tempo depois”
[Pinto, 1986, p. 89].
Além de todas essas dificuldades, a própria linguagem dos relatórios de pesquisas
avaliativas configura, por si só, uma outra restrição à utilização no processo decisório. O
jargão “técnico-científico dos relatórios acadêmicos e a forma de consolidação dos resultados constituem-se em obstáculos adicionais ao seu aproveitamento imediato na prática. A pesquisa não pode ser imediatamente apropriada como insumo-estratégico na
formulação e acompanhamento de programas públicos” [Abranches, 1985].
Os comentários e observações até aqui expendidos podem ser exemplificados
com as detalhadas informações produzidas em trabalho recentemente conduzido
pelo IPEA, sobre as avaliações do Programa Nacional de Qualificação Profissional
(PLANFOR) [Barros, 1999]. O modelo operacional desse programa supõe a execução
descentralizada mediante convênio com as Secretarias Estaduais do Trabalho (ou
equivalente) e exige a realização periódica de avaliações. Estas deverão verificar:
• a eficácia – “benefício das ações de educação profissional em termos de empregabilidade, melhoria do desempenho profissional, geração ou elevação de renda,
integração ou reintegração social”; e
• a efetividade social – definida “nos mesmos parâmetros de eficácia, mas do
ponto de vista mais amplo das populações, comunidades ou setores beneficiados
pelo programa”.
No período compreendido entre 1996 e 1999, foram realizadas 361 avaliações estaduais e 38 avaliações nacionais. No primeiro ano da série, foram avaliadas sete unidades da Federação; em 1997, 14 unidades federadas; e, em 1998 e 1999, 15 unidades. No total gastaram-se R$ 28,5 milhões. As avaliações estaduais foram executadas
“preferencialmente por universidades federais (6), estaduais (1) e fundações/institutos públicos de pesquisa (10). As avaliações nacionais ficaram a cargo da
UNITRABALHO”. Os levantamentos que produzem as informações utilizadas nos estudos são feitos em três momentos: no ato da matrícula; ao final do curso; e, no mínimo, três meses após o término do curso. A conclusão do trabalho do IPEA é que a
grande maioria das avaliações não examina os principais fatores condicionantes da
eficácia dos treinamentos e não produz recomendações para o aperfeiçoamento do
12
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
PLANFOR.
O programa, após quatro anos de execução, continuava apresentando praticamente as mesmas deficiências iniciais.
Avaliações externas e pesquisas avaliativas sobre
políticas, programas e projetos que não foram desenhados para serem avaliados são necessariamente precárias e inconclusas, por mais competentes e dedicados que sejam os avaliadores. Isto porque não é possível, passado o
tempo da implementação, mapear, de forma precisa, a situação inicial que deveria ser
alterada pela política/programa/projeto, contrastando-a com a situação presente ou
com a final. Também não é possível reconstruir todo o processo de intervenção, em
suas múltiplas dimensões, nem os contextos particulares nos quais seus diversos
segmentos ocorreram. De igual maneira, não é possível reconstituir os caminhos e as
circunstâncias que levaram ao erro ou ao acerto, prescrevendo sugestões corretivas.
Torna-se, portanto, extremamente difícil, senão temeroso, estabelecer relações causais entre as ações desenvolvidas e os resultados alcançados, sejam estes previstos ou
não, desejados ou não, primários ou secundários, restritos ou ampliados.
2.3 Deficiências Cognitivas
Ademais, existe uma outra grande dificuldade a ser superada pelas avaliações de
natureza acadêmica, referente à compreensão e enfrentamento dos complexos problemas quase-estruturados [Mitroff, 1984; Matus, 1993] que predominam nas agendas governamentais (ver quadro 1). Se a “complexidade é a união entre a unidade e a
multiplicidade, há complexidade quando elementos diferentes são inseparáveis constitutivos do todo (como o econômico, o político, o sociológico, o psicológico, o afetivo, o cultural) e há um tecido interdependente-interativo e inter-retroativo entre o
objeto do conhecimento e seu contexto, as partes e o todo, o todo e as partes, as
partes entre si” [Morin, 2000, p. 38]. Assim, compreender e avaliar as intervenções
sobre os problemas complexos exige saberes que não são encontrados nas disciplinas
acadêmicas e menos ainda em seus subconjuntos, nos quais se aprofundam os especialistas4 convocados a participar das equipes de avaliação. A especialização começa a
ser reconhecida, no próprio ambiente acadêmico, como um processo que leva a uma
redução dos horizontes intelectuais, e tanto mais quanto mais precoce se der [Castro
Santos, 1998].
De novo, Morin põe o dedo na ferida: “os problemas essenciais nunca são parcelados (...) e a cultura científica e técnica disciplinar parcela, desune e compartimenta
os saberes, tornando cada vez mais difícil sua contextualização (...) o recorte das disciplinas impossibilita apreender o que está ‘tecido junto’, o sentido original do termo,
o complexo. O conhecimento especializado é uma forma particular de abstração. A
especialização ‘abs-trai’, em outras palavras, extrai um objeto de seu contexto e de
seu conjunto, rejeita os laços e as intercomunicações com seu meio, introduz o ob-
4
A definição jocosa de especialista que diz ser “aquele que sabe cada vez mais de cada vez menos”,
não deixa de ter o seu fundo de verdade.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
13
jeto no setor conceitual abstrato que é o da disciplina compartimentada, cujas fronteiras fragmentam arbitrariamente a sistematicidade (relação da parte com o todo) e a
multidimensionalidade dos fenômenos; conduz à abstração matemática que opera de
si própria uma cisão com o concreto, privilegiando tudo que é calculável e passível de
ser formalizado” [Morin, 2000, p. 41, 42].
QUADRO 1
Problema Estruturado
1. As regras do sistema que o produz são precisas, claras, invariáveis e predeterminadas. Elas
existem antes da solução do problema e permanecem iguais após a solução.
2. O homem está fora do problema e se relaciona com ele somente para tentar resolvê-lo
conforme regras predeterminadas; e, se o problema é solucionado, ninguém terá dúvidas
quanto à eficácia da solução.
3. As fronteiras do problema e do sistema que o
gera estão perfeitamente definidas. Não há
dúvidas sobre onde começa e onde acaba cada
coisa.
4. As regras do sistema tornam explícitos ou
contêm implicitamente os conceitos (possibilidades e restrições) pertinentes à resolução do
problema.
5. O problema está isolado de outros problemas
e, havendo uma seqüência com outros, a solução de cada um não afeta a solução dos seguintes.
6. O espaço e o tempo pertinentes ao problema
são definidos nas regras como fixos, ou tornam-se fixos para quem se relaciona com ele.
7. As variáveis que constituem o problema são
dadas, enumeráveis, conhecidas e finitas.
8. Qualidade e quantidade não se combinam, o
problema se move em um ou outro âmbito.
9. As possibilidades de solução do problema estão contidas nas suas premissas e são finitas
em número. As soluções são conhecidas ou
conhecíveis mesmo não sendo evidentes.
10. O problema coloca um desafio científico
ou técnico, podendo supostamente ser tratado
com objetividade.
Problema Quase-Estruturado
1. O problema está determinado por regras, mas
estas não são precisas, nem invariáveis e nem
iguais para todos. Os atores sociais criam as regras, e às vezes as mudam para poder solucionar os problemas.
2. O homem (ou ator social) está dentro do problema e é aí que o conhece e o explica, mesmo
que não tente solucioná-lo. A eficácia de uma
solução é discutível e relativa aos problemas
que seguem.
3. As fronteiras do problema e do sistema que o
gera são difusas.
4. Os atores sociais (ou os homens) criam possibilidades de solução, que não existem previamente. Os conceitos para compreender as possibilidades de solução e suas restrições não são
dados necessáriamente previamente.
5. O problema está sincrônica e diacronicamente
entrelaçado a outros; a solução de um problema facilita ou dificulta a solução de outros.
6. O espaço e o tempo são relativos a quem se
relaciona com o problema a partir de diferentes
posições.
7. O sistema é criativo e suas variáveis não são
dadas, não são todas enumeráveis, nem conhecidas e nem finitas.
8. Qualidade e quantidade combinam-se inseparavelmente.
9. As possibilidades de solução do problema são
criadas pelo homem e são potencialmente infinitas em número.
10. O problema coloca um desafio múltiplo que
abrange sempre o âmbito sociopolítico, mesmo
tendo uma dimensão técnica. A objetividade
não é possível, mas deve-se procurar o rigor.
Fonte: Matus, 1993.
Isso fica bastante evidenciado nas chamadas avaliações de impacto de programas
sociais, realizadas com o uso de técnicas de controle, sob a crença de que tais técnicas
podem ter alguma validade ou adequabilidade aos processos sociais. “Avaliar pro-
14
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
gramas sobre a perspectiva clássica significa, basicamente, isolar seus impactos. Esta
concepção referenda-se no pressuposto de que determinada realidade recebe, durante
um período de tempo definido, influxo sistemático de ações específicas e, portanto,
concomitantemente diferenciadas de outras. Essa realidade atua de forma linear,
permitindo, em momento adequado, retirar, em bloco, o conjunto de ações desencadeadas, isolá-las do contexto, para, então, examinar seus reflexos.
Se as situações de experimento controlado são difíceis em laboratórios, tornam-se
improdutivas em campo. Assim, o curso da ação de um programa é definido em
contexto dinâmico e interativo onde se observa simultaneidade de ações diferenciadas que traduzem formas distintas de apropriação dos recursos disponíveis. Ainda
que se suponha controlar as condições do projeto, as variáveis ambientais, determinantes do seu impacto, são incontroláveis pelo avaliador.
Os benefícios sociais resultam, não apenas de uma soma de fatores, mas de sua
combinação, cuja determinância é quase sempre espúria. Os elementos de um projeto
que explicam impactos distintos são inúmeros e diferenciados, o que torna quase
nula a possibilidade de isolamento de impacto. Mesmo que se consiga levar a termo a
análise, obtendo-se alguma evidência estatística, o resultado pode ser frutífero do
ponto de vista acadêmico, mas mínimo do prático, da aprendizagem do sistema de
planejamento. Ainda assim, a causalidade do impacto ficará a descoberto, dada a
multicolinearidade que acompanha ações sociais” [Pinto, 1986, p. 87].
As exigências teóricas, metodológicas e técnicas apropriadas à avaliação de problemas complexos e das intervenções, igualmente complexas, com as quais devem ser
atacados, não são supridas pelas disciplinas acadêmicas e suas especializações e nem
pelas técnicas de pesquisas convencionais oriundas das ciências da natureza. O conhecimento e as informações pertinentes e úteis para a gestão de intervenções complexas em problemas complexos não serão produzidos por equipes multidisciplinares
externas à intervenção. Estas são capazes apenas de captar evidências e indícios parciais e indiretos, que podem ser selecionados e entendidos pelos conceitos fragmentados e técnicas reducionistas fornecidos pelas disciplinas compartimentadas, livres
das interferências dos fatores pertencentes às especialidades vizinhas.
As avaliações produzidas por consultorias externas e as conduzidas internamente,
do modo como foi descrito, pouco ajudarão o executivo do setor público na condução de ações governamentais. O próprio governo, auxiliado pela universidade e pelos
institutos de pesquisa, terá que coordenar um grande e extenso esforço de produção de
conhecimento, apropriado (e apropriável) ao trabalho com os objetos e sujeitos envolvidos nas práticas de governo e nas transformações concretas da realidade social.
Conhecer a complexidade dos processos quase-estruturados exige a produção de
conceitos e teorias que correspondam à sua natureza complexa; que sejam capazes
de lidar com o difuso, o impreciso, o insuficiente, o relacional, as misturas de qualidade com quantidade, a ação criativa e imprevista, a subjetividade e os interesses dos
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
15
atores sociais, e a incerteza daí resultante. A avaliação dos resultados obtidos por
intervenções em complexos problemas quase-estruturados deve levar em conta os
contextos nos quais acontecem (compreender significa apreender em conjunto: ação
e contexto; as partes e o todo; o múltiplo e o uno), as referências valorativas e ideológicas dos que as empreendem, os interesses materiais e políticos dos decisores,
entre muitos outros aspectos. Essas exigências não são atendidas pelas disciplinas
segmentadas e tampouco pelas técnicas de pesquisa fragmentadoras da realidade. Há
a evidente necessidade de se produzir conhecimento apropriado caso se queira compreender e melhorar (afinal este é o objetivo da avaliação) os processos de governo.
Tal como a cosmologia terá que criar teorias novas para dar conta dos buracos negros, as ciências sociais terão que desenvolver teorias e técnicas de forma que transdisciplinarmente superem as especialidades compartimentadas, o pensamento disjuntivo, as formulações reducionistas, habilitando-se a lidar com o complexo do mundo.
Ciências e técnicas que permitam ultrapassar o horizonte de eventos e adentrar nas
singularidades do ambiente e das ações governamentais5 [Dror, 1999; Mateus, 1997;
Ackoff, 1987; Santos, 1996; Bronowski, 1997; Wagensberg, 1985].
O avolumar de ineficiências, de desperdícios, de
equívocos na condução das ações governamentais,
o crescimento das críticas sobre a qualidade, quantidade e oportunidade dos serviços e produtos oriundos da Administração Pública, o
interminável ajuste fiscal que exige fazer mais com o mesmo recurso financeiro ou o
mesmo com cada vez menos, a insuportável insegurança que preside os processos
decisórios, a sensação dominante de que se esforça muito para obter resultados pífios, tudo isso em interação acaba por produzir um verdadeiro clamor por avaliações.
2.4 Deficientes Tentativas de
Respostas Sistêmicas
A medida provisória citada no início do texto (atual Lei no 9 625, de 7 de abril de
1998), distribui competências e atribuições avaliativas prodigamente:
a) aos especialistas em políticas públicas e gestão governamental, as atividades de
apoio à formulação de implementação e avaliação de políticas públicas;
b) aos analistas de finanças e controle, as atividades de apoio à formulação, de implementação de políticas na área econômico-financeira e patrimonial, de auditoria e
de análise e avaliação de resultados;
c) aos analistas de planejamento e orçamento e técnicos de planejamento p-1501
do grupo TP-1500, as atividades de apoio à formulação de implementação e de avaliação de políticas nas áreas orçamentárias e de planejamento.
5
As conclusões e recomendações da Comissão Gulbenkian para a Reestruturação das Ciências
Sociais, presidida por Immanuel Wallerstein, aportam sugestões muito interessantes para a superação da estrutura disciplinar compartimentada. O relatório final foi publicado no Brasil [Comissão
Gulbenkian, 1996]. Latour (1994) também faz considerações instigantes sobre o tema.
16
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Todos a avaliar tudo sem especificar sob quais perspectivas seriam realizadas as
avaliações pelas diversas carreiras e pelos técnicos de planejamento e pesquisa do
IPEA. Mas, o que importa é o reconhecimento de que a avaliação é necessária à gestão
governamental e à formalização da idéia do ciclo de gestão.
Os exemplos de que a avaliação é um instrumento do qual não se abre mão, se o
objetivo é efetivamente conduzir (e não ser conduzido por) processos de governo,
não se esgotam na atribuição de responsabilidades entre as carreiras. Nos anos 90,
foram desenvolvidas diversas tentativas de organizar sistemas de avaliações. Sem ser
exaustivo e sem considerar iniciativas de âmbito setorial, destacam-se o Programa de
Acompanhamento das Ações Orçamentárias (PROGORCAM), o Sistema de Acompanhamento do PPA (SIAPPA), o Sistema de Acompanhamento do Brasil em Ação, todos do atual Ministério do Planejamento, Orçamento e Gestão; a Casa Civil da Presidência da República organizou o Sistema de Acompanhamento dos Projetos Prioritários; o Ministério da Fazenda e o extinto MARE implantaram o Sistema de Acompanhamento Gerencial e Avaliação Institucional (PAGG), além de diversos outros sistemas ou programas desenvolvidos pelo MARE, pelas Secretarias do Tesouro Nacional
e Federal de Controle, do Ministério da Fazenda. Ainda que vários programas incluam a palavra acompanhamento em seu título, este é sempre tomado como requisito para
o exercício da avaliação. Infelizmente, muitos desses sistemas não funcionaram a
contento e foram desativados, outros se mostraram insuficientes e nenhum deles foi
capaz de constituir-se em base apropriada à organização de processos de avaliação
enquanto instrumento de gestão.
Apesar das demandas por avaliação, das
freqüentes afirmações dos dirigentes
públicos sobre a importância e necessidade da avaliação, há reconhecimento internacional de que existem “mais exemplos
de ineficiência e fracasso da avaliação do que de contribuições efetivas da avaliação
para a tomada de decisões” [Capitani, 1993].
2.5 Outras Deficiências que Levam
as Avaliações a Falharem
Alberto de Capitani, diretor de administração do setor público do Banco Mundial,
com a experiência que o cargo lhe confere, de posse de vários estudos sobre o tema e
fazendo um apanhado da bibliografia, apresenta uma lista dos sinais clínicos das causas
de fracasso dos processos de avaliação (‘op. cit.’, p. 3 e 4): (i) ela é evitável quando
possível; (ii) mais provoca ansiedade e defensiva do que receptividade; (iii) os órgãos
responsáveis pela condução da avaliação não são capazes de especificar critérios justos e objetivos para fazê-la; (iv) a avaliação não consegue proporcionar informações
úteis; (v) os resultados da avaliação extrapolam com demasiada freqüência o contexto
em que são aplicáveis; (vi) é comum a falta de uma definição compartilhada dos objetivos da avaliação; (vii) falta uma teoria de avaliação adequada; (viii) faltam conhecimentos sobre os processos reais de decisão; (ix) há insuficiente clareza sobre os critérios a serem utilizados na avaliação; (x) não há suficiente distinção entre as aborda-
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
17
gens de avaliação para refletir as diferenças na complexidade dos objetos; (xi) faltam
mecanismos adequados para organizar, processar e relatar as informações avaliativas;
e, a não menos importante, (xii) falta de pessoal devidamente treinado.
É uma lista extensa, mas que, segundo o próprio autor, não é completa. “O que
importa, entretanto, é o fato de que virtualmente em todos os casos de fracasso da
avaliação há uma desconexão entre a avaliação e a tomada de decisão” (‘op. cit.’, p. 8 e
9). Ou, em outras palavras, as avaliações não possibilitam ao dirigente e à organização
reconhecerem seus erros e acertos e agirem para corrigir os primeiros e confirmar,
reproduzir e ampliar os segundos.
Uma das importantes causas dessa desconexão é identificada como a muito freqüente suposição adotada pelos avaliadores de que a qualidade da decisão e do
aprendizado organizacional é determinada pelo acesso à informação de melhor nível.
“Esse é o tipo de erro que os economistas cometem ao adotar um mundo de informações completas, de perfeita racionalidade, amigável e sem fronteiras” (‘op. cit.’, p.
5), mundo que não tem qualquer correspondência com a realidade governamental.
A informação completa sobre problemas quase-estruturados e processos complexos é inalcançável, independentemente do quão custoso, do ponto de vista financeiro, seja tentar obtê-la. A pretensão da informação completa é, antes de mais nada, um
auto-engano que conduz ao reducionismo inconsciente e à não-consideração de variáveis críticas, iludindo o destinatário da avaliação. Ademais, as capacidades individuais e institucionais de processamento de informações são limitadas. Muita informação
desinforma. Por outro lado, a grande maioria das decisões está voltada para a busca
de soluções satisfatórias e não de soluções ótimas.
No ambiente governamental, “a avaliação interessará como um instrumento de
gestão do setor público apenas se ela se encaixar nos processos reais de tomada de
decisão, isto é, nos processos que estão inseridos na realidade das políticas e instituições e são sempre afetados pela escassez e incompleteza das informações necessárias.
Nestas, forças múltiplas além da informação influenciam a tomada de decisão e a
oportunidade da informação é crucial”.6
A avaliação será um elemento fundamental na condução de políticas, programas e
projetos se, ao lado de outras fontes de informação de mesma natureza – como a
análise de contexto, a pesquisa socioeconômica por problemas, a execução orçamentária e a contabilidade públicas −, integrar-se no processo decisório. Para tanto, é
necessário que seja consistente com os processos de produção institucionais, com a
cultura organizacional, com a dinâmica decisória particular de cada instituição, e se
insira com naturalidade no ciclo de criação e internalização de conhecimento da organização.
6
Conforme Rist (1993), citado por Capitani (1993, p. 6).
18
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Fazendo uso dos achados e conclusões de uma pesquisa conduzida por Rist,
‘apud’ Capitani (1993, p. 8), propõe uma série de pré-condições para que a avaliação
integre o aprendizado institucional, ou seja, contribua para a melhoria da qualidade
da condução técnico-política das ações governamentais:
(a) os órgãos governamentais são sempre mais receptivos às informações produzidas internamente do que àquelas originadas em fontes externas;
(b) há sempre uma correlação positiva entre a credibilidade da fonte e a aceitação
da informação e do julgamento produzidos pela avaliação;
(c) a aceitação da avaliação depende não só de como é percebido quem a realiza,
mas também de quão influente é o receptor interno;
(d) a avaliação interinstitucional deve ser legitimada institucionalmente pelo avaliado;
(e) a forma pela qual a informação é compartilhada com os órgãos avaliados é de
grande relevância;
(f) sendo a avaliação um meio para o aprimoramento institucional e a melhoria da
qualidade das ações, deve suportar o aprendizado organizacional como um processo
contínuo.
Todavia, seja qual for o modo como essas pré-condições se realizam, a variável principal é o processo particular de tomada de decisão a ser sustentado pela avaliação, e o
mais importante para tornar a avaliação imprescindível “é assegurar que a informação
correta esteja disponível para as pessoas certas no tempo exato” (‘op.cit.’, p. 11).
3 UMA DEMANDA COM POTENCIAL
ORGANIZATIVO SISTÊMICO
A reorganização do processo de planejamento do governo federal, cujo início foi
formalizado com a publicação do Decreto no 2 829, de 29 de outubro de 1998, enseja
a conformação de uma demanda que pode vir a ter conseqüências com conteúdos
distintos daqueles anteriormente comentados.
3.1 O Contexto da Demanda
O decreto estabelece que, para a elaboração e execução do PPA 2000-2003, e dos
Orçamentos da União (OGU), a partir do exercício do ano 2000, toda ação finalística
será estruturada em programas orientados para a consecução dos objetivos estratégicos estabelecidos para o período do plano. O programa é definido (Portaria MOG no
42, de 14 de abril de 1999) como “o instrumento de organização da ação governamental visando à concretização dos objetivos pretendidos”. Cada programa estará
voltado para o enfrentamento de um problema precisamente identificado, devendo
conter: “objetivo; público-alvo; justificativa; órgão responsável; valor global; prazo de
conclusão; fonte de financiamento; indicador que quantifique a situação que tenha por
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
19
fim modificar; metas correspondentes aos bens e serviços necessários para atingir o
objetivo; ações não integrantes do Orçamento Geral da União necessárias à consecução do objetivo; regionalização das metas por Estado” (Dec. no 2 829, de 29 de outubro de 1998, art. 2o). Os programas serão coordenados por gerentes, designados pelos
ministros a que estiverem vinculadas as unidades responsáveis pelos programas.
Os programas compõem-se de ações: projetos e atividades orçamentárias; operações especiais (despesas que não geram contraprestação direta na forma de bens ou
serviços) e outras ações (aquelas que contribuem para a realização dos objetivos do
programa mas não exigem recursos financeiros do OGU). Para as ações deverão ser
indicados os produtos resultantes, as unidades de medida, as metas físicas, os custos;
a unidade responsável e a forma de implementação (direta, descentralizada, linha de
crédito).
Todos os novos elementos conceituais, a metodologia que os organiza e a exigência de maior precisão, conduzem a possibilidades de uma programação mais fidedigna e realista. Com isso abre-se espaço para a construção de indicadores, coeficientes,
parâmetros que constituem componentes importantes de qualquer sistema de produção de informações orientadas para a avaliação e a gestão. São, portanto, inovações
promissoras.
O Plano Plurianual 2000-2003 (PPA 2000) foi produzido no bojo dessa reorganização com uma orientação que pôs forte ênfase nos aspectos relacionados à gestão e,
por conseguinte, em um de seus principais instrumentos: a avaliação. Para a elaboração do plano, o presidente da República emitiu orientação estratégica que contém
seis diretrizes (de fato eram as quatro primeiras, apresentadas a seguir, que foram
acrescidas em mais duas, por determinação do Congresso Nacional quando da votação da Lei de Diretrizes Orçamentárias para o ano de 2000):
a) consolidar a estabilidade econômica com crescimento sustentado;
b) promover o desenvolvimento sustentável voltado para a geração de emprego e
oportunidade de renda;
c) combater a pobreza e promover a cidadania e a inclusão social;
d) consolidar a democracia e a defesa dos direitos humanos;
e) reduzir as desigualdades inter-regionais;
f) promover os direitos das minorias vítimas de preconceitos e discriminação.
Permeiam a orientação estratégica diversas menções ao novo estilo de gestão das
ações de governo, centrado na melhoria da qualidade do gasto público, na ampliação
das capacidades de gerenciamento e de coordenação e na busca de resultados. “O
Plano Plurianual e os Orçamentos da União transformaram-se nos principais instrumentos para estender os elementos de gerência moderna a todo o Governo” [Brasil,
Projeto de Lei do PPA 2000, Anexo I, Orientação Estratégica, 1999, p. 3].
20
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Além das diretrizes, a orientação estratégica estabelece 28 macroobjetivos concebidos como alvos a serem atingidos pela atuação setorial e que “apontam para o que
deve ser feito e, por decorrência, o que não se deve fazer” (‘op.cit.’, 1999, p.2). Os
macroobjetivos são acompanhados de orientações e prioridades que visam balizar os
programas setoriais e multissetoriais com os quais se procura alcançá-los.
A título de exemplificar como estão definidos os macroobjetivos do
orientações, é apresentado, a seguir, o primeiro:
PPA
e suas
“CRIAR UM AMBIENTE MACROECONÔMICO FAVORÁVEL AO CRESCIMENTO SUSTENTADO. As perspectivas da política econômica deverão estar
cada vez mais ligadas à consolidação do novo padrão de crescimento, com ênfase no
aumento da produtividade, das exportações e do investimento. Com as reformas de
ordem econômica, o Governo abriu espaço ao capital privado na modernização da
infra-estrutura do País. São essenciais, nessa nova etapa, as ações de regulação e fiscalização da participação privada, de modo a garantir o atendimento das demandas
do consumidor e assegurar as condições de competitividade do setor produtivo. O
Governo buscará:
• Simplificar o sistema tributário e desonerar a produção, o investimento e a exportação.
• Criar condições para que o sistema de crédito se oriente para as operações de
longo prazo com vistas à reestruturação produtiva, crescimento das exportações e do
investimento.
• Reforçar a regulação e fiscalização da atuação privada e dar continuidade ao
programa de privatização” (‘op.cit.’, 1999, p. 4).
São os seguintes os macroobjetivos do Plano Plurianual 2000-2003:
1) criar um ambiente macroeconômico favorável ao crescimento sustentado;
2) sanear as finanças públicas;
3) elevar o nível educacional da população e ampliar a capacitação profissional;
4) atingir US$ 100 bilhões de exportações até 2002;
5) aumentar a competitividade do agronegócio;
6) desenvolver a indústria do turismo;
7) desenvolver a indústria cultural;
8) promover a modernização da infra-estrutura e a melhoria dos serviços de telecomunicações, energia e transportes;
9) promover a reestruturação produtiva com vistas a estimular a competição no
mercado interno;
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
21
10) ampliar o acesso aos postos de trabalho e melhorar a qualidade do emprego;
11) melhorar a gestão ambiental;
12) ampliar a capacidade de inovação;
13) fortalecer a participação do país nas relações econômicas internacionais;
14) ofertar escola de qualidade para todos;
15) assegurar o acesso e a humanização do atendimento na saúde;
16) combater a fome;
17) reduzir a mortalidade infantil;
18) erradicar o trabalho infantil degradante e proteger o trabalhador adolescente;
19) assegurar os serviços de proteção à população mais vulnerável à exclusão social;
20) promover o desenvolvimento integrado do campo;
21) melhorar a qualidade de vida nas aglomerações urbanas e regiões metropolitanas;
22) ampliar a oferta de habitações e estimular a melhoria das moradias existentes;
23) ampliar os serviços de saneamento básico e de saneamento ambiental das cidades;
24) melhorar a qualidade do transporte e do trânsito urbano;
25) promover a cultura para fortalecer a cidadania;
26) promover a garantia dos direitos humanos;
27) garantir a defesa nacional como fator de consolidação da democracia e do
desenvolvimento;
28) mobilizar governo e sociedade para a redução da violência.
Para atingir esses macroobjetivos, o PPA organiza 365 programas, entendidos
como unidades de gestão, sendo que todos devem ter “clara definição de objetivos e
resultados esperados” (‘op.cit.’, 1999, Orientação Estratégica, p.1) além dos atributos
mencionados anteriormente.
As demandas por avaliação estarão presentes em
praticamente todos os atos normativos que regulam
a reorganização do processo de planejamento federal, nas orientações metodológicas e técnicas, nos manuais de instrução. No Decreto
no 2 829, de 29 de outubro de 1998, encontramos:
3.2 A Formalização
da Demanda
− Art. 5o: Será realizada avaliação anual de consecução dos objetivos estratégicos
do Governo Federal e dos resultados dos Programas, para subsidiar a elaboração de
lei de diretrizes orçamentárias de cada exercício.
22
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
− Art. 6o: A avaliação física e financeira dos programas e dos projetos e atividades
que os constituem é inerente às responsabilidades da unidade responsável e tem por
finalidade:
I - aferir seu resultado, tendo como referência os objetivos e metas fixadas;
II - subsidiar o processo de alocação de recursos públicos, a política de gastos públicos e a coordenação das ações de governo;
III - evitar a dispersão e o desperdício de recursos públicos.
− Art. 7o : Para fins de gestão da qualidade, as unidades responsáveis pela execução dos Programas manterão, quando couber, sistema de avaliação do grau de satisfação da sociedade quanto aos bens e serviços ofertados pelo Poder Público.
Para o desenho dos programas e montagem do PPA, a Secretaria de Planejamento
e Investimentos Estratégicos do Ministério do Planejamento fez publicar, entre outros, o Manual de Elaboração e Gestão (MEG) [Brasil, SPI/MPO, 1999]. No capítulo
referente à gestão dos programas, afirma-se que será adotada uma visão gerencial
voltada para a obtenção de resultados, o que pressupõe objetivos e responsabilidades
claramente definidos e a aferição dos processos de trabalhos, dos produtos, dos custos,
dos prazos, bem como do grau de satisfação das populações atendidas. As informações sobre a execução das ações deverão estar disponíveis em meio eletrônico, de
modo a permitir a avaliação da execução e a divulgação dos seus resultados[‘op. cit.’ p.
15]. Ali, também, é definido que o sistema de informações do programa deve conter
um mínimo de informações que permita avaliar a evolução do indicador do programa,
a realização das metas, o grau de satisfação da sociedade (quando couber), o alcance
das metas de qualidade e produtividade e dos resultados globais do programa.
No mesmo manual, o capítulo dedicado à avaliação revela que, em relação ao Plano Plurianual, a avaliação será feita em duas etapas (‘op.cit.’, 1999, p. 21 e 22):
- a avaliação do desempenho físico-financeiro dos programas estará sob a responsabilidade dos gerentes;
- a avaliação do conjunto dos programas em relação aos objetivos, diretrizes e macroobjetivos do governo será coordenada pela SPI/MPO.
A primeira etapa, conduzida pelos gerentes, deverá propiciar o aperfeiçoamento
do programa, de seus métodos e sistemas de gerenciamento. Os resultados dessa
avaliação serão utilizados como subsídios para a avaliação do PPA. Esta, por sua vez,
estará orientada para:
“a) desempenho do conjunto de programas de cada área de atuação do governo,
em relação aos macroobjetivos estabelecidos no Plano;
b) consolidação da realização física e financeira das metas de projetos e atividades
de cada um dos programas de cada Ministério.”
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
23
A segunda etapa da avaliação será utilizada para suportar “decisões quanto ao gerenciamento do PPA, para a elaboração do projeto de lei das diretrizes orçamentárias
(inclusive alterações no Plano Plurianual) e a alocação de recursos, mediante créditos
suplementares e a elaboração de lei orçamentária”.
As demandas por avaliação não param aí. A Lei no 9 989, de 21 de julho de 2000, que
aprova a PPA, diz, em seu artigo 6o: o Poder Executivo enviará ao Congresso Nacional,
até o dia 15 de abril de cada exercício, relatório de avaliação do Plano Plurianual.
§ 1º O relatório conterá, no mínimo:
I - avaliação do comportamento das variáveis macroeconômicas que embasaram a
elaboração do Plano, explicitando, se for o caso, as razões das discrepâncias verificadas entre os valores previstos e observados;
II - demonstrativo, por programa e por ação, de forma regionalizada, da execução
física e financeira do exercício anterior e a acumulada, distinguindo-se as fontes de
recursos oriundas :
a) do orçamento fiscal e da seguridade;
b) do orçamento de investimento das empresas em que a União, direta ou indiretamente, detenha a maioria do capital social com direito a voto; e
c) das demais fontes.
III - demonstrativo, por programa e para cada indicador, do índice alcançado ao
término do exercício anterior comparado com o índice final previsto;
IV - avaliação, por programa, da possibilidade de alcance do índice final previsto
para cada indicador e do cumprimento das metas físicas e da previsão de custos para
cada ação, relacionando, se for o caso, as medidas corretivas necessárias.
§ 2º Para fins do acompanhamento e da fiscalização orçamentária a que se refere o
art. 166, § 1º, inciso II, da Constituição Federal, será assegurado, ao órgão responsável, o acesso irrestrito, para fins de consulta, ao Sistema de Informações Gerenciais e
do Planejamento do Plano Plurianual (SIGPLAN) ou ao que vier a substituí-lo.
Do ponto de vista formal e normativo, apresenta-se um quadro novo. Estamos
diante de uma demanda por avaliações que: (i) se origina da cúpula do governo; (ii)
engloba toda a administração pública federal; (iii) deverá orientar os processos concretos de gestão e decisão; e (iv) representa compromissos perante o poder legislativo e deverá estar disponível para a sociedade. Se levada a efeito, esta demanda ensejará a organização de um sistema de avaliações que poderá colocar o processo de governo em patamar superior de qualidade e racionalidade. Mas, para se chegar lá, um
longo, tortuoso e difícil caminho tem de ser percorrido.
24
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
4 TORNANDO A DEMANDA MAIS PRECISA
Entre os primeiros passos da caminhada consta, necessariamente, um esforço para
tornar mais claro e melhor delimitar os tipos e objetivos das avaliações que estão
sendo demandadas. Como se pode constatar no capítulo anterior, existem imprecisões nas formulações contidas nos atos normativos e nos manuais. Fala-se em: avaliação da consecução de objetivos estratégicos e avaliação dos resultados dos programas; aferição dos resultados dos programas tendo como referência os objetivos fixados; avaliação do conjunto dos programas em relação aos objetivos, diretrizes e macroobjetivos do governo; avaliação do desempenho dos programas de cada área de
atuação do governo em relação aos macroobjetivos do plano; avaliação da execução
dos projetos e atividades que integram os programas, entre outras referências. O que
se segue resulta de uma leitura e interpretação particulares. Sem dúvida, muitas outras
são possíveis. A exigência é que, independentemente de quais forem a leitura e interpretação feitas, sejam explicitados os entendimentos e formulados os conceitos básicos. Sem isso, não se torna evidente a lógica que presidirá a organização do sistema
de avaliação nem os seus objetivos.
Dada a estrutura do PPA − Orientações Estratégicas → Diretrizes → Macroobjetivos → Problemas → Programas (com objetivos específicos) → Ações (com metas,
prazos e recursos definidos) − e a ênfase gerencial (gestão dos programas e macrogestão do Plano) − centrada na aplicação competente dos recursos, com vistas à obtenção de resultados pretendidos −, acredita-se que as avaliações requeridas são as
seguintes:
a) avaliação de desempenho dos programas;
b) avaliação dos resultados alcançados, por macroobjetivos;
c) avaliação global do
tratégicos.
PPA
quanto ao cumprimento dos objetivos e diretrizes es-
Se assim for, e levando-se em conta que isso decorre de uma interpretação pessoal
dos documentos referentes ao PPA, é necessário definir os termos que compõem os
três enunciados ou os três supostos tipos de avaliação. Primeiramente, deve ser reconhecido que, apesar de muito se falar, quase nada existe de prática avaliativa sistemática e organizada na Administração Pública federal. Não há, portanto, uma cultura de
avaliação, com conceitos estabelecidos, procedimentos conhecidos, métodos e técnicas consagrados. Mesmo no discurso, não raro as referências à avaliação aparecem de
forma inadequada. “Avaliação não é palavra que venha sozinha, precisando estar
acompanhada do seu objeto para ganhar inteligibilidade. É preciso, também, declarar
o sujeito da avaliação, pois este lhe imprimirá sentidos e enfoques particulares, distintos dos de outros sujeitos, consistentes com seus interesses e propósito. Daí que
um mesmo objeto poderá ser avaliado em vários dos seus aspectos e de múltiplas
perspectivas, tantos quantos forem os atores singulares que as realizam. E o fazem
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
25
porque delas precisam para poderem agir com oportunidade e direcionalidade, segundo seus propósitos e interesses específicos” [Garcia, 2000b].
A atividade mesma de avaliar é compreendida de diferentes maneiras. Não é raro
que pessoas ligadas a instituições, programas e projetos, na posição de objeto da avaliação, considerem-se a caminho do cadafalso. Muitos avaliadores, por outro lado,
sentem-se mais realistas do que os reis, mais poderosos e oniscientes que os deuses
do Olimpo. Entre os que se dedicam ao tema, há razoável consenso de que o processo avaliativo exitoso possui quatro características fundamentais: (i) deve ser útil para
as partes envolvidas no processo; (ii) tem que ser oportuno, ou seja, realizado em
tempo hábil para auxiliar a tomada de decisão, que é um processo incessante; (iii) tem
que ser ético, isto é, conduzido de maneira a respeitar os valores das pessoas e instituições envolvidas, em um processo de negociação e de entendimento sobre os critérios e medidas mais justas e apropriadas; (iv) tem que ser preciso, bem feito, adotando-se os cuidados necessários e os procedimentos adequados para se ganhar legitimidade [Firme, 1997].
Mas, o que é avaliar? “Avaliar deriva de valia que significa valor.
Portanto, avaliação corresponde ao ato de determinar o valor de
alguma coisa. A todo o momento o ser humano avalia os elementos da realidade que o
cerca. A avaliação é uma operação mental que integra o seu próprio pensamento – as
avaliações que faz orientam ou reorientam sua conduta” [Silva, 1992].
4.1 Avaliação7
Seja individual ou socialmente, seja de uma perspectiva privada, pública ou estatal,
avaliar significa determinar o valor, a importância de alguma coisa. Avaliar será sempre, então, exercer o julgamento sobre ações, comportamentos, atitudes ou realizações humanas, não importa se produzidas individual, grupal ou institucionalmente.
Mas, para tanto, há que se associar ao valor uma capacidade de satisfazer alguma necessidade humana. E à avaliação compete analisar o valor de algo em relação a algum
anseio ou a um objetivo, não sendo possível avaliar, conseqüentemente, sem se dispor de uma referência, de um quadro referencial razoavelmente preciso.
Se a avaliação requer um referencial para que possa ser exercitada, este deverá explicitar as normas (valores, imagem-objetivo, situações desejadas, necessidades satisfeitas) que orientarão a seleção de métodos e técnicas que permitam, além de averiguar a presença do valor, medir o quanto do valor, da necessidade satisfeita, da imagem-objetivo se realizaram. Há de se ter em mente, todavia, que a mensuração possibilitará apenas um conhecimento parcial, limitado pela possibilidade restrita de obtenção de dados e informações quantitativas, determinada pela definição de objetivos, metas e de recursos (de toda natureza) envolvidos.
7
O que vem a seguir sobre o entendimento de avaliação foi retirado de Garcia (1997).
26
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
A avaliação tem que ser trabalhada com visão ampla, orientada por um julgamento de
valor, algo eminentemente qualitativo, focalizada sobre processos complexos, em que os
elementos em interação nem sempre produzem manifestações mensuráveis, podendo,
inclusive, alguns desses elementos, não apresentarem atributos quantificáveis.
Não se pode descuidar de que “os julgamentos de valor são sempre mais complexos do que meras operações de medição, em conseqüência, a tarefa de avaliar, mais
do que saberes técnicos, exige competência, discernimento e o equilíbrio de um magistrado” [Machado, 1994] para que e possa alcançar a legitimidade necessária para
validar ou impor correções ao objeto de avaliação.
Ou seja: avaliar não significa apenas medir, mas, antes de mais nada, julgar a partir
de um referencial de valores. É estabelecer, a partir de uma percepção intersubjetiva e
valorativa, com base nas melhores medições objetivas, o confronto entre a “situação
atual com a ideal, o possível afastamento dos objetivos propostos, das metas a alcançar, de maneira a permitir a constante e rápida correção de rumos, com economia de
esforços (de recursos) e de tempo. Sua função não é (necessariamente) punitiva, nem
de mera constatação diletante, mas a de verificar em que medida os objetivos propostos estão sendo atingidos” [Weneck, 1996] para tomar a melhor decisão subseqüente e agir com máxima oportunidade.
Evidencia-se, então, ser de fundamental importância dispor de clara e precisa visão da finalidade do valor que se busca alcançar com uma determinada ação ou realização, para que se possa instituir critérios aceitáveis com os quais estas serão avaliadas. Mais ainda, é igualmente fundamental ter clareza do objetivo mesmo da avaliação, que aspectos do valor, da ação, da realização estarão sendo aferidos, pois as decisões que as validam ou as corrigem podem se dar em espaços distintos (legal, técnico, administrativo, político, etc.), e requerer informações e abordagens também
distintas.
De toda a argumentação precedente, pode-se perceber que, seja do ponto de vista
governamental ou do da sociedade, avaliar é julgar a importância de uma ação em
relação a um determinado referencial valorativo, explícito e aceito como tal pelos
atores que avaliam. E que o conceito de avaliação “é sempre mais abrangente do que
o de medir porque implica o julgamento do incomensurável. Diferentemente de avaliar, medir é comparar tendo por base uma escala fixa. A medida objetiva pode ajudar
ou dificultar o conhecimento da real situação. Ajuda, se é tomada como um dado
entre outros e se for determinado com precisão o que está medindo. Caso contrário
pode confundir a interpretação por considerar-se a parte como todo” (‘op.cit.’, 1996,
p. 374 e 375).
Com base no exposto, acredita-se que é possível e desejável tentar elaborar um
conceito de avaliação, de modo a permitir que outros se posicionem favorável, crítica
ou contrariamente e, nesse último caso, construam conceitos superiores. Isso é necessário porque concepções distintas expressam diferenças ético-filosóficas, além das
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
27
de ordem metodológica, devendo ser explicitadas para tornar mais transparentes e
profícuas as contribuições para se organizarem sistemas de avaliações com base em
um legítimo entendimento comum. O que vem a seguir toma como referência as
formulações de José Anchieta E. Barreto (1993) e de Thereza Penna Firme (1994),
que, em dois pequenos grandes artigos, trazem inestimáveis contribuições para pensar processos de avaliação das ações governamentais. Propõe-se:
Avaliação é uma operação na qual é julgado o valor de uma iniciativa organizacional, a
partir de um quadro referencial ou padrão comparativo previamente definidos. Pode ser considerada, também, como a operação de constatar a presença ou a quantidade de um valor desejado
nos resultados de uma ação empreendida para obtê-lo, tendo como base um quadro referencial ou
critérios de aceitabilidade pretendidos.
A definição do quadro referencial e dos elementos constitutivos do processo de
avaliação requer um trabalho paciente de negociação cooperativa, com vistas a obter,
pelo convencimento racional, um entendimento compartilhado dos pontos comuns
aceitos por todos: avaliadores e avaliados. Disto dependerá, em larga medida, a legitimidade da avaliação e, também, a sua validade. Esta, por sua vez, não é um critério
geral, mas um critério específico para cada avaliação, que pode ser válido em uma
situação e inválido em outras.
Barreto sugere três postulados para a avaliação, que podem ser adaptados para o
caso em foco da seguinte forma:
(a) a avaliação das ações governamentais é, atualmente, um valor proclamado pelo
governo e uma demanda da sociedade;
(b) a avaliação é basicamente um julgamento de valor;
(c) a avaliação não se confunde com o ato ou processo de medir atributos de planos e programas, mas sim de verificar se eles realizam (e em quanto) os valores que
anunciam explícita ou implicitamente.
O autor faz, adicionalmente, dois alertas fundamentais aos quais denomina mitos
da avaliação. O primeiro seria o mito da facilidade, resultante do desconhecimento da
complexidade envolvida no processo, fazendo que este seja, muitas vezes, entregue a
equipes ou pessoas de boa vontade, mas sem o devido preparo. A estes chama de
diligentes incompetentes, considerando-os extremamente prejudiciais às instituições.
O combate e a exorcização desse mito se fazem com a formação de recursos humanos. O segundo é o mito da impossibilidade de julgar ações complexas, cheias de intencionalidades incognocíveis, por não existirem instrumentos capazes de fazê-lo. Tal
mito se constituiria em apenas um mecanismo de defesa daqueles que temem a avaliação, seja por acomodação e resistência à mudança, por medo de que a avaliação
ponha em relevo a mediocridade dos trabalhos institucionais ou pessoais ou pelo
desejo de preservar as instituições.
28
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Thereza Penna Firme (1994) também faz alertas. Para ela, as verdadeiras avaliações são aquelas que subsidiam decisões, que procuram resolver preocupações e problemas dos que conduzem políticas, programas ou projetos, que examinam e julgam
a ação governamental e que se dirigem, também, ao usuário/beneficiário, concentrando-se nos valores e necessidades sociais. As avaliações são úteis quando requerem juízos de valor que melhor orientam o curso das ações. Por isso, têm que ser
ágeis, presentes, e continuamente iluminar a implementação e os objetivos, que podem se defasar, sendo necessário criticá-los e mudá-los. Aqueles que fazem a verdadeira avaliação seriam, em essência, educadores, com o sucesso do avaliador sendo
medido pelo que aprende do processo de avaliação e pelo que ensina. Se não compartilha o que apreende e aprende, melhor será que não avalie.
E, para concluir esta seção, são muito apropriadas as observações de Capitani
(1993, p. 11, 12 e 13).
• a avaliação não é um elemento agregado ao ‘design’ organizacional de instituições do setor público, mas é parte integrante da função de aprendizado institucional;
• a distinção entre avaliação cumulativa e formativa é ilusória: avaliações cumulativas visam à melhoria da administração do setor público, exatamente como a avaliação formativa. Uma avaliação cumulativa que não seja formativa (isto é, que não
contribua para a tomada de decisão aprimorada) é irrelevante e constitui uma perda
de recursos;
• a responsabilidade é uma condição que permite governar melhor e a avaliação
é um dos instrumentos mais importantes para a melhoria do setor público, pois possibilita a tomada e a prestação de contas pela atribuição de responsabilidade;
• para ser eficiente a avaliação precisa ser sustentada por uma cultura de aprendizado: sem esta, corre o risco de se tornar um exercício irrelevante, ou pior, uma
restrição burocrática sufocante;
• como parte integrante do aprendizado organizacional, a avaliação é um processo contínuo e interativo – uma conversa ou um discurso crítico com as pessoas envolvidas na execução ou atingidas pelas políticas, programas, projetos avaliados e,
principalmente, com os que podem tomar decisões pertinentes;
• no setor público, a avaliação é ao mesmo tempo um medidor de eficácia e um
veículo de responsabilidade. Nesse sentido, é um instrumento indispensável ao governo.
Se a avaliação é entendida como foi pro4.2 Monitoramento: Condição para a
Avaliação
posto na seção anterior, fica evidente sua
integração ao processo de gestão que, por
sua vez, consiste na condução cotidiana de um conjunto articulado e integrado de
ações rumo a objetivos definidos, que prevê a tomada de decisões operacionais em
meio a restrições impostas por circunstâncias que o dirigente/gerente não escolhe
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
29
nem controla. As decisões devem ser tomadas com suporte de oportunas avaliações
de desempenho (eficiência e eficácia), relativas ao cumprimento das programações
pertinentes a cada nível organizacional. Assim, um dos requisitos fundamentais para
a gestão de um programa é estar permanentemente informado sobre aspectos cruciais de sua implementação, o que demanda a organização de um sistema de monitoramento de tudo o que for técnica e politicamente relevante em um programa e das
ações pelas quais se realiza. O mesmo se aplica à macrogestão do plano.
O monitoramento é um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite a rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas.
“O monitoramento da gestão pública responde ao seguinte princípio elementar:
não se pode conduzir com eficácia se o dirigente não conhece de maneira contínua e
a mais objetiva possível os sinais vitais do processo que lidera e da situação na qual
intervém. Um sistema de informações casuístico, parcial, assistemático, atrasado,
inseguro, disperso e sobrecarregado de dados primários irrelevantes, é um aparato
sensorial defeituoso que limita severamente a capacidade de uma organização para
sintonizar-se com os processos concretos, identificar os problemas atuais e potenciais, avaliar os resultados da ação e corrigir oportunamente os desvios com respeito
aos objetivos traçados” [Matus, 1994, p. 2].
Quem não monitora os problemas que deve resolver e o resultado das ações com as
quais pretende enfrentá-los não sabe o que acontece por conta do seu agir e nem que mudanças provocou com a sua ação. Não sabe por onde anda, não consegue avaliar a eficiência e a eficácia de suas intervenções. Para monitorar é necessário tornar preciso o problema, demarcá-lo e medi-lo com rigor, conhecer suas principais determinações e desenhar
ações específicas com o poder de eliminar ou minimizar as causas fundamentais que o
geram. Ao se implementarem as ações, deverão ser produzidos indicadores pertinentes −
porque são úteis para quem responde por sua execução − e, portanto, passíveis de serem
trabalhados (analisados e avaliados) para poder informar a quem tem o dever de coordenar
as ações e o poder de corrigi-las, caso necessário.
Somente problemas bem definidos e ações bem desenhadas e programadas, ambos identificados por precisos e detalhados indicadores, são passíveis de monitoramento, podendo ser avaliados de forma conseqüente e oportuna. Do contrário, o que
existirá serão apenas tentativas de acompanhamento e avaliações superficiais sob a
forma de relatórios não orientados para a tomada de decisão, produzidos com enormes lapsos de tempo, sem nenhuma sintonia com os processos reais exigentes da
atenção e intervenção dos gerentes de programas e dos condutores do plano.
O monitoramento apresenta-se, então, como um requisito imprescindível para o
exercício da avaliação que se pretenda um instrumento de gestão. Quem monitora,
avalia. Quem avalia, confirma ou corrige, exercendo o poder de dirigir consciente e
direcionalmente.
30
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
O monitoramento requer a produção sistemática e automatizada de informações relevantes, precisas, sintéticas. Informações oportunas para lidar com cada processo particular, com as peculiaridades que lhe são próprias. Essas informações existirão apenas quando a ação tiver sido desenhada e programada de forma a permitir que se cumpra a exigência de produzir informações apropriadas e a um ritmo adequado à tomada de decisões. E isso se consegue criando condições favoráveis (técnica e informacionalmente)
para se estabelecer a obrigatoriedade do registro das informações necessárias que compõem o
sistema de monitoramento. Informações que, em larga medida, serão elaboradas no processo de produção de ações.
QUADRO 2
Contraste entre o Monitoramento e a Produção Estatística
CARACTERÍSTICA
1. USUÁRIO
2. MASSA DE
INFORMAÇÃO
3. ATRASO ACEITÁVEL
4. PERECIBILIDADE
5. PRODUÇÃO E USO
6. TIPO DE
INFORMAÇÃO
SISTEMA ESTATÍSTICO
INDEFINIDO. O usuário é indefinido, muito variado e até mesmo
potencial, pois trata-se de gerar
informações úteis para interesses
muito diferentes e para propósitos
atuais ou futuros.
DIVERSIFICADA. A informação
estatística é sempre extensiva e
diversificada para atender uma
grande variedade de usuários potenciais com interesses muito variados.
ALTO. O atraso permitido é bastante grande, pois a informação
estatística não está comprometida
no ‘feed back’ de um processo em
andamento.
NÃO PERECÍVEL. Não tendo
demanda peremptória, a informação
estatística não é perecível. Seu valor
é mais histórico, não sofrendo
deterioração com o tempo. Sua
função é mais a de registrar o que
passou, e não alimentar de imediato
o que vem a seguir.
PRODUÇÃO CENTRALIZADA
E USO GENERALIZADO. A
informação estatística tende a ser
produzida de forma muito centralizada, mediante um fluxo vertical de
produção. Em compensação, seu
uso é generalizado em todos os
níveis.
PRIMÁRIA. A informação estatística é basicamente primária, não
processada, para poder atender
demandas muito variadas de tratamento por parte de usuários muito
diversificados.
SISTEMA DE MONITORAMENTO
BEM DEFINIDO. No monitoramento, o usuário é um
ator concreto, atual, muito bem definido, que necessita
de informações para orientar a ação cotidiana, para conhecer seus resultados e compará-los com o planejado.
ULTRA-SELETIVA. Os sistemas de monitoramento
são projetados para atender um usuário concreto, responsável por um plano/programa/projeto específico. A
informação necessária é ultra-seletiva.
INFORMAÇÃO EM TEMPO EFICAZ.O monitoramento tem que atuar em tempo eficaz e, no limite, em
tempo real, pois é usado para corrigir com oportunidade
ações em andamento. Informação fora do prazo eficaz
desinforma.
PERECÍVEL. O monitoramento serve como ‘feed
back’ para a ação, produzindo informações perecíveis.
Se chegarem fora do tempo terão valor igual ao de um
jornal velho.
PRODUÇÃO DESCENTRALIZADA E USO
ESPECÍFICO. O monitoramento é totalmente descentralizado, produzindo informações que permitam corrigir oportunamente ações no nível em que ocorram. Seu
uso é muito particular para as necessidades do usuário.
INDICADORES E SINAIS. O monitoramento opera
com indicadores e sinais significativos para um usuário
específico. Resultam de um processamento complexo
das informações básicas e é dirigido para atender necessidades decisórias referentes aos planos/programas
conduzidos pelo usuário.
Fonte: Matus (1996, p. 3).
Os sistemas de informações tradicionais, baseados em estatísticas e em registros
descontínuos e inorgânicos, muitas vezes quase aleatórios, tentam oferecer muita
informação não pertinente e não processada. Desse modo, provocam uma congestão
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
31
no sistema sensorial das organizações e, “em último termo, acabam por desinformar ao
dirigente. Muitas antenas anulam a capacidade e nitidez de recepção da informação
que importa. Se confunde a enorme massa de informação gerada na base, que constitui a matéria-prima informativa que deve ser processada pelo monitoramento, com o
número reduzido de informações relevantes que, mediante filtros inteligentes, geram
os sinais que devem guiar o processo de direção. O sistema de monitoramento deve
ser capaz de manejar em forma ágil e flexível uma grande massa de informação sobre
a gestão de uma organização pública, reduzindo esta grande massa que desinforma
por sobrecarga de dados a um grupo reduzido de sinais e informação filtrada e inteligente” [Matus, 1994, p. 14] que permite a tomada de decisões com rapidez e maior
segurança. O quadro 2 mostra, com precisão e síntese, as principais diferenças entre
os sistemas de estatística e de monitoramento.
Assim como um alto dirigente responde pelo conjunto do plano, um gerente é o
responsável pelo enfrentamento global do problema que o programa busca resolver.
Isso significa que a ele cabe coordenar o conjunto de ações concebidas como necessárias e suficientes, para que sejam implementadas de forma convergente, na seqüência temporal apropriada, com a intensidade adequada, atingindo as causas críticas do
problema. Da mesma forma, o alto dirigente precisa saber, no seu nível, do andamento global do plano para poder conduzi-lo com propriedade, tomando as decisões
corretas, no tempo certo. Para assim procederem, é imprescindível que estejam, ambos, permanentemente aptos a tomarem as decisões necessárias em cada momento
que elas se apresentarem, com segurança e oportunidade. Isso se concretiza com
contínuas avaliações de desempenho [Garcia, 2000c, p. 17].
“Como se consegue isso?
A resposta é simples: estando informado sobre tudo o que é importante, para poder avaliar e agir. Mas alcançar essa condição não é algo simples. Supõe que as informações de base (menor unidade operativa de cada ação) estejam sendo registradas,
agrupadas (para conformar um conjunto significativo), agregadas (para compor tarefas e, posteriormente ações), relacionadas (para construir os indicadores), analisadas e
avaliadas. Importa, também, estar informado sobre o contexto no qual se desenvolvem as ações (restrições, imprevistos, surpresas, oportunidades), pois a informação
(ou indicador) somente ganha sentido e torna-se inteligível quando referida ao cenário no qual se realizou. Ademais, é fundamental dispor de informações em tempo
oportuno para poder agir com eficácia e, é bom lembrar, as ações acontecem em
ritmos de tempo diferentes, exigindo decisões em tempos também distintos.”
Mas o que é um indicador e como ele integra um sistema de monitoramento? Um
exemplo prosaico pode ajudar.
Em uma viagem rodoviária, parte-se de um ponto no espaço com o objetivo de
chegar a outro. Quem dirige o veículo automotor precisa estar, permanentemente,
informado sobre aspectos cruciais do veículo (quantidade de combustível, consumo
32
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
médio, velocidade, temperatura, nível do óleo etc.), da estrada (distância percorrida,
existência de buracos, áreas de escape, curvas, declives, posição em que se encontra,
postos de serviços, referências importantes, etc.), do tráfego (mais ou menos intenso,
velocidade média do trânsito, possibilidades de ultrapassagem, tipos de veículos predominantes, etc.), do clima (chuva, neblina, calor, frio, etc.). São informações obtidas
visualmente por meios diretos ou indiretos (sensores do painel do veículo, marcos e
avisos na estrada, mapas, entre outros). Essas informações indicam se o caminho
certo está sendo percorrido e permitem avaliações contínuas que orientam o comportamento e as decisões do condutor, com vistas a conseguir o melhor desempenho, em condições mais seguras.
O motorista dirige o carro porque o conhece e o faz funcionar mediante comandos precisos e oportunos. Ele o conduz rumo a um destino porque conhece o caminho e obtém informações confiáveis, em tempo eficaz, sobre todos os aspectos relevantes do carro, das estradas, do trânsito, do clima. Se assim não for, não alcança seu
objetivo.
Conduzir um plano de governo, dirigir uma instituição pública, gerenciar um programa, exige conhecer a evolução da situação problemática enfrentada e avaliar os
resultados das ações desenvolvidas para modificá-la a tempo. Trata-se de algo muito
mais complexo do que realizar uma viagem rodoviária. Aqui as possibilidades de monitoramento visual direto são muito limitadas, requerendo o monitoramento indireto
mediante o uso adequado de indicadores apropriados ao processo de direção. Os
indicadores indicam os movimentos significativos de todas as variáveis técnica e politicamente relevantes para a condução estratégica de um plano, programa, projeto ou
instituição. O indicador deve mostrar movimentos que precisamos conhecer mas que
não podemos observar diretamente. São obtidos pelo processamento de informações
relativas aos aspectos importantes dos processos que compõem a realidade problemática e às ações com que se busca mudá-la.
As informações necessárias a compor indicadores têm fontes variadas. Parte expressiva destas virá de registros administrativos concebidos com esse propósito, conformando sistemas de informações gerenciais, base para a organização do monitoramento.
Outras fontes importantes são: atas regulares de inspeção (andamento de obras, cumprimento de normas, etc.); amostragens estatísticas periódicas ou especiais; pareceres
de peritos; mídia; opiniões de usuários sistematicamente aferidas, entre outras.
Tipos de Indicadores
1. Sobre os Problemas
- Indicador(es) do Problema
- Indicadores das Causas Críticas
- Indicadores das Conseqüências do Problema
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
33
2. Sobre os Atores Pertinentes ao Problema
- Indicador de Interesse
- Indicador de Motivação
- Indicador dos Recursos Controlados
3. De Execução
- Indicadores de Recursos (financeiros, humanos, materiais, etc.)
- Indicador de Eficiência
. intermediária
. terminal
- Indicador de Eficácia
. intermediária
. terminal
- Indicador de Oportunidade (cronograma de execução)
- Indicador da Execução Orçamentária
4. De Contexto
Indicadores referentes às variáveis relevantes para o sucesso do programa e que
estão fora da capacidade de predição e controle do gerente/ator.
5. De Resultados
Indicadores sintéticos que evidenciam as transformações produzidas na realidade
social (sobre o público-alvo) por conta da execução do programa.
A Cadeia de Produção de Indicadores8
A produção de indicadores é realizada mediante uma cadeia de geração de informações em níveis cada vez mais agregados. Cada elo da cadeia tem um responsável
pela realização de uma função específica que irá, obrigatoriamente, registrando cada
fato relevante, de forma previamente estipulada. Assim, é gerado um produto informativo a ser entregue, a tempo, ao responsável pelo elo seguinte da cadeia. A cadeia
completa tem cinco elos básicos:
1. fonte primária de informação – registro do evento ou captação particular da informação;
2. processamento primário – agregação sistemática da informação primária para obter
uma totalidade significativa da descrição do movimento da variável monitorada;
8
Conforme Matus (1994, p. 24 e 25).
34
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
3. construção de indicadores – estabelecimento de relações entre variáveis;
4. elaboração de sinais numéricos no ponto terminal do monitoramento – relação
entre o indicador obtido a cada momento e o indicador-norma ou o enquadramento
do indicador real na faixa de normalidade estabelecida (na faixa ou fora dela);
5. transformação do sinal numérico em ícone, gerando capacidade de uma compreensão gráfica visual e rápida do seu significado.
FIGURA 1
Fluxograma Ilustrativo da Construção e Leitura de Indicadores
Registro Primário
A
Processamento
Primário
Plano
Cenário
Indicador-Norma
Registro Primário
B
Registro Primário
C
Processamento
Primário
Processamento
Primário
INDICADOR
REAL
SINAL
ÍCONE
Atenção - Alarme
O tempo, por outro lado, é o recurso mais escasso para um decisor, devendo ser
muito bem usado. Uma forma interessante de economizar tempo é dispor de indicadores sintéticos sobre todas as variáveis relevantes de um programa. Quando é possível estabelecer um indicador-norma ou uma faixa de normalidade, a avaliação pode
ser feita de maneira expedita, possibilitando rapidez na tomada de decisão. Com esses
artifícios são reduzidos os riscos de entulhar o dirigente com informações não processadas, acelera-se o processo decisório e são asseguradas condições para a cobrança
e prestação de contas.
A transformação de um grande volume de informações primárias em um pequeno
volume de informações relevantes e sintéticas é feita, dessa forma, mediante a conversão dos registros simples de fatos em indicadores e sinais. A informação primária
armazenada nunca será exposta diretamente ao olhar do gerente/dirigente, porque
não é relevante e porque muita informação desinforma e distrai o decisor do seu foco
de atenção. Mas a informação básica deve ficar armazenada na memória do sistema.
Exemplo 1:
- Indicador: relação aluno/professor
- Indicador norma: 25/1
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
35
- Indicador real: 38/1
- Sinal: fora da normalidade
Exemplo 2:
- Indicador: taxa de aprovação
- Faixa de Normalidade: 80% a 90%
- Indicador Real: 62%
- Sinal: fora da faixa de normalidade
A gestão de um programa integrante do PPA é sinônimo de obtenção de resultados
que confluam para a realização dos macroobjetivos do plano. Um gerente estará, permanentemente, em busca do melhor desempenho possível e, em simultâneo, procurando alargar os espaços de possibilidade, para a plena execução das ações. A gestão
competente, portanto, é aquela que consegue assegurar cotidianamente as condições
adequadas para a produção eficaz e eficiente dos resultados intermediários ou de unidades de resultado no dia-a-dia da implantação dos programas (ver Garcia, 2000d).
Isso se faz mediante um processo de monitoramento e avaliação que suporte o
julgamento e a pertinente e oportuna decisão. Os sistemas de monitoramento, avaliação e decisão são construídos caso a caso, respeitando as peculiaridades dos processos de produção de ações, das instituições responsáveis e dos dirigentes. Exige, portanto, a definição prévia de um modelo de gestão que ainda não é preciso e detalhado. Mas as exigências postas pela macrogestão do PPA e pelo Sistema de Informações
Gerenciais estão razoavelmente precisas e guiarão a construção do modelo de gerência, sob estreita observância dos problemas e soluções surgidos na prática de implantar e gerenciar o PPA. Daí sairão as avaliações de desempenho dos programas,
tornando possível a realização das avaliações de resultados, por macroobjetivos.
Empenhar é contrair uma dívida mediante o oferecimento
de garantia real de pagamento. O penhor é o elemento
móvel ou mobilizável que constitui essa garantia. Daí vem o significado de desempenho, qual seja, o de retirar o que foi empenhado. No caso da Administração Pública
o desempenho se refere à realização de compromissos assumidos, ao cumprimento
daquilo a que estava obrigado pelas competências inerentes à função ou cargo ou
ainda pela responsabilidade atribuída circunstancial ou permanentemente a uma função dirigente ou a um órgão.
4.3 Desempenho
Para se realizar uma avaliação de desempenho é necessário, no entanto, explicitar
e precisar a que se refere a avaliação, quais os aspectos do desempenho interessam.
Sem buscar a exaustão mas sim o mínimo comum a ser obtido na avaliação de qualquer ação, sugere-se a seguinte definição: desempenho é resgate do compromisso de execução
36
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
de uma programação formalmente estabelecida como desejável e factível, a partir de parâmetros confiáveis surgidos da aplicação do conhecimento técnico-científico sobre a experiência prática.
Uma programação, por mais elementar que seja, deverá conter o que e quanto se
pretende fazer, com quais montantes de recursos, em qual prazo. Deve-se conhecer o
processo de produção do bem ou serviço resultante da ação, a capacidade operacional do órgão responsável, os insumos necessários e as proporções nas quais se combinam e os custos de elaboração de cada unidade do bem ou serviço. Uma programação bem feita estará amparada em elementos técnicos e conhecimentos empíricos,
que permitirão a construção de coeficientes e normas operacionais e programáticas
constituidores de bases de comparação entre ações semelhantes, desenvolvidas em
espaços ou instituições diferentes.
A própria execução da programação deve produzir regular e automaticamente as
informações (cuja definição será prévia ou simultânea ao desenho da programação)
necessárias para se conhecer e julgar sua qualidade, possibilitando intervenções corretoras em tempo oportuno. Para que isso ocorra, colocando a avaliação da execução
das ações governamentais a serviço da gestão estratégica conduzida pela alta direção
de governo, é necessário definir o referencial a ser adotado nesse processo. Se um
dos objetivos de gestão estratégica competente é atuar com segurança e em tempo
oportuno e as possibilidades de assessoramento técnico estão limitadas (inclusive)
pela especificidade e atualidade das informações básicas requeridas, a avaliação de
desempenho que aqui se propõe há de ter como referência a busca da eficiência e da
eficácia, entendidas, ambas, como valores importantes para a Administração Pública.
O bom governo é o que faz o que anuncia, no prazo certo, com a melhor qualidade,
para o maior número de pessoas, ao menor custo possível. Para saber se isso está
ocorrendo, podem ser utilizadas as avaliações de desempenho das ações e dos programas do PPA, contribuindo para a consecução dos macroobjetivos estabelecidos.
A avaliação poderá ser organizada como um processo “sistemático de aprender
empiricamente e de analisar as lições aprendidas para melhorar as ações em curso e
para a realização de um planejamento mais satisfatório, mediante uma seleção rigorosa entre as distintas possibilidades de ação futura. Isso supõe uma análise crítica dos
diferentes aspectos do desenho e da execução de um programa e das ações que o
constituem, de sua pertinência, de sua eficiência e eficácia, dos custos nos quais incorre e de sua aceitabilidade por todas as partes envolvidas” [OMS, 1981, p. 81]. Desse modo, aumentam-se as probabilidades de realização do objetivo de qualquer plano
governamental, qual seja, o de apresentar a máxima resolutibilidade no enfrentamento dos problemas, aproveitando competentemente as oportunidades surgidas e
minimizando o impacto das surpresas. Mais ainda, são ampliadas as possibilidades de
imprimir maior agilidade e direcionalidade à gestão estratégica da estrutura organizacional e dos recursos envolvidos nas ações que compõem um programa.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
37
Posto isso, dá-se como assentado que a “tarefa essencial daqueles que realizam
avaliações de desempenho das intervenções governamentais consiste em proporcionar elementos para aumentar a eficiência e a eficácia, isto é, alcançar os objetivos
procurados com uma utilização ótima dos recursos disponíveis” [Cohen e Franco,
1993, p. 69].
O passo seguinte é o de conceituar os valores referenciais eficácia e eficiência de
modo que, com a maior objetividade conseguida nas condições existentes, possam
cumprir, de maneira operacional, os requisitos de validade (medir o que pretende),
confiabilidade (qualidade e estabilidade da informação produzida) e suficiência (reconhecendo que a exaustibilidade, ainda que desejável, não é factível) se tornem passíveis de utilização ampla, atendendo às necessidades da gestão estratégica.
Eficaz é o que produz o efeito desejado, diz o Aurélio. No
entender de Ballart (1992, p. 71) “a eficácia examina a medida
da mudança que se produz na direção desejada”, e enquanto, na visão de Cohen e
Franco (1993, p. 102), “operacionalmente, eficácia é o grau em que se alcançam os
objetivos e as metas de um projeto na população beneficiária, em um determinado
período de tempo, independente dos custos implicados”.
4.3.1 Eficácia
Propõe-se, com a finalidade de se instituir um processo sistemático de avaliação
das ações governamentais, a adoção do seguinte conceito: eficácia é o grau em que se
atingem os objetivos e as metas de uma ação orientada para um alvo particular, em um determinado
período de tempo, independentemente dos custos nos quais se incorra.
Nessa definição sobressaem duas variáveis básicas: metas e tempo. Supõe-se que a
ação é realizada a partir de detalhada programação, orientada por normas e padrões
que permitirão, com a prática, a imposição de coeficientes técnicos na alocação de
recursos para o atingimento das metas, em um espaço de tempo estabelecido. Uma
outra suposição verdadeiramente heróica é a de que, com a realização das metas programadas, estará assegurada a consecução dos objetivos, o que é plausível apenas em
situações de baixa complexidade, lidando com problemas estruturados, com os principais recursos e variáveis críticas estando sob o controle do dirigente ou responsável
pela ação ou programa.
Para a medida do grau de atingimento de eficácia, pode ser aplicada a seguinte
fórmula9
Ea =
9
Mr
Tr
Mp
Tp
=
Mr
Mp
Tr
Tp
=
Mr. Tp
Mp.Tr
Proposta por Orozco (1986) e citada por Cohen e Franco (1993, p. 102).
38
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
em que:
Ea = eficácia;
Mr = unidades realizadas da meta programada;
Mp = meta programada;
Tr = tempo real gasto para a realização das unidades da meta obtidas;
Tp = Tempo planejado para realizar a meta total.
Os resultados da aplicação da fórmula devem ser interpretados como se segue:
Se Ea > 1, a ação é mais do que eficaz;
Se Ea = 1, a ação é eficaz;
Se Ea < 1, a ação é ineficaz.
Evidentemente, essas relações se dão a partir do suposto de que a programação
foi realizada em bases seguras, com conhecimento técnico e operacional das condições de execução da ação. Caso contrário, estaremos diante da ignorância e do arbítrio, e o cálculo da eficácia não terá validade nem sentido para a gestão estratégica.
Recorrendo aos mesmos autores citados na subseção anterior, encontramos, no mestre Aurélio, que eficiência é a
virtude de produzir um efeito ao menor custo. Para Ballart (1992, p. 77 e 78), é “a
medida dos custos em que se tem efetivamente incorrido para produzir os resultados
pretendidos por um determinado programa”. Em Cohen e Franco (1993, p. 103 e
104), “a eficiência pode ser definida como a relação existente entre os produtos e os
custos dos insumos”, sendo que o “conceito de eficiência pode ser considerado a
partir de duas perspectivas complementares: se a quantidade de produto está prédeterminada, procura-se minimizar o custo total ou o meio que se segue para a sua
geração; se o gasto total está previamente fixado, se procura otimizar a combinação
de insumos para maximizar o produto”.
4.3.2 Eficiência
Para os propósitos aqui esposados, pode ser admitido o seguinte conceito: eficiência
é a relação existente entre os produtos resultantes da realização de uma ação governamental programada e os custos incorridos diretamente em sua execução.
Assim, e sob a mesma orientação utilizada no tratamento de eficácia, teremos:
Ee =
Mr
Tr.Cr
Mp
Tp.Cp
em que:
Ee= eficiência;
=
Mr
Mp
Tr.Cr
Tp.Cp
=
Mr. Tp.Cp
Mp.Tr.Cr
=
Ea
Cp
Cr
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
39
Cr= custo real da ação;
Cp= custo programado da ação.
E, tal como no item anterior, quando:
Ee > 1, a ação é mais do que eficiente;
Ee = 1, a ação é eficiente;
Ee < 1, a ação é ineficiente.
Como aqui se adotou um conceito reducionista da ação governamental, igualando-a aos projetos e atividades orçamentários com destinação finalista, fica assegurado
que todos os insumos necessários à produção das ações terão expressão monetária.
Para que os produtos e os prazos sejam devidamente mensurados, haverá necessidade de adotar critérios precisos e confiáveis quando se elaborar a programação.
O uso das fórmulas apresentadas nos itens nas subseções 4.3.1 e 4.3.2 exige que se considere o seguinte [Cohen e Franco, 1993, p. 105]:
4.3.3 Condicionalidades
1. as ações que buscam objetivos similares são comparáveis apenas quando forem
programadas do mesmo modo. Ao contrário, a comparação não terá uma base comum;
2. a eficácia e a eficiência podem e devem ser apreciadas em diversos níveis, referentes às atividades necessárias à realização de produtos finais ou objetivos intermediários;
3. as fórmulas Ea e Ee serão adequadas para medir (parcialmente, é importante
lembrar) a eficácia e a eficiência de ações governamentais somente se a experiência
acumulada permitir o estabelecimento de normas (padrões, parâmetros, coeficientes
técnicos, etc.) válidas.
A respeito desse último ponto, é bastante evidente o fato de não dispormos, na
atualidade, dos padrões, parâmetros e coeficientes técnicos necessários e suficientes.
Isso impõe que as primeiras programações e avaliações conterão deficiências de vulto,
mas o simples programar sob critérios bem definidos e sob o esforço de precisar, a
partir de conceitos adequados à produção de informações úteis à avaliação, irá gerando, com o tempo, elementos confiáveis e seguros, possibilitando o estabelecimento
de normas cada vez mais válidas.
A análise da eficiência e da eficácia de ações governamentais, conforme se sugeriu,
possui consideráveis limitações. Temos que ter consciência destas para não incorrermos em erros no assessoramento à tomada de decisões e para não esperarmos obter,
mais do que é possível, de instrumentos de natureza quantitativa. Devemos sempre
lembrar que a avaliação significa determinar o valor de alguma coisa, por meio de
julgamentos, sendo a mensuração um auxílio a essa tarefa.
40
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
A opção feita foi contribuir para avançar no conhecimento da execução das ações de
governo e de seus resultados, com todos os riscos conceituais, metodológicos, técnicos e
operacionais existentes. A crença que suporta tal opção é a de ser possível utilizar a programação do PPA, o Orçamento da União e a sua execução financeira (o SIG/PPA, o
SIDOR e o SIAFI, respectivamente) como fontes de dados para a análise e a avaliação, desde que suportados por procedimentos conhecidos e uniformes de programação. Para
tornar viável essa utilização, algumas mudanças adaptadoras deverão ser introduzidas nas
práticas hoje correntes de programação e orçamentação.
A avaliação de desempenho de um programa do PPA consistiria, então, em verificar em quanto e como foi cumprida a programação, e se o indicador (ou indicadores)
do problema/programa movimentou-se na direção e na intensidade esperadas, com
vistas a atingir o objetivo estabelecido para o horizonte temporal do plano.
Na linguagem cotidiana (talvez algo próximo do senso comum), resultado é a conseqüência ou o efeito de uma ação social, sendo que a ação seria uma atividade sob a responsabilidade de um sujeito (individual ou coletivo) com vontade consciente de criar ou promover mudanças na realidade. Matus (1993, v. I, p. 81) define ação social nos seguintes termos: “é uma atividade intencional e reflexiva, com a qual um ator social espera conscientemente lograr
determinados resultados em uma situação concreta, envolvendo cooperação ou conflito com outros atores”. O processo de produção de ações consiste em combinar
recursos diversos (econômicos, materiais, conhecimento e informação, poder político, capacidade organizativa, etc.), elaborando produtos (bens e serviços, normas, informação, conhecimento, relações sociais, instituições, etc.) com os quais se espera obter a
transformação ou mudança desejada. Daí: resultado seria a transformação ou mudança em uma
realidade concreta, conseguida ou influenciada pela ação (ou conjunto de ações) de um ator social particular
em cooperação ou conflito com outros.
4.4 Resultado
Se esses argumentos forem minimamente razoáveis, ficará difícil aceitar a noção
de resultado utilizada correntemente, a que estabelece uma relação de causa-efeito,
entre ação-transformação. Isso porque apenas em um número muito restrito de casos, referentes a situações de baixa complexidade, em que as forças distintas das do
ator que conduz a ação são desprezíveis ou estão sob o seu controle, será possível
estabelecer relações de causa-efeito, assegurando que o resultado conseguido deveuse exclusiva ou predominantemente à ação empreendida.
Na avassaladora maioria das situações, o que vigora é a multiplicidade de atores,
com interesses diferentes, senão conflitantes, desenvolvendo ações com conteúdos e
objetivos distintos. Há, ademais, fatores circunstanciais e aqueles oriundos de outros
espaços situacionais (ou macrossituacionais) que também interferem na construção
da mudança observada. Esta dificilmente poderá ser enquadrada como o resultado
exclusivo de uma ação ou de um programa. No máximo, será um vetor resultante (tal
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
41
como na física) de múltiplas intervenções produzidas por atores distintos e de processos circunstanciais.
Mas isso não inviabiliza a avaliação de resultados, apenas torna-a mais complexa,
difícil e trabalhosa, mais exigente em conhecimento, informação e métodos apropriados para realizá-la. O ponto de partida para uma eficaz e confiável avaliação de resultados é a descrição do problema a ser enfrentado pela ação ou programa, ou seja, a
construção de descritores.10 Os descritores combinados adequada e pertinentemente
poderão conformar os indicadores (compostos ou sintéticos) do problema/programa, como exigido pela metodologia de elaboração dos programas do PPA. O passo
seguinte é explicar o problema, identificando suas causas críticas (processos, fatores
responsáveis – segundo o marco teórico adotado – pelo surgimento, manutenção ou
expansão do problema). O desenho do programa – orientado pela teoria do problema e do próprio programa − compreenderá a concepção e organização das ações
necessárias e suficientes a superar as causas críticas, identificando e combinando os
recursos apropriados e os produtos esperados. A programação propriamente dita
consiste em distribuir as ações no tempo em uma seqüência que possibilite criar viabilidade progressiva para aquelas que se revelem, por várias razões, mais difíceis de
serem executadas no momento mais adequado.
Para se proceder à avaliação, é requerido, ademais, a identificação das variáveischave do contexto de cada programa que estão fora do controle do ator (condutor
do programa/ação), para que possam ser monitoradas e ajudem a compor o pano de
fundo sobre o qual a avaliação ganha sentido e inteligibilidade. O mesmo haverá de
ser feito com os outros atores relevantes (com interesses convergentes ou divergentes dos do objetivo do programa ou do seu dirigente) mediante o uso de indicadores
que expressem, mesmo de forma aproximada ou indireta, suas motivações em cada
caso particular, os recursos que controlam, as ações que desenvolvem.
Assim, é permitida uma aproximação menos reducionista à complexidade própria
das intervenções sociais transformadoras, estabelecendo associações acauteladas (e
sempre passíveis de serem revistas) entre ações e seus resultados, informando com
oportunidade e relativa segurança sobre os processos produtores de ações, a intensidade e seu foco, a eficiência e a eficácia, a consistência das ações, a permanência dos
objetivos, entre outros aspectos imprescindíveis à condução de programas/ação.
10
Conforme Matus (1993, v. II, p. 311 e 312), descritor é o marcador (placar) do problema. São fatos
precisos que verificam ou atestam a existência do problema. Ele cumpre quatro funções: reúne as
distintas interpretações do problema a um só significado para o ator e sua equipe; torna preciso o
que deve ser explicado; torna o problema monitorável; verifica a eficácia da ação para enfrentá-lo
(se o problema piora ou melhora). REQUISITOS DOS DESCRITORES: são precisos e monitoráveis; o conjunto dos descritores deve ser suficiente para se construir uma interpretação sem ambigüidades; não podem ser confundidos nem com causas nem com conseqüências do problema;
não podem haver relações causais entre os descritores; um descritor não deve reiterar o que foi
dito por outro com outra forma.
42
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
5 ESBOÇO TENTATIVO DE UM ROTEIRO PRELIMINAR PARA
ORGANIZAR AS AVALIAÇÕES DO PPA
Como afirma o ditado popular, cautela e caldo de galinha não fazem mal a ninguém, por isso as ressalvas do título deste capítulo. Afinal, estamos diante de algo
novo ( o modo como foi elaborado e deverá ser implementado o PPA), para o qual é
exigida uma nova atividade (avaliação como instrumento de gestão), sem que esteja
claro como, quando e onde deverá se realizar para cumprir os objetivos pretendidos.
A tarefa que aqui se propõe é, portanto, de alto risco, prenhe de incertezas e tentada
com elevada insegurança. Contudo, é assumida por acreditar-se que, para se poder
caminhar rumo à montagem de um modelo institucional de avaliação, um primeiro
passo deve ser dado, qual seja: uma proposta incompleta, imprecisa, deficiente deve
ser posta à discussão para avançarmos na construção coletiva de um projeto necessário e que configura uma oportunidade estratégica para o IPEA. O risco é ampliado
também por não existir um corpo teórico consensualmente estabelecido, não se dispor de uma prática metodologicamente consagrada, nem de uma cultura avaliativa
disseminada na Administração Pública federal. Se todos esses fatores tornam a tarefa
temerosa, ao mesmo tempo a fazem necessária e premente, para que se possa, pelo
menos, tentar aproveitar a oportunidade apresentada.
Para isso, vale a pena recordar o encadeamento lógico-temporal adotado para a elaboração do PPA 2000-2003, esclarecendo que este nem sempre foi seguido à risca:11
(1) orientação estratégica do presidente da República estabeleceu as quatro (mais
duas) diretrizes e 28 macroobjetivos;
(2) orientação estratégica do ministro apresentou as diretrizes setoriais e indicou
os problemas selecionados na área;
(3) cerca de 360 programas são concebidos, com vistas à consecução dos macroobjetivos. Cada programa finalístico deveria ser desenhado para resolver um problema específico, delimitado social e espacialmente, com público-alvo e objetivos bem
definidos. Todos os programas teriam indicadores (medidos na situação inicial t0 e
na situação-objetivo t4) e conteriam as ações (atividades e projetos orçamentários e
outras não exigentes em recursos financeiros originados do OGU, tais como atos
normativos e parcerias) para as quais deveriam ser estipulados custos, prazos de execução, metas, sendo que a cada ação corresponderá um produto. Os programas são
coordenados por gerentes designados pelos ministros aos quais estejam vinculadas as
unidades administrativas responsáveis.
11
Muitos programas preexistentes apenas sofreram enquadramento no novo formato; ações que
vinham sendo implementadas há anos foram apresentadas sob o título de um programa; algumas
diretrizes ministeriais foram elaboradas após os programas terem sido concluídos; e, principalmente, o agrupamento dos programas por macroobjetivos foi feito por critérios de afinidade algo
subjetivos, e ‘a posteriori’.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
43
Para fins da macrogestão do PPA, o Ministério do Planejamento (SPI) organizou
um Sistema de Informações Gerenciais (SIG) que possibilita (e exige dos gerentes) o
registro das variações dos principais atributos dos programas e de suas ações quando
da implementação. Supõe a existência de um sistema de informações e gestão apropriado a cada programa, a ser implantado pelos ministérios responsáveis.
A interpretação das demandas por avaliação, feita anteriormente, aponta para: (i) a
avaliação de desempenho dos programas e das suas ações; (ii) a avaliação dos resultados alcançados, por macroobjetivos; e (iii) a avaliação global do PPA, quanto à consecução da orientação das diretrizes estratégicas, todas produzindo pelo menos um
informe anual para ser encaminhado ao Congresso Nacional. Mas, para serem úteis à
gestão estratégica, deverão ser realizadas sempre que forem necessárias à tomada de
decisões importantes (ver quadro 3).
QUADRO 3
Componentes Básicos do Sistema de Avaliação
MEGAPROBLEMAS
Delimitação e descrição
Indicador
Situação em t0
MEGAOBJETIVOS
Em t1, t2, t3, t4
Causas Críticas dos
Megaproblemas
MACROPROBLEMAS
I a XXVIII
(carga negativa a ser
superada pela realização
dos macroobjetivos)
Delimitação e descrição
Indicador
Situação em t0
MACROOBJETIVOS
I a XXVIII
Em: t1, t2, t3, t4
Causas Críticas dos
Macroproblemas
PROBLEMAS
PROGRAMAS
Os 365 selecionados pela
Os 365 contidos no PPA:
Orientação dos Ministérios Objetivos em t1, t2, t3, t4
Setoriais
Situação em t0
5.1 Avaliação de Desempenho
Avaliação Global do PPA
Cenários Pertinentes (contextos)
Orientação
e Diretrizes
Estratégicas
Avaliação de Resultados
Avaliação de Desempenho
A avaliação de desempenho dos programas
e ações estará a cargo dos gerentes. Para que
possam realizá-la uma vez por ano, cumprindo o exigido pelas normas do novo processo de planejamento, o trabalho deverá ser contínuo, pois só assim estarão exercendo
a verdadeira gestão. Isso requer que o problema esteja bem descrito e analisado, com
suas causas críticas identificadas, e que os indicadores e o desenho dos conjuntos de
ações com os quais as causas críticas serão enfrentadas estejam disponíveis.
44
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
Para alcançar essa condição é necessário conhecer, em detalhe, o processo de
produção de cada ação, abrindo-o para evidenciar a menor unidade operativa, programando-o física e financeiramente quando for o caso, tal como é sugerido de forma elementar no quadro 4. Ali são denominadas tarefas as menores unidades operativas nas quais se desdobram a ação, alguns as designam por etapas, trabalho, etc. O
que importa é que, no mínimo, todas as ações com expressão orçamentária (projetos
e atividades) admitem esse desdobramento e podem ter seus custos apurados e suas
metas de produção estabelecidas.
Mas não só. Os programas do PPA foram desenhados sem que fossem explicitadas
suas causas-críticas (CC). Sem que estas estejam precisamente identificadas e com
indicadores apropriados, não é possível avaliar a eficácia intermediária no enfrentamento do problema. E isso é obtido na prática, quando as ações capazes de superar
uma CC estão organizadas em um módulo de intervenção e gestão (o que exige a sua
especificação, aglutinando-as em uma operação) e a designação formal de responsável por sua implementação coordenada. Da mesma forma, é de todo necessária a
atribuição formal de responsabilidade aos que estarão incumbidos de cuidar da execução da ação, ou seja, deve ser criada a função de coordenador de ação. Estas são
exigências básicas para a montagem do sistema de gestão (e de avaliação) de qualquer
programa e do conjunto deles.
45
BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
QUADRO 4
Cronograma de Execução Físico-Financeira Ação:
Ação:
Tarefa
Mês
JAN.
P.
R.
FEV.
P.
R.
MAR.
P.
R.
ABR.
P.
R.
MAI.
P.
JUN.
R.
P.
R.
JUL.
P.
AGOS.
R.
P.
R.
SET.
P.
OUT.
R.
Tarefa1
Meta
Custo
Tarefa2
Meta
Custo
Tarefa3
Meta
Custo
Tarefa4
Meta
Custo
Tarefa5
Meta
Custo
Custo Mensal
Obs.: A divisão temporal da programação deve ser apropriada às características da ação. Aqui foi adotado o recorte mensal apenas como exemplo.
P - Previsto
R - Realizado
P.
R.
NOV.
P.
R.
DEZ.
P.
R.
TOTAL
P.
R.
46
BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
A avaliação dos resultados alcançados por macroobjetivos exigirá um esforço de compreensão assemelhado ao que se pratica na engenharia reversa. Isto decorre da existência
de uma lacuna elementar no desenho do PPA: não há um marco referencial preciso
para avaliar se os resultados alcançados pelos programas contribuem para atingir os
macroobjetivos. Estes são apresentados como enunciados genéricos, expressando
difusas situações desejáveis a serem obtidas pelo cumprimento de diretrizes e pelo
atendimento de prioridades, sem que ambas materializem referências objetivas para a
mensuração ou averiguação da intensidade ou qualidade dos trabalhos realizados
pelos programas. No único caso em que o macroobjetivo é apresentado com maior
precisão – Atingir US$ 100 bilhões de exportação até 2002 – fica evidente a deficiência na sua formulação: o verdadeiro objetivo é a produção de um expressivo saldo na
balança comercial do país. Exportar 100, 200 ou 300 bilhões de dólares pouco adiantará se as importações forem superiores. Ao passo que, se se conseguir exportar 70
ou 80 bilhões e se com isso for gerado um superávit de 10 ou 15 bilhões de dólares,
se obterá um considerável alívio no balanço de conta corrente, reduzindo a dependência à entrada de capitais especulativos de curto prazo.
5.2 Avaliação de Resultados12
A razão de ser dessa deficiência pode ser encontrada no fato de não ser anunciado
o macroproblema a que o macroobjetivo corresponderia. Sem que o macroproblema
seja descrito e delimitado, construído o seu indicador (ou indicadores) e levantada
sua posição em t0 (1999), sem que na sua explicação tenham sido identificadas suas
causas críticas a serem atacadas pelos programas e sem que tenham sido avaliadas as
situações-objetivo no horizonte de tempo do PPA (t1, t2, t3 e t4) em cenários consistentes, o macroobjetivo passa a ser apenas um desejo pouco fundamentado em conhecimento e informação. Uma não-referência para a avaliação, que a torna um exercício improdutivo e retira-lhe o caráter de instrumento de gestão.
A avaliação de resultados por macroobjetivos irá exigir, então, o referido trabalho de
engenharia reversa que consistirá em interpretar o conteúdo do enunciado e das explicações do macroobjetivo e das diretrizes e prioridades que dele emanam, buscando o que
de problemático expressam, ou seja, a carga negativa contida nas formulações. Tomemos
um exemplo para melhor visualizar o encaminhamento imaginado:
Macroobjetivo no 2 – Sanear as Finanças Públicas [Brasil. Ministério do Planejamento e
Orçamento, v. 1, p. 25, 1999].
“É compromisso do Governo estabilizar, ao longo dos próximos anos, o montante da dívida pública medido como percentual do PIB. As ações integradas para
este fim envolvem a redução dos desequilíbrios estruturais entre fluxos de receita e
despesa não financeira, a aceleração da desestatização e da concessão e a modernização das atividades de arrecadação, fiscalização e controle, associados a um quadro de
12
Esta seção está, em larga medida, apoiada em Garcia (2000b, p. 6 a 9).
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
47
redução da taxa de juros e de retomada do crescimento econômico sustentado. Serão
prioridades:
• Melhorar a qualidade do gasto público mediante o aperfeiçoamento do Sistema
de Planejamento, Orçamento, Finanças e Controle.
• Reduzir os déficits orçamentários do setor público nas três esferas de governo.
• Aperfeiçoar o Sistema Previdenciário e reduzir o seu déficit nas três esferas de
governo”.
Fica evidente a ausência de referências precisas: qual é a qualidade do gasto público hoje? Em quanto deve ser melhorada? Em que consiste o aperfeiçoamento dos
Sistemas de Planejamento, Orçamento, Finanças e Controle e de Previdência? De
onde se sai e aonde se quer chegar? Reduzir em quanto os déficits orçamentários e
previdenciários em cada ano e em cada esfera de governo?
A construção das respostas poderá ser tentada com uma definição provisória e
uma análise preliminar do macroproblema, mediante a identificação de carga negativa
evidenciada na formulação do macroobjetivo:
Macroproblema no 2 – Finanças Públicas Desequilibradas, com déficit elevado e dívida pública
crescente em relação ao PIB.
Causas ( a carga negativa contida nas Prioridades do Macroobjetivo):
• baixa qualidade do gasto público (ineficientes e ineficazes? produtos e serviços
de baixa qualidade? gasto direcionado para o não importante e necessário?);
• deficientes sistemas de planejamento, orçamento, finanças e controle nas três
esferas de governo (como se expressam as deficiências? em que magnitude?);
• deficientes sistemas de arrecadação e fiscalização previdenciária nas três esferas
do governo (como se expressam as deficiências? em que magnitude?).
Em seguida, deve ser intentada a explicação do macroproblema, estabelecendo-se
as relações entre as causas e entre estas e o seu indicador e concebidos os indicadores
para as causas críticas. Na seqüência, apresentar, discutir e construir o consenso com
os ministérios responsáveis pelos programas englobados pelo macroobjetivo. Importa conseguir o mesmo entendimento quanto à definição do macroproblema, sua
delimitação e descrição, a identificação das causas críticas e de como devem ser atacadas.
As causas críticas do macroproblema são os problemas a serem superados pelos
programas atuais do PPA. Só que isso não foi evidenciado à época de elaboração do
plano. Torna-se necessário, então, realizar avaliações de pertinência e suficiência dos
programas com relação às causas críticas do macroproblema e, também, de consistência interna dos programas, além de verificar se os seus indicadores são adequados
para suportarem a posterior avaliação de desempenho. Sem isso, as avaliações serão,
48
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
necessariamente, um trabalho penoso e sempre insuficiente para cumprir o disposto
no Decreto no 2 829, de 29 de outubro de 1998, e na Lei do PPA, além de insatisfatório para todos os envolvidos em sua elaboração e utilização.
Cumpridos esses requisitos, passa-se a dispor do macrorreferencial, que possibilitará a avaliação de resultados por macroobjetivos. Os insumos básicos para executála serão as avaliações de desempenho dos programas e os indicadores atualizados do
macroproblema e de suas causas críticas e os indicadores de contexto. Devidamente
analisados e relacionados – com base na teoria do macroproblema e dos programas –
deve-se proceder à comparação dos resultados obtidos com os indicadores do macroobjetivo previstos para cada momento de tempo (t1, t2, t3, t4). A partir disso,
podem ser tiradas as conclusões e recomendações que toda avaliação deve conter.
Vale observar o fato de as normas legais (decreto e lei) destacarem a necessidade de
avaliações anuais, que poderão ser produzidas com qualquer periodicidade se o sistema de monitoramento funcionar a contento. A verdadeira gestão estratégica é realizada com base em monitoramento e avaliação contínuos, pois só assim fica assegurada a possibilidade de identificar desvios, equívocos e erros, e agir com oportunidade
e eficácia para corrigi-los.
O entendimento aqui adotado é que a avaliação
global do PPA deve ter por finalidade averiguar
em que medida estão sendo cumpridas a orientação estratégica do governo e as diretrizes emanadas do presidente da República, “que dão o sentido das mudanças e os
compromissos dessa nova gestão assumidos no Avança Brasil” [Brasil, MPO, v. 1,
1999] (o programa da campanha eleitoral de 1998). Se assim for, de novo se colocará
a necessidade de proceder a uma modalidade de engenharia reversa, como se fez
anteriormente.
5.3 Avaliação Global do PPA
A análise da metodologia adotada para a elaboração do plano revela que um dos
seus conceitos centrais – o de problema – teve uma definição e um tratamento bem
aquém de sua importância [Garcia, 2000d]. Não se levou em conta que um plano de
governo para o país deve hierarquizar problemas, que são sempre relativos a quem os
anuncia, que há problemas com magnitudes e complexidades distintas. Em uma escala que vai do geral ao particular, do abrangente ao específico, do mais ao menos
complexo, em seu topo estaria o equivalente a megaproblema (para manter consistência
com a terminologia adotada ao se falar em macroobjetivos).
A leitura das orientações e diretrizes estratégicas e dos macroobjetivos feita pelo
autor, procurando explicitar a carga negativa que expressam, resultou na identificação
de pelo menos dois megaproblemas: (i) enorme iniqüidade social; e (ii) baixa competitividade da economia brasileira. Isso se não forem adotados conceitos mais restritivos de iniqüidade e competitividade, pois, do contrário, será aumentado o número de
megaproblemas. Por exemplo: se for entendido que os conceitos da iniqüidade e
competitividade aceitam a existência de regiões onde a iniqüidade social é maior e a
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
49
economia é menos competitiva, dispensaria um megaproblema do tipo desigualdades
regionais. Ou, se for adotada a perspectiva sistêmica para competitividade de modo a
incluir deficiências infra-estruturais (comunicações, malha viária, energia) e debilidades da atuação governamental (desequilíbrios financeiros, estrutura tributária, ineficiências regulatórias e fiscalizadoras, etc.), se evitaria a declaração de outros megaproblemas. Do ponto de vista prático, seria mais vantajoso trabalhar com um número menor de megaproblemas, desde que se chegue a um acordo teóricometodológico que torne operacionalizáveis os conceitos que venham a ser definidos.
Mas, sejam quais forem os megaproblemas que consensualmente se identifiquem,
deverão ser repetidos os procedimentos de engenharia reversa adotados no tratamento dos macroproblemas: terão que ser declarados pelas autoridades responsáveis;
delimitados e descritos, para terem os seus indicadores construídos; deverão ser explicados mediante a articulação convincente das causas críticas que já serão conhecidas, ou seja, os macroproblemas; apurada a situação em t0 e definidos os megaobjetivos para t1, t2, t3, t4 e as variáveis relevantes para o contexto do plano. Sem isso, a
avaliação deixa de contar com o quadro referencial que, por princípio e definição, a
presidirá. Ou seja, torna-se impraticável, pois o objeto e a perspectiva e o valor, definidores do modelo e do conteúdo da avaliação, não estarão dados.
A figura 2 apresenta, de forma esquemática, a concepção geral da proposta de
construção do marco referencial para a avaliação do PPA. Ali é destacado que, do
ponto de vista lógico, dever-se-ia começar pela identificação e análise dos megaproblemas, para com isso elevar a consistência do conjunto. Todavia, como os programas estão definidos e detalhados, eles construirão o ponto de partida e a base de
produção de boa parte das informações a serem utilizadas nas avaliações. Mais ainda,
como eles se orientam para a solução de problemas que são as causas críticas do macroproblema, que por sua vez são causas dos megaproblemas, o caminho adotado no
desenrolar do texto foi o inverso. A consistência deverá, na prática, ser construída de
baixo para cima, do particular para o geral, e não como manda a teoria e a experiência exitosa do planejamento estratégico público.
50
BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
FIGURA 2
Passos para a Construção do Quadro Referencial para Avaliação do PPA
1 a FASE
Análise e
interpretação da
orientação estratégica
e das diretrizes
Identificação dos
megaproblemas
Conceituação
delimitação e
descrição
(indicadores)
Análise:
Identificação de causas
críticas de cada
megaproblema
Idendificação da situação
inicial do megaproblema
(t0)
Descrição dos
megaobjetivos
(em t1, t2, t3, t4)
MACROPROBLEMAS
Identificação das variáveis-chavve do
contexto de cada megaproblemas
(construção dos cenários)
2a FASE
Análise dos macroobjetivos e
dos programas para a
conceituação, delimitação e
descrição do macroproblema
(indicadores)
Análise: identificação
das causas críticas de
cada macroproblema
Identifica da situação inicial do
macroproblema
(atualização dos indicadores
para 1999)
Descrição dos macroobjetivos
(em t1, t2, t3 e t4)
Identificação das variáveis chave do
contexto de cada
MACROPROBLEMA
(construção de Cenários)
PROBLEMAS
3a FASE
Cenários
Revisão da delemitação
e descrição dos problemas
e dos indicadores
Revisão da análise do
problema: identificação
de causas críticas
Revisão e construção de novos
indicadores necessários à
avalição (problema, programa e
contexto). Situação em t0
Avaliação da pertinência,
consistência e suficiência dos
programas
Descrição dos objetivos
em t1, t2, t3 e t4
51
BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
A avaliação global do PPA vai exigir a produção de outras informações e referências além daquelas produzidas na implementação dos programas. Afinal, o plano tem
por pretensão construir um novo estilo de desenvolvimento sustentado, uma economia mais competitiva, um governo mais eficiente e uma sociedade mais eqüitativa
e democrática. Os resultados globais da execução do PPA devem ser visualizados,
então, nas macrotransformações que promoverá na realidade socioeconômica do
país. Estas deverão ser apreendidas por indicadores de síntese, capazes de expressar
os múltiplos movimentos das diversas dimensões em que o plano atua.
Apresenta-se, a seguir, uma tentativa de construção de um conceito e de um indicador de iniqüidade, com o intuito de discutir um caminho metodológico apropriado
a produzir os referenciais e os instrumentos mais úteis à prática da avaliação global
do PPA. Reitera-se que o fundamental é a lógica adotada e não o resultado a que se
chega. Os indicadores dos megaproblemas serão produtos de uma elaboração coletiva, envolvendo-se dirigentes e técnicos com conhecimento dos problemas e das práticas próprias de governo, fazendo-se uso das fontes de informação mais adequadas a
cada caso e, no limite, organizando-se novos fluxos de informações.
O PPA está organizado em 28 macroobjetivos. Destes, 15 se destinam a atacar
manifestações da desigualdade social
extrema (estando relacionados a educação, saúde, saneamento, habitação, geração de ocupação e renda, combate à mortalidade infantil, erradicação do trabalho infantil, assistência social, reforma agrária e apoio à
agricultura familiar, desenvolvimento urbano, transporte de passageiros, garantia de direitos, fortalecimento da cidadania, redução da violência) e pelo menos outros sete, de
natureza mais econômica, teriam forte impacto sobre emprego e renda.
5.4 Exemplo da Construção de Conceito e
Indicador para um Megaproblema 13
Do ponto de vista da gestão do conjunto do plano, importa saber se os resultados
obtidos com a produção global das ações governamentais estão se traduzindo em
redução da desigualdade. Este é um dos crivos decisivos, aquele que mostra se a
transformação produzida é a desejada e qual a sua amplitude, e se a eqüidade está
sendo o valor a orientar a alocação dos, sempre escassos, recursos públicos. Sem a
avaliação sistemática e rigorosa da implementação dos programas e das transformações que provocam, não se constrói, consciente e direcionadamente, o futuro diferente, mais equitativo e democrático.
Para isso é necessário começar respondendo a uma pergunta básica: o que se entende por iniqüidade social? Evidentemente, são muitas as respostas possíveis. E
todas estarão fundamentadas em ideologia, valores, interesses, posição política, experiência de vida, conhecimento e informação acumulados e na inserção social de cada
13
Retirado de Garcia, 2000a.
52
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
um daqueles que procure respondê-la. Há, portanto, a necessidade de estabelecer
uma intersubjetividade que possibilite a construção de uma referência a mais objetiva
possível.
É o que será tentado, a seguir, como uma proposta aberta (por isso mesmo preliminar, incompleta, imprecisa, etc.). Aberta, como sugerido por Umberto Eco, porque
vai sendo elaborada ao receber críticas, contestações, reformulações, complementações, atualizações e tudo o mais que coopere para a formação da intersubjetividade
mínima necessária para a definição de um quadro referencial comum e legítimo, que
por sua vez não se fecha, podendo sempre ser melhorado, aprofundado, detalhado.
Assim, propõe-se:
Iniqüidade Social: é a situação de uma sociedade particular caracterizada por distribuição altamente desigual de renda e patrimônio (material e não material), em que
uma minoria populacional detém a maior parte destes e uma grande parte da população não alcança um patamar mínimo de existência com dignidade, quando isso seria
possível com uma distribuição mais eqüitativa do patrimônio e da renda.
Como fica evidente, ainda não resolve. Nessa conceituação existem diversas imprecisões. Na tentativa de melhorar, definimos:
Patrimônio material: a quantidade de bens imobiliários (terra produtiva e domicílio permanente), meios de produção, bens de consumo duráveis detida pelas famílias.
Patrimônio não material: escolaridade, condição de sanidade, acesso aos serviços públicos, à informação, ao lazer, à justiça, à segurança, à proteção previdenciária, e participação associativa.
Patamar mínimo de existência com dignidade: condição, social e historicamente definida,
a partir da qual a família e os indivíduos têm assegurada a liberdade para escolher o
que valoram e se afirmar como cidadãos [Prats, 2000]. Se expressaria pela posse de
uma quantidade mínima de patrimônios e renda.
Eqüidade como possibilidade concreta: pode ocorrer se a riqueza material existente e o
fluxo de produção de nova riqueza e de renda são suficientes, em termos puramente
quantitativos, para permitir trazer para o patamar de existência com dignidade, todos
os que se encontram abaixo dele. Não se trata de instaurar o igualitarismo, pois é
reconhecido que o processo de divisão social do trabalho capitalista produz desigualdades interpessoais e, principalmente, entre classes. Mas, apenas constatar que a riqueza e a renda existentes podem ser redistribuídas a qualquer momento, com ganhos
macrossociais e macroeconômicos. Descarta-se o argumento conservador, imobilista
e, acima de tudo, preservador da injustiça, de que a redução da iniqüidade somente
pode ser feita com o crescimento continuado da renda e da produtividade (maior
eqüidade apenas em um futuro longínquo e incerto), mantendo intacta a presente
distribuição da riqueza que permite a apropriação dos ganhos de produtividade e de
maior parte da renda.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
53
Se essas formulações ajudarem a iniciar a conversa, a imprecisão terá ficado um
pouco menor. Mas é necessário buscar a operacionalização dos conceitos, baixando a
abstração e especificando referências empíricas, que facultem levar a intersubjetividade a uma prática coletiva. Para isso, a lógica impõe que, primeiramente, o Patamar
Mínimo de Existência com Dignidade (PMED) seja contextualizado para a nossa realidade atual. Quais seriam então os patrimônios e a renda mínimos a assegurar uma
existência digna, conforme o acima definido?
A resposta vai procurar combinar elementos referentes à disponibilidade de informações (confiáveis, abrangentes e periódicas) com os objetivos e ações dos programas governamentais. Ou seja, se o governo diz ser sua prioridade reduzir desigualdades sociais com a implementação de determinados programas, e se estes têm
como objetivo ampliar o acesso ao patrimônio (material e não material) e à renda por
parte dos excluídos, deverá ser possível verificar em quanto a iniqüidade foi reduzida,
mediante o tratamento de informações representativas do universo dos que se encontram acima e abaixo do PMED, que podem ser encontradas na PNAD, censos e em
outras fontes oficiais (por exemplo no censo escolar). A relação entre os dois contingentes conformaria um possível Indicador de Iniqüidade Social (INIQ).
Uma seleção preliminar dos principais atributos do PMED aponta, de imediato, os
seguintes:
(a) Renda Familiar ‘Per Capita’ Igual ou Maior que 1,5 Salário-Mínimo Mensal14
No momento, esse valor corresponde a R$ 226,50, que, multiplicado pelo número
de membros de uma família média (3,6 pessoas), perfaz o montante de R$ 815,40.
Este valor representa 86,7% do salário-mínimo necessário, calculado pelo DIEESE
para dezembro de 1999 (R$ 940,58). Os R$ 226,50 da renda familiar ‘per capita’ média são, praticamente, o dobro do valor médio da cesta básica apurado também pelo
DIEESE para a mesma época (R$ 99,54). Levando-se em conta que as famílias de renda mais baixa tendem a dedicar metade de seus ganhos a despesas com alimentação,
os R$ 226,50 não parecem uma referência despropositada. Um reforço à sustentação
dessa referência é aportado por Wanderley Guilherme dos Santos ao analisar a Pesquisa sobre Padrões de Vida, 1996-1997, do IBGE, na qual se encontra que “para a
maioria das pessoas, em todas as ocupações, e estritamente independente do salário
médio mensal (à exceção dos trabalhadores rurais), o limiar de ‘vida ruim’ situa-se na
linha dos R$200,0” [Santos, 1999, p. 51 a 63].
(b) Patrimônio Material Mínimo Necessário
Idealmente, deveria considerar o ativo fixo de propriedade das famílias (terra produtiva, domicílio permanente, meios de produção) e os bens duráveis. No entanto,
não estão disponíveis informações quantitativas sobre a posse de meios de produção
14
Diretamente, a partir dos dados da PNAD, sabendo-se que a renda é sistematicamente subdeclarada
ou revista para ser tornada compatível com as Contas Nacionais.
54
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
pelas famílias e, tampouco, informações anuais sobre a propriedade fundiária rural.
Assim, é preciso reduzir o patrimônio material à propriedade de domicílio permanente e de bens duráveis essenciais. Nas áreas rurais, a propriedade de domicílio
permanente será um indicador da titularidade de domínio das terras de produção por
parte das famílias agricultoras. Tomando-se o domicílio como unidade básica de investigação, é possível averiguar tanto a condição de ocupação, a qualidade da habitação, como o acesso aos serviços públicos e outras características relevantes.
Será considerado como Patrimônio Material Mínimo Necessário (PMMN) a ingressar e
ultrapassar o PMED a propriedade de domicílio permanente, situado em aglomerado
normal, construído com material durável (paredes e cobertura), com densidade de até
dois moradores por dormitório, dispondo de abastecimento de água com canalização
interna, banheiro e esgotamento sanitário por meio de rede coletora ou fossa séptica,
coleta de lixo de forma direta ou indireta (exceto área rural), iluminação elétrica e
telefone (todos os conceitos adotados são os utilizados pela PNAD). Comporia ainda
o PMMN a posse dos seguintes bens duráveis: fogão, filtro de água, rádio, televisão e
geladeira.
(c) Alguns Indicadores Parciais
O PMMN fica, desta forma, referido a importantes programas governamentais. A
eficácia terminal de seu conjunto (qual a transformação produzida na realidade) poderá ser apreendida, anualmente, pela PNAD, ainda que sem a exatidão proporcionada
por pesquisas conduzidas com esse fim específico. De qualquer maneira, é possível
imaginar indicadores de eficácia terminal para cada um dos principais programas integrantes do PPA 2000-2003, que estejam diretamente relacionados com o PMED. Por
exemplo:
-
Taxa de Cobertura de Saneamento Ambiental (TASA) =
domicílios servidos por sistemas de saneamento geral
total de domicílios
- Taxa de Acesso à Energia Elétrica (TAEE) =
domicílios servidos por energia elétrica
total de domicílios
- Taxa de Apropriação de Ativo Imobiliário (TAAI) =
famílias proprietárias de domicílios adequados
total de famílias
- Taxa de Apropriação Fundiária pela Agricultura Familiar (TAAF) =
famílias proprietárias de 1 a 4 módulos fiscais
total de famílias assalariadas rurais (perm. e temp.) e de parceiros, arrendatários e ocupantes de áreas até 4 módulos fiscais
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
55
- Taxa de Acesso a Bens Essenciais (TABE)15 =
domicílios c/geladeira(0,25) + fogão(0,25) + filtro(0,20) + TV(0,11) +rádio(0,10) + telefone (0,05)
total de domicílios
- Taxa de Obtenção de Renda Mínima Digna (TORD) 16 =
domicílios c/renda familiar pc. ≥ 1,5 salário-mínimo
total de domicílios
- Índice de Atenção Preventiva à Saúde (IAPS)17 =
[1 – (tx. de incidência de baixo peso ao nascer . 0,3)] + (tx. de cobertura vacinal .
0,4) + [1 – (tx. de prevalência de doenças infecto-contagiosas . 0,3)]
Ou, tomado como um indicador-síntese das condições gerais de saúde:
- Indicador do Diferencial de Esperança de Vida (IDEV) =
Esperança de vida ao nascer (estado)
Maior esperança de vida ao nascer (RS)
- Taxa de Escolaridade Mínima Adequada (TEMA) =
pop. 7 a 14 anos na escola + pop. 15 a 18 anos c/escolaridade ≥ 8 anos
pop. 7 a 24 anos
pop. 7 a 24 anos
+
pop. 19 a 24 anos com escolaridade ≥ 11 anos
pop. 7 a 24 anos
- Taxa de Cobertura Previdenciária (TCOP) =
pessoas que contribuem p/a previdência pública ou privada
população economicamente ativa
(d) Patrimônio Não Material
O patrimônio não material mínimo necessário a ingressar na cidadania e a assegurar a liberdade de escolher o que valora deveria ser composto dos atributos indispensáveis à participação ativa e direta das famílias (e indivíduos que as integram) na sociedade atual, em suas diversas dimensões. Haveria de se incluir uma escolaridade mínima que habilitasse os indivíduos a lidar com a realidade complexa e com os processos de produção mais exigentes em conhecimento. Deveria propiciar saúde pública e
higidez pessoal, garantidoras de uma vida saudável, prazerosa e produtiva, em condições ambientais sustentavelmente apropriadas. Deveria exigir algum grau de associa15
Ponderação obtida em rápida enquete com pesquisadores sociais, a discutir.
16
Ver nota de rodapé no 14.
17
Ponderação sugestiva, a discutir. A fonte dos dados é o DATASUS, no qual a unidade não é o domicílio.
56
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
tivismo (sindicato, partido, associações comunitárias ou de interesse), propiciar amplo acesso à informação (posse de rádio e televisão, assinatura de jornais e revistas) e
ao lazer. Incluiria o acesso fácil e rápido à justiça e à segurança pessoal e pública e a
algum tipo de proteção previdenciária e à liberdade de expressão e produção cultural,
entre outros. Todavia, as informações disponíveis, periódicas e confiáveis, não permitem tanto. A redução que se impõe faz possível, apenas, lidar com a escolaridade e
a proteção previdenciária, utilizando-se os indicadores sugeridos no item anterior.
Nada impede, no entanto, a incorporação de outras variáveis à medida que informações apropriadas se tornem disponíveis. Existem notícias de que a PNAD/99 trará um
segmento dedicado à saúde, e há, inclusive, quem afirme estar em curso a ampliação
das características pesquisadas por esse instrumento. Tomara que seja verdade.
(e) Tentando Chegar a um Patamar Mínimo de Existência Digna
Viver com dignidade. Sem dúvida, algo bastante subjetivo. Quem define o que é
digno? Vida digna de qual ponto de observação e de quais padrões valorativos? Uma
discussão que pode ser interminável.
Como se afirmou, a pretensão não é finalizá-la, ao contrário. A proposta é criar
uma referência relacionada aos objetivos da atuação governamental, explicitada nos
programas do PPA 2000-2003: casa própria para quem não tem; reforma agrária e
apoio à agricultura familiar; emprego e renda crescentes; saneamento, energia, comunicações expandidos; população saudável e com cobertura previdenciária; escolaridade em elevação; facilidades no transporte coletivo; ampliação da cidadania e segurança de direitos. Tais objetivos expressam anseios e valores sociais generalizados, e atendem, também, a interesses econômicos identificáveis. Existem várias formas de buscálos, com resultados distintos, principalmente em termos de eqüidade. É fundamental,
portanto, procurar ver se avançamos (ou não) na redução da iniqüidade, ver se está
crescendo o contingente daqueles que vivem com um mínimo de dignidade.
O patamar mínimo seria alcançado quando as famílias se apropriassem de um patrimônio material e não material e de uma renda mensal que, supostamente, lhes
permitiriam a liberdade de escolher o que valoram. E isso estaria assegurado quando,
simultaneamente, dispusessem das seguintes condições:
• domicílio próprio adequado (situado em aglomerado normal; construído com material permanente; com densidade de até dois moradores por dormitório; abastecimento de água com canalização interna, banheiro e esgotamento sanitário feito por
rede coletora ou fossa séptica e coleta direta ou indireta de lixo, se urbano; iluminação elétrica e telefone; com fogão, geladeira, filtro de água, rádio e televisão;
• renda familiar ‘per capita’ igual ou superior a 1,5 salário-mínimo;
• escolaridade adequada (pessoas entre 7 e 14 anos freqüentando o 1o grau, as entre
15 e 18 anos com 8 ou mais anos de escolaridade e as com idade entre 19 e 24 anos
com 11 ou mais anos de escolaridade); e
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
57
• cobertura previdenciária (todos os indivíduos ocupados protegidos por algum tipo
de seguro previdenciário).
A simultaneidade é uma exigência forte para se tentar apreender a dignidade como
uma condição abrangente, em relação com a natureza multidimensional do ser humano e as inúmeras inserções impostas para viver sob a complexidade crescente das
sociedades contemporâneas. As quatro características utilizadas para definir o PMED
nem de longe atendem aos rigores de uma conceituação mais completa do que seria
uma existência digna. É uma aproximação pobre com o intuito de captar a iniqüidade
e avaliar a ação governamental que diz ter como objetivo combatê-la.
A formulação adotada pode ser aplicada anualmente (inclusive recuperando uma
série histórica razoável) para o Brasil, estados, Distrito Federal e regiões metropolitanas, utilizando-se apenas a PNAD. Permite verificar as diferenças existentes entre o
espaço urbano e o rural (exceto na região Norte), algumas privações específicas (de
domicílio adequado, de renda, de escolaridade, de algum bem, etc.), as distâncias para
alcançar o PMED, assim como a organização de um ‘ranking’ estadualizado da iniqüidade. Acredita-se ser possível apanhar (não medir com exatidão) a contribuição dos
programas do PPA (que terão metas anuais e indicadores de execução) da Administração Pública federal para alterar a iniqüidade, separada da contribuição conjunta dos
outros dois níveis de governo (supondo-se que também disponham de metas e indicadores confiáveis). Se isso se efetivar, estarão disponíveis indicadores interessantes
para orientar a localização, a intensidade e a especificidade da ação governamental.
Impossível será dimensionar o produto da ação de outros atores sociais e das iniciativas familiares ou individuais que resultem em auxílios à redução da iniqüidade. Se a
representatividade amostral da PNAD se ampliasse, talvez se tornasse praticável obter
tal contribuição como resíduo.
(f) A Fórmula
Se o contido no item anterior fizer algum sentido, os dados deverão mostrar que
somente um contigente populacional bastante modesto estará acima do PMED, ainda
que o conceito de PMED aqui utilizado seja muito modesto ou restrito. A idéia é estabelecer a relação entre os que estão acima e abaixo do referido patamar, criando uma
escala de 0 (zero) a 1 (um), em que zero significa que toda a população alcançou ou
ultrapassou o patamar de existência com dignidade mínima.
INIQ. = 1 – número de famílias em situação ≥ PMED
total de famílias
Poderá ser dito que com esse procedimento são ignoradas variações de níveis e tipos de privação e a maior ou menor distância do PMED. É verdade. Isso, no entanto,
não fará diferença se for aceito que a existência digna é uma totalidade complexa e situacional que não se faz apenas pela justaposição de partes que a integram, mas que
resulta da interação simultânea de todas elas. Dessas interações surgem qualidades
58
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
distintas das obtidas pela soma de atributos parciais. Esse é o propósito (ainda que
sem a convicção de ter sido alcançado).
Uma última observação: para que um indicador construído à base das informações
da PNAD possa ser utilizado na avaliação global do PPA, é necessário alterar a data de
realização da pesquisa, com vistas a torná-la disponível ao final do ano em que foi
feita. Somente assim será possível cumprir o disposto na lei do PPA, que determina,
para 15 de abril de cada ano, o envio da avaliação, referente ao exercício anterior, ao
Congresso Nacional, junto com o projeto da LDO.
6 DELINEAMENTO APROXIMATIVO DE UM
SISTEMA DE AVALIAÇÃO
Conforme propõe Nicolleta Meldolesi (1996, p. 83), a avaliação, vista como uma
prática que aperfeiçoe as condições nas quais se desenvolve a ação governamental e
comprometa dirigentes e servidores públicos a assumirem a responsabilidade de fazer
o Estado funcionar melhor, exige continuidade e organização adequada.
Como os planos e os programas governamentais se constituem em uma série de
hipóteses ou em uma teoria que busca explicar problemas e apontar soluções, é de se
esperar que ocorram surpresas e imprevistos em sua execução. A incerteza passa a
ser um componente que não pode ser eliminado no desenho de planos, programas e
da própria ação. O plano é sempre uma aposta, bem ou mal fundamentada, a depender dos conhecimentos, dos métodos e técnicas que o suportam [Matus, 1991]. Conseqüentemente, a avaliação se apresenta como a atividade que busca descobrir as
surpresas, conhecer o porquê dos erros e dos acertos, reforçar ou criticar a teoria do
problema e do programa, para melhorar a qualidade e a direcionalidade da ação governamental.
Se assim for, a avaliação não poderá ser uma atividade episódica nem realizada
externamente ao governo, como bem demonstra a experiência internacional.18 Ao
contrário, deverá integrar de forma sistêmica, permanente e contínua o próprio processo de governar, que requer a tomada cotidiana de decisões estratégicas. A avaliação integra o processo decisório para poder melhorá-lo, para torná-lo mais eficiente
(em termos do uso de múltiplos recursos) e eficaz, melhor calibrado para atingir o
alvo das políticas governamentais. A avaliação deve ser vista, então, também como
um processo de produção de conhecimento que fortalece a capacidade de planejamento, que amplia a competência institucional de fazer previsões e de lidar com a
incerteza e a complexidade.
18
Ver os citados artigos de Meldolesi (1996) e de Capitani (1993) e, entre outros: Trivedi (1997 e
1998); BID (1996); Gaetani (1997); e Vellemont (1996).
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
59
Um sistema de avaliação deverá estar organizado para ser capaz de produzir informações e julgamentos, no mínimo, sobre:
(a) a qualidade e a confiabilidade do plano (programa e ações) − cabe lembrar que os resultados são construídos antes de o plano ser iniciado, em função do seu desenho, da
potência explicativa da teoria que o suporta, da atualidade das informações, da qualidade dos métodos e técnicas de planejamento, programação e gestão;
(b) a realização do plano – ou seja, as mudanças nos indicadores dos problemas e de
suas causas críticas, a eficiência e a eficácia das ações implementadas, a execução orçamentária;
(c) o comportamento dos outros atores – aqueles que têm interesse (positivo ou negativo)
no plano e que também produzem ações;
(d) as circunstâncias em que foi implementado – como se comportaram as variáveischave que estão fora do controle dos dirigentes; como foram enfrentadas as surpresas e aproveitadas as oportunidades;
(e) os efeitos indesejados – como foram compensados ou que problemas adicionais terão que ser enfrentados;
(f) o cumprimento dos valores orientadores do plano – avaliação ética das ações.
O sistema de avaliações do PPA irá iniciar-se acumulando alguns prejuízos, decorrentes da baixa assimilação dos conceitos básicos e da metodologia por parte dos que
o elaboraram, o que foi proporcionado pela pouca atenção dada à etapa de capacitação e preparação técnica. Isso, no entanto, não deverá impedir revisões e aperfeiçoamentos a serem propiciados pela própria produção de avaliações.
As avaliações deverão permitir averiguar as conseqüências de um programa sobre
um problema, de um conjunto de programas sobre o macroproblema ou de todo o
plano sobre os megaproblemas, em relação aos objetivos e metas perseguidos, aos
efeitos indesejáveis produzidos, às circunstâncias em que as ações ocorreram, aos
problemas e oportunidades potenciais que foram gerados. As avaliações serão feitas
para: (i) permitir conhecer o desempenho (eficiência e eficácia) e os resultados atuais
das ações/programas; (ii) verificar o intercâmbio de problemas (efeitos desejados
‘versus’ efeitos indesejados); (iii) detectar as causas dos erros e dos acertos; (iv) julgar
o desempenho dos responsáveis, em todos os níveis; (v) incentivar a motivação dos responsáveis; (vi) fortalecer e aprimorar os sistemas de planejamento e de decisão; e (vii)
informar a sociedade e o Parlamento.
Um rascunho do desenho básico de um sistema de avaliações do PPA indica os seguintes módulos (ou momentos):
Ex-ante – avaliação das propostas de intervenção nos problemas, no que se refere à:
- pertinência ao problema;
60
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
- consistência interna das suas operações/ações;
- suficiência das ações para superar as causas críticas;
- confiabilidade (viabilidade técnica, política, econômica, organizacional; aceitabilidade, etc., referida aos cenários pensados).
Durante – avaliações de desempenho (eficiência e eficácia) das ações e resultados
intermediários dos programas, produzidas continuamente como requisito da gestão;
- avaliações de resultados intermediários no enfrentamento dos problemas e macroproblemas;
- avaliações globais dos resultados terminais do PPA, produzidos anualmente, para
subsidiar as reformulações do plano e que devem ser encaminhadas ao Congresso
Nacional junto com o projeto da LDO (15 de abril de cada exercício).
Ex-post – avaliação final dos resultados terminais do PPA. Informa a elaboração do
próximo plano.
Esse sistema básico somente se concretizará se alimentado por um processo de
monitoramento de todas as variáveis e todos os aspectos relevantes do plano/programa/ações. As partes integrantes do sistema de monitoramento deverão ser
especificamente desenhadas para dar conta das peculiaridades de cada programa que
integra o plano. As avaliações não ganharão sentido e legibilidade se os indicadores
por elas utilizados não estiverem referidos aos contextos nos quais as ações foram
desenvolvidas. Daí a necessidade de também se analisarem continuamente as variáveis de contexto pertinentes a cada problema, macroproblema e megaproblema.
O sistema deve ser subsidiado por dois módulos independentes, mas que constituem reforço fundamental à avaliação, ao planejamento e à produção de conhecimento útil para a intervenção concreta na realidade: os estudos prospectivos ou estudos do futuro e a pesquisa por problemas. Os estudos prospectivos buscam mapear
os futuros possíveis e, ao identificar aquele mais assemelhado ao que se deseja, iluminam as ações a serem desenvolvidas no presente com vistas a alcançá-lo. Tais estudos
também auxiliam a pensar nos problemas potenciais e articular ações que combatam
suas causas no nascedouro.19 A pesquisa por problemas, por sua vez, tem o objetivo
de ampliar e aprofundar o conhecimento sobre os objetos da intervenção governamental, sobre o desenho de planos e programas e sobre a própria ação de governo.
Como diz Tereza Penna Firme (1994), “a avaliação é parceira da pesquisa: enquanto a
pesquisa procura, fundamentalmente, estabelecer relações entre fatos, fenômenos,
situações, a avaliação se preocupa com o aperfeiçoamento. A avaliação visa a conclusões que levam a uma ação, a um aperfeiçoamento, porque envolve, essencialmente
19
Ver, a propósito, os artigos de Masini (1995a); Godet (1995a e 1995b); Schwartz (1995); e, principalmente, Dror (1988 e 1990). Existe um artigo em português (Dror, 1978) no qual o autor apresenta suas idéias sobre o tema de forma resumida.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
61
um juízo de valor. A pesquisa descobre o mundo e a avaliação melhora o mundo”
[Firme, 1997]. A organização da pesquisa por problemas implica aprofundar o seu
caráter aplicado, fazendo-a interagir organicamente com o sistema de avaliação e o
processo governamental de tomada de decisão. A figura 3, a seguir apresentada, tenta
dar uma idéia gráfica do funcionamento do sistema.
FIGURA 3
O Sistema de Avaliação em Movimento
Ex-ante
Durante
Estudos
Prospectivos
Pesquisa por
Problemas
Ex-post
ANÁLISE DE CONTEXTO
Proposta de
Intervenção
(Planos/Programas)
Execução/Revisão
Continuada de
Programas/Ações
Revisão Anual
do Plano
Término da Execução
do Plano
MONITORAMENTO
Avaliações de:
- Consistência
- Suficiência
- Pertinência
- Confiabilidade
Avaliação de
Desempenho
(contínua)
Avaliação de
Resultados
Intermediários
(contínua)
Avaliação Global dos
Resultados Terminais
do PPA (anual)
Avaliação Final
dos Resultados
Terminais do
PPA
7 PARA FINALIZAR
O que foi aqui discutido e apresentado é uma primeira tentativa, ainda bastante
desordenada e sabidamente deficiente, de dar vazão a uma inquietação que cresce
entre uma considerável parcela de servidores públicos, preocupados em ampliar a
capacidade de governo e em melhor atender às carências e demandas da maioria do
povo brasileiro, mas que se refere a uma problemática institucional.
A avaliação é uma necessidade para quem governa, um campo de aprendizado e
de geração de conhecimento e uma exigência da sociedade democrática. No entanto,
não tem sido devidamente valorizada, chegando a ser desprezada em certos círculos.
Se a demanda que hoje se apresenta não for respondida a contento, corre-se o risco
de passar um bom tempo sem que se volte a falar no assunto. O prejuízo para o governo e, em particular, para as parcelas mais sofridas da sociedade seria imensurável.
O Ministério do Planejamento colocou as cartas na mesa. Se os parceiros não entrarem no jogo, estarão correndo sérios riscos e perdendo uma excepcional oportu-
62
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
nidade para se tentar um salto qualitativo nos processos estratégicos de governo.
Esse é o receio que impulsionou a produção do presente texto. Se provocar discussão, discordância e críticas, se for destruído mas estimular a elaboração de propostas
mais completas e superiores, terá cumprido seu objetivo, pois estaremos avançando
na construção de uma administração pública mais competente, visível e, por isso,
passível de democrático controle social, que poderá conhecer graus crescentes de
eficiência, eficácia e eqüidade em sua atuação.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
63
REFERÊNCIAS BIBLIOGRÁFICAS
ABRANCHES, S. Relatório de Conclusões do Seminário sobre Metodologia de Avaliação de Programas
Sociais. Brasília, IPEA/CENDEC, maio de 1985.
ACKOFF, R. Rediseñando el Futuro. México. DF: Ed. Limusa, 1987.
AGUILAR, M. J. e ANDER EGG, E. Avaliação de Serviços e Programas Sociais. 2ª ed. Petrópolis: Ed. Vozes, 1995.
BALLART, X. Como Evaluar Programas y Servicios Públicos? Ministerio para las Administraciones Publicas, Madrid: Colección Estudios, 1992.
BARROS, R. P. de (coord.). Análise dos Relatórios de Avaliação do PLANFOR (relatório final).
Rio de Janeiro: IPEA, nov./1999.
BEER, S. Decisión y Control. México: FCE. 1982.
BID – El Fortalecimento de la Evaluación a Nível de País. San José, nov. 1994.
BID – Encuentro Sudamericano sobre Evaluación y Control de la Gestión Publica por Resultados. Cartagena, jul. 1996.
BID/EVO – Evaluación: una herramienta de gestión para mejorar el desempeño de los
proyectos. Washington, mar. 1997.
BONDER, N. O Segredo Judaico de Resolução de Problemas. Rio de Janeiro: Imago, 1995.
BUVINICH, M. R. Ferramentas para o Monitoramento e Avaliação de Programas e Projetos Sociais.
UNICEF, Cadernos de Política Social, nº 10. Brasília, out. 1999.
BRASIL. Ministério do Planejamento, Orçamento e Gestão − Projeto de Lei do Plano Plurianual
2000-2003 (PPA 2000). Brasília, 1999.
BRASIL. Ministério do Planejamento, Orçamento e Gestão − Plano Plurianual 2000-2003,
Projeto de Lei do PPA, v. I, p. 25, 1999.
BRASIL. MP/SPI. PPA 2000: Manual de Elaboração e Gestão. Brasília, abr. 1999.
BRONOWSKI, J. As Origens do Conhecimento e da Imaginação. 2ª ed. Brasília: Ed. UnB, 1997..
CAPITANI, A. A Administração do Setor Público e o Aprendizado Organizacional: o papel da avaliação. Banco Mundial/Texto apresentado no Seminário Internacional sobre Experiência
em Planejamento, Avaliação e Administração de Recursos Públicos − Brasília, out.
1993.
CASLEY, D.J. e LURY, D.A. Manual para el Seguimiento y Evaluación de Proyectos Agrícolas y de
Desarrollo Rural. Banco Mundial, sep. 1982.
CASTRO SANTOS, L. A. Os Significados da Saúde: uma leitura de Aubrey Lewis- Physis.
Revista Saúde Coletiva, Rio de Janeiro. 8(1) , 1998.
CEPAL – Taller sobre Evaluación de la Gestión del Gasto Público (compendio de Documentos).
Santiago, ene. 1998.
COHEN, E. e FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Ed. Vozes, 1993.
64
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
COMISSÃO GULBENKIAN (Immanuel Wallerstein, coord.). Para Abrir as Ciências Sociais.
São Paulo: Cortez Editora, 1996.
DROR, Y. Enfrentando El Futuro. México: FCE, 1990.
____ . Handbook of Sistem Analysis: craft issues and procedural choices. N.Y. Miser and Quade
Ed., 1988.
____ . A Capacidade para Governar. São Paulo: FUNDAP, 1999.
____ . Idéia Politológica dos Estudos do Futuro, Futuros Alternativos e Ação Presente. Revista de Ciência Política. Rio de Janeiro, v. 21, n. 1, p. 97-113, jan./mar. 1978.
ESMERALDO Barreto, J. A. Avaliação: mitos e armadilhas. Revista Ensaio, v. 1(1) out./dez.
1993.
FIGUEIREDO, A. e FIGUEIREDO, M. Avaliação Política e Avaliação de Políticas: um
quadro de referência teórica”. Análise e Conjuntura, Belo Horizonte v. 1, n. 3, Fundação
João Pinheiro, set./dez. 1986.
FIRME, P. T. Avaliação: tendências e tendenciosidade. Revista Ensaio, v. 1, n. 2, jan./mar.
1994.
_____ . Avaliação: um avanço no conhecimento. Revista Cesgranrio no 1, out. 1997.
GAETANI, F. Gestão e Avaliação de Políticas e Programas Sociais: subsídios para a discussão.
ENAP, Texto para Discussão n. 14, Brasília, abril de 1997.
GARCIA, R. C. Avaliação de Ações Governamentais: pontos para um começo de conversa. Brasília: IPEA/CENDEC, out. 1997.
____ . Iniqüidade Social: como estamos vendo e enfrentando este problema. Brasília: IPEA,
2000a (Documento para Discussão Interna).
____ . Para Avaliar o PPA: passos exploratórios. Brasília: IPEA, 2000b (Documento para Discussão Interna).
___ . A Gestão de Programas do PPA 2000. Brasília, MEC/SPO, abr. 2000c (Texto para Discussão).
___ . Reorganização do Processo de Planejamento do Governo Federal: o PPA 2000-2003. Brasília:
IPEA, mai. 2000d. (Texto para Discussão n. 726)
GODET, M. Prospectiva: por quê? Cómo? Siete ideas Ilave. In: Cuadernos de Administración, n.
21. Cali: Universidade del Valle, 1995a.
___ . Perspectiva y Estrategia: enfoques integrados. In: Cuadernos de Administracion, n. 21. Cali:
Universidade del Valle, 1995b.
JOUVENEL, H. Sobre la Práctica Prospectiva: una breve guia metodológica. In: Cuadernos de
Administración, n. 21. Cali: Universidade del Valle, nov. 1995.
LATOUR, B. Jamais Fomos Modernos. Rio de Janeiro, Editora 34, 1994.
LORENZ, E. A Essência do Caos. Brasília, Ed. UnB, 1996.
MACHADO, N. J. Avaliação Educacional: das técnicas ao valores. Revista de Psicopedagogia, v.
13, n. 28, jan. 1994.
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
65
MARCEL, M. Guia para la Construcción de Indicadores de Desempeño. Santiago, ILPES/CEPAL dezembro de 1995.
MASINI, E. Por qué reflexionar hoy acerca del futuro? In: Cuadernos de Administración, n. 21.
Cali: Universidad del Valle, 1995a.
____ . Terminologia de La Prospectiva . In: Cuadernos de Administración, n. 21. Cali: Universidad del Valle, nov. 1995b.
MATSA, G. e VANZELLA, D. Abismos do Universo. Folha de São Paulo. São Paulo 21 maio
de 2000. Caderno Mais.
MATUS, C. Política, Planejamento e Governo. Brasília: IPEA, 1993.
____ . Adeus, Senhor Presidente. São Paulo: FUNDAF, 1997.
____ . El Sistema Altadir de Montoreo. Caracas: Fundación ALTADIR, mar. 1994.
____. O Monitoramento da Gestão Pública. São Paulo: FUNDAF/EGAP, 1996.
____ . O Plano como Aposta. São Paulo em Perspectivas, v. 5, n. 4, out.-dez./1991. p. 28-42,
MELDOLESI, N. S. A Avaliação das Políticas Públicas na França. Revista do Serviço Público, v.
120, n. 1, jan./abr. 1996.
MITROFF, I. The Subjective Side of Sciences. N.Y: Elsevier Ed., 1984.
MORIN, E. Os Sete Saberes Necessários à Educação do Futuro. São Paulo: Cortez/Ed. UNESCO,
2000.
NEPP/UNICAMP. Modelo de Avaliação de Programas Sociais Prioritários. Campinas, jul. 1999.
____ . Avaliação Qualitativa de Programas Sociais Prioritários (síntese dos principais resultados da
pesquisa de campo). Campinas, jan. 1999.
OMS. Evaluación de los Programas de Salud: normas fundamentales. Genebra: OMS, 1981.
OROZCO, H. Planificación y Programación. San José: EUED, 1986.
PINTO, A. M. R. Fetichismo da Avaliação. Análise e Conjuntura. Belo Horizonte: Fundação
João Pinheiro v. 1, n. 2. mai./ago. 1986.
PRATS, J. O. La Nueva Concepción de Bienestar segun Amartya Sen . Ideas, Instituto Internacional
de Gobernabilidad (www.iigov.org/pnud), 2000.
REES, M. Entrevista Caderno Mais. Folha de São Paulo, 21 de maio de 2000.
SANTOS, B. S. Pela Mão de Alice. São Paulo: Cortez Editora, 1996. 2ª ed.
SANTOS, W. G. A Impotência da Choldra. Insight-Inteligência, mai./jul. 1999.
SCHWARTZ, P. A Arte da Previsão (título equivocado para o original The Art of the long
view). São Paulo: Scritta, 1995.
SILVA, C. S. Medidas e Avaliação em Educação. Petrópolis: Ed. Vozes, 1992.
TRIVEDI, P. How to Evaluate Performance of Government Agencies (a manual for practitioners).
Washington: World Bank, 1997.
____ . Acuerdos de Desempeño en el Gobierno de los Estados Unidos: enseñanzas para los países en
desarrollo. Washington: World Bank, 1998.
66
SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL
VELLEMONT, S. A Modernização do Estado: lições da experiência francesa. Brasília: ENAP,
1996.
WAGENSBERG, J. Ideas sobre la Complexidad del Mundo. Barcelona: Tusquets Ed., 1985.
WEAVER, R.K e ROCKMAN, B. A. (ed.). Do Institutions Matter? Government Capabilities in the
United States and Abroad. Washington, DC: The Brookings Institution, 1993.
WERNECK, V. R. A Velha e Nova Questão da Avaliação. Revista Ensaio, v. 1, n. 1, out./dez.
1996.
O PROCESSO DE IMPLEMENTAÇÃO
DE POLÍTICAS PÚBLICAS NO BRASIL:
CARACTERÍSTICAS E DETERMINANTES DA
AVALIAÇÃO DE PROGRAMAS E PROJETOS
Pedro Luiz Barros Silva
Marcus André Barreto de Melo
2
2000
NÚCLEO DE ESTUDOS DE POLÍTICAS PÚBLICAS – NEPP
UNIVERSIDADE ESTADU AL DE CAMPINAS – UNICAMP
O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS
NO BRASIL: CARACTERÍSTICAS E DETERMINANTES DA
AVALIAÇÃO DE PROGRAMAS E PROJETOS
CADERNO
Nº 48
NEPP-UNICAMP
O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS NO BRASIL:
CARACTERÍSTICAS E DETERMINANTES DA AVALIAÇÃO DE PROGRAMAS
E PROJETOS1
Pedro Luiz Barros Silva2
Marcus André Barreto de Melo3
1 Trabalho a ser apresentado na reunião do CLADE, 2000, Painel “Estado Democrático e
Governança no Século XXI: reformando a reforma, República Dominicana, outubro de 2000.
2 Administrador Público e Doutor em Ciência Política. Diretor do NEPP – Núcleo de Estudos de
Políticas
Públicas/UNICAMP.
Professor
do
Instituto
de
Economia/UNICAMP
([email protected])
3 Cientista Social e Doutor em Ciência Política. Diretor do NEPU – Núcleo de Estudos de
Políticas Públicas/UFPe. Professor do Mestrado em Ciência Política/UFPe.
2
NEPP-UNICAMP
1. Introdução
Este trabalho apresenta um marco de referência para a abordagem da questão da
implementação de políticas públicas. No texto que se segue discute-se um
conjunto de conceitos analiticamente relevantes para a compreensão do policy
cycle, e em particular do lugar da implementação de políticas como o ‘elo perdido’
da análise da ação governamental. Embora a apresentação desses conceitos seja
balizada pela referência à literatura contemporânea, busca-se construir um marco
de referências original e que permita dar conta da complexidade da questão da
implementação em contextos institucionais particulares como o brasileiro. Como
será discutido, o contexto institucional e organizacional brasileiro caracteriza-se
por especificidades importantes – dentre as quais destaca-se sua complexidade e
forte diferenciação funcional, e principalmente os problemas de coordenação e
cooperação intergovernamentais.
As vicissitudes da implementação de programas governamentais têm sido
entendidas como uma das dimensões cruciais – senão a variável central – para a
explicação do insucesso dos governos em atingir os objetivos estabelecidos no
desenho das políticas públicas. A implementação revelou-se, portanto, o “elo
perdido” nas discussões sobre a eficiência e eficácia da ação governamental.
Como amplamente discutido, problemas não antecipados que surgem durante a
implementação de programas ou políticas podem representar obstáculos
intransponíveis, os quais, por sua vez, podem levar as agências responsáveis a
descontinuá-los.
Essa “constatação”, realizada no plano teórico a partir de estudos concretos
acerca da intervenção estatal no plano internacional, tem chamado atenção para a
centralidade dos problemas de implementação de programas como elemento
chave no aperfeiçoamento da ação do governo.
Cabe aqui, entretanto, um
3
NEPP-UNICAMP
cuidado especial por parte de analistas, tomadores de decisão e estudiosos da
intervenção estatal. Em um certo sentido, essa constatação pode ser um truísmo.
Embora essencialmente correta, uma análise mais sistemática revela que o
diagnóstico sobre a implementação como o “elo perdido” está ancorado em uma
visão inadequada do processo de formulação e implementação de políticas.
Na
discussão que segue essa visão é criticada, e essa crítica fundamenta o marco de
referências alternativo que é apresentado e discutido na parte final do capítulo.
Mais do que isso, a partir da visão aqui exposta, defende-se que as avaliações de
políticas públicas, programas e projetos, devem focar de forma privilegiada o
processo de implementação.
2. As visões tradicionais do processo de implementação
Na visão clássica ou canônica da ação governamental a implementação constitui
umas das fases do policy cycle. A implementação corresponde à execução de
atividades que permitem que ações sejam implementadas com vistas à obtenção
de metas definidas no processo de formulação das políticas. Baseada em um
diagnóstico prévio, e em um sistema adequado de informações, na fase de
formulação são definidas não só as metas mas também os recursos e o horizonte
temporal da atividade de planejamento. Definidos esses dois parâmetros, pode-se
aferir a eficiência dos programas ou políticas e seu grau de eficácia ( Figura 2).
4
4 Uma análise mais abrangente da questão englobaria também a questão dos resultados ou
efeitos das políticas (outcomes ou outputs) e a avaliação de seu impacto. A avaliação de
programas refere-se fundamentalmente ao seu impacto (conhecido na literatura especializada
como impact analysis or evaluation). O monitoramento da implementação dos programas é
conhecido referido como implementation assessement.
4
NEPP-UNICAMP
Implementaç
ão de
políticas
Formulação
de políticas
Figura 1. Visão clássica do policy cycle
Essa visão clássica do ciclo de política (policy cycle) não considera os aspectos
relativos à implementação e seus efeitos retroalimentadores sobre a formulação
da política. Em outras palavras não considera o policy cycle como um processo. A
implementação é entendida, fundamentalmente, como um jogo de uma só rodada
onde a ação governamental, expressa em programas ou projetos de intervenção,
é implementada de cima para baixo (top down).
Numa perspectiva menos simplista em que o processo de formulação e
implementação de políticas é visto como um processo, a implementação também
aparece como dimensão importante. As vicissitudes da implementação de
políticas são incorporadas à análise. Em sua versão mais normativa, essa
perspectiva propõe que o monitoramento e a avaliação das políticas sejam
considerados instrumentos que permitem
correções de rota ( Figura 2).
As
vicissitudes, obstáculos e problemas da implementação estão associadas,
segundo essa perspectiva de análise,
a problemas de natureza variada. Em
primeiro lugar, resultam de aspectos relacionados à capacidade institucional dos
agentes implementadores. Em segundo lugar, são gerados por
problemas de
natureza política na implementação dos programas ou políticas. Em terceiro lugar,
derivam da resistência e boicotes realizados por grupos ou setores negativamente
afetados pela política – em muitos casos setores da própria máquina
administrativa estatal.
5
NEPP-UNICAMP
Formulação de
políticas
Implementação
de políticas
Retroalimentação/Monitoramento
Figura 2. A visão do policy cycle como um processo simples e
linear
Essa perspectiva de análise do policy cycle como um processo representa um
avanço em relação à visão clássica da questão. No entanto, ela está assentada
em premissas equivocadas. Em primeiro, ela confere um primado excessivo à
atividade de formulação, em detrimento das outras dimensões. Embora a questão
da implementação e do monitoramento sejam incorporados à análise, a
formulação é vista como uma atividade relativamente não problemática. Assumese que:
●
diagnóstico que informa a formulação de políticas está essencialmente correto;
●
o formulador dispõe de todas as informações necessárias ao desenho das
propostas programáticas;
●
o formulador dispõe de um modelo causal válido.
6
NEPP-UNICAMP
Esse último aspecto é essencial na medida em que toda política pública está
assentada em um modelo causal, freqüentemente não explicitado. Esse modelo
causal consiste de hipóteses e pressupostos sobre determinados fenômenos
sociais.5 Exemplificando, as políticas ativas de mercado de trabalho estão
baseadas em um modelo causal a respeito do desemprego e suas manifestações
específicas para classes de trabalhadores, segundo ocupação, gênero ou idade; a
política pública de combate à mortalidade infantil está ancorada em um modelo
causal sobre esse tipo de mortalidade, e sobre o papel de variáveis ambientais e
nutricionais, bem como sobre a avaliação de perfis de morbidade que provocam a
mortalidade precoce.
Muitas vezes tais modelos causais não se relacionam ao fenômeno em si – vejase o exemplo da mortalidade infantil – mas em relação ao efeito de determinados
fatores sobre sua redução. Um bom exemplo sobre esse último aspecto seria a
observação de que o nível de escolaridade das mães é um dos determinantes da
presença ou ausência do fenômeno mortalidade infantil, e que uma intervenção
voltada para as mães teria um impacto em termos de redução da mortalidade.
Esse tipo de causalidade, denominado por Rossi e Freeman de hipótese de
intervenção (intervention hypothesis). 6
Esse tipo de hipótese é distinto daquela do modelo causal (causal hipothesis na
terminologia dos autores) na medida em que se relaciona não com a realidade
social tout court mas com os instrumentos de uma possível intervenção sobre a
mesma.7
Uma mudança provocada por um programa pode, no entanto, não resultar nos
mesmos processos sociais que podem ser observados quando mudanças nas
5 Weiss, Carol, Evaluation, Prentice Hall, 1998.
6 Rossi, P. H. e H. E. Freeman, Evaluation: a systematic approach, Sage, 1993.
7 Nos termos dos autores “uma hipótese de intervenção é uma afirmação que especifica o
relacionamento entre o que deve ser feito no programa e os processos ou determinantes
especificados na hipótese causal do comportamento ou condição a ser melhorado ou alterado”
Rossi e Freeman, Evaluation: a systematic approach, op. cit. P. 121.
7
NEPP-UNICAMP
variavéis causais ou independentes ocorrem naturalmente, ou seja sem
intervenção. A intervenção em si pode induzir novos comportamentos distintos de
uma situação pré-intervenção. 8 Hipóteses sobre o impacto efetivo da intervenção
( action hipothesis para Freeman e Rossi) são formuladas para dar conta desses
processos que ocorrem durante a implementação.
A visão de implementação proposta nos dois modelos discutidos (clássico e como
processo linear) padece portanto de sérios problemas no que se refere aos seus
pressupostos. A adoção da perspectiva onde o policy cycle é visto como um
processo simples e linear consagra uma visão top-down da formulação e desenho
dos programas, onde os problemas de implementação são necessariamente
entendidos como “desvios de rota”.9
Essa perspectiva de análise da
implementação pressupõe uma visão ingênua e irrealista do funcionamento da
administração pública, que aparece como “um mecanismo operativo perfeito”,
onde seria possível assegurar a fidelidade da implementação ao desenho
proposto inicialmente.
Essa visão hierárquica da burocracia pública como
correspondente ao ideal weberiano é francamente idealizada. Ela está ancorada
em um policy environment caracterizado por informação perfeita, recursos
ilimitados, coordenação perfeita, controle, hierarquia, clareza de objetivos,
enforcement de regras perfeitas e uniformes, linhas únicas de comando e
autoridade, além de legitimidade política e consenso quanto ao programa ou
política.
8 Como é o caso de um programa de combate à discriminação racial entre empregadores, citado
por Rossi e Freeman, que provocou forte polarização após ser implementado. Em outras
palavras os indivíduos não se comportavam como na situação pré-intervenção. A maior
mudança observada em termos comportamentais ocorreu entre certos empregadores que
mostravam-se ainda mais preconceituosos do que antes, embora muitos empregadores
mostraram-se menos preconceituosos. Note-se que a mudança ocorreu no nível da própria
população meta , e não dos agentes implementadores. Essa última observação é de grande
importância e é frequentemente pouco considerada.
9 Para uma distinção entre abordagens top down e bottom up de processos de implementação,
cf. Sabatier, Paul “Top down and bottom up approaches to implementation research”, Journal of
Public Policy, no. 6, 1986.
Simplificadamente, pode-se afirmar que a abordagem top down centra-se na questão dos
mecanismos de controle sobre os agentes implementadores para que os objetivos da política
sejam atingidos. Por sua vez, a abordagem bottom up enfatiza os incentivos que induzem os
agentes implementadores a aderir normativa e operacionalmente aos objetivos da política.
8
NEPP-UNICAMP
3. A Implementação como Jogo: redes, aprendizado institucional e
stakeholders
No entanto, estudos de situações concretas revelam um padrão muito distinto,
onde prevalece a troca, a negociação e barganha, o dissenso e a contradição
quanto aos objetivos. Ao invés de controle, autoridade e legitimidade verifica-se
ambigüidade de objetivos, problemas de coordenação intergovernamental,
recursos limitados e informação escassa.10 A implementação pode ser melhor
representada como um jogo entre implementadores onde papéis são negociados,
os graus de adesão ao programa variam, e os recursos entre atores são objeto de
barganha. 11
A análise empírica de políticas públicas revela que os formuladores de política
operam em um ambiente carregado de incertezas que se manifestam em vários
níveis:
●
em primeiro lugar, os formuladores de política – mas também os próprios
especialistas e estudiosos - enfrentam grandes limitações cognitivas sobre os
fenômenos sobre os quais intervêm. Tais limitações derivam, em última
instância, da complexidade dos fenômenos sociais com os quais lidam e das
próprias
limitações dos conhecimentos das disciplinas sociais sobre a
sociedade. Em um nível mais operacional, tais limitações são produto dos
constrangimentos de tempo e recursos com que operam os formuladores;
●
em segundo lugar, os formuladores de política não controlam nem muito
menos tem condições de prever as contingências que podem afetar o policy
environment no futuro; 12
10 Cf por exemplo Lane, Jan Erik , The Public Sector: concepts, models and approaches, Sage,
1993
11 Bardach, Eugene (1977), The Implementation Game, The MIT Press.
12 As limitações cognitivas dos agentes que circunscrevem a sua própria racionalidade foram
exploradas de forma pioneira por James March em várias contribuições sobre teoria
organizacional. Este ator propôs o conceito de racionalidade constrangida (bounded rationality)
para designar a limitada racionalidade dos atores sociais. Cf. ara uma discussão desse conceito
com referência às questões de mudança e reforma institucional cf. March, J e J. Olsen,
Rediscovering Institutions: the organizational basis of politics, The Free Press, 1989.
9
NEPP-UNICAMP
●
em terceiro lugar,
planos ou programas são documentos que delimitam
apenas um conjunto limitado de cursos de ação e decisões que os agentes
devem seguir ou tomar. Um amplo espaço para o comportamento discricionário
dos agentes implementadores está aberto. Freqüentemente avaliado de forma
negativa pela cultura burocrática dominante, esse espaço é o lugar de práticas
inovadoras e criativas;
●
em quarto lugar, os formuladores expressam suas preferências individuais ou
coletivas através de programas e políticas, cujo conteúdo substantivo pode ser
divergente daquele da coletividade. Projetos e programas não podem ser
vistos como um projeto ideal e coletivo mas como experimentação social.
Nessa perspectiva, a visão da esfera política é tida como essencialmente
negativa. Durante a implementação, para o formulador, as influências políticas
supostamente minam a racionalidade técnica dos planos e programas.
Contribuições recentes em torno da questão da implementação enfatizam os
elementos de aprendizagem 13, evolução,14 adaptação e da ‘’implementação como
decisão política”.
15
Outro elemento central dessas contribuições, é a consolidação da idéia de que é
necessário se ter uma visão estratégica dos problemas de implementação
incorporando questões críticas como
a viabilidade política de políticas e os
problemas de coordenação interorganizacional.
O que é comum a essas contribuições é a recusa à noção de implementação
como uma etapa subsequente à formulação – esta última entendida como uma
instância racional e compreensiva. A implementação é entendida como processo
autônomo onde decisões cruciais são tomadas e não só “implementadas”.
Conflitos interjurisdicionais entre órgãos e intituições, brechas e ambigüidades
13 Pressman , J. e H. Wildavsky , Implementation. Berkeley, University of California Press, 1984.
14 Majone , Giandomenico e A. Wildavsky “Implementation as evolution”, in Howard Freeman (org)
Policy Studies Review Annual, 1978, Sage.
15 Lindblom, Charles, The policy-making process, Prentice Hall, 1980.
10
NEPP-UNICAMP
legais, omissões de normas operacionais, além de outros fatores, permitem que
os executores de política tomem decisões relevantes para o sucesso da política.
Em algumas burocracias específicas – como é o caso daqueles agentes que
Lipsky 16 denominou street level bureaucrats: fiscais, agentes de trânsito, médicos
e enfermeiros nas unidades básicas de saúde, funcionários administrativos nos
balcões de atendimento da previdência social etc. – o espaço de discrição do
agente executor é muito grande, e o implementador toma as decisões cruciais de
uma política setorial, a tal ponto que a adesão normativa do implementador de
decisões é variável decisiva do seu sucesso.
A implementação, portanto, “cria” políticas: a implementação de políticas
constantemente orienta novas políticas
17
. Como a implementação implica em
tomada de decisões, ela própria se constitui em fonte de informações para a
formulação de políticas. A prática de análise de programas de governo revela que
apenas em raríssimos casos os formuladores de política decidem ex nihilo. As
decisões na maioria das políticas setoriais constituem apenas inovações em
relação a políticas existentes ou manutenção de políticas existentes realizando-se
ajustes incrementais de metas, recursos e prazos de execução.
Nesse sentido a idéia da avaliação como instrumento de correção de rota deve ser
substituída pela noção de avaliação como policy learning: o aprendizado na
implementação de uma política pública. A própria idéia da rota como trajetória
pré-concebida deve dar lugar à constante reformulação – no limite a reversão ou
substituição da política.
A implementação e avaliação de políticas devem ser
entendidas como testes de modelos causais sujeitos à corroboração ou ao
abandono.
Essa visão da implementação como correção de rota está fundada em uma
analogia pouco consistente entre a manufatura e as políticas públicas. Na
16 Lipsky, Michael , Street Level Bureaucrats, Russel Sage, 1980
17 Lindblom, Charles, The policy-making process, op. cit.
11
NEPP-UNICAMP
manufatura há uma clara divisão de trabalho entre as tarefas de concepção
(trabalho intelectual) e a execução ( trabalho manual) de um produto.
18
Uma
política pública no entanto deve ser vista como engenharia social. O policy cicle
deve ser visto como um campo estratégico no qual observa-se uma relativa
indistinção entre não só os implementadores e os formuladores, mas também a
população meta de uma programa. Na realidade, a forma de uso ou consumo dos
produtos da política altera
a política e à semelhança do que se afirmou em
relação aos implementadores ‘cria políticas’.
Vários conceitos tem sido propostos para capturar esse campo estratégico: a idéia
de redes de implementação, de estruturas de implementação19, etc. O conceito de
redes de implementação é particularmente apropriado para capturar o fato de que
as políticas públicas são implementadas fundamentalmente através de redes de
agentes públicos e, cada vez mais frequentemente, também por agentes não governamentais.20 A implementação quase nunca está a cargo de um agente
apenas e não ocorre no âmbito de uma organização apenas mas de um campo
interorganizacional.
Em suma, a visão da implementação como aprendizado é empiricamente mais
consistente do que as outras perspectivas discutidas anteriormente além de ser
normativamente mais persuasiva.
Contribuições recentes da literatura têm enfatizado também a dimensão política do
processo de implementação em uma perspectiva realista e positiva e não negativa
e utópica. A estratégia tecnocrática de se eliminar ou insular a política pública do
jogo político mais amplo tem efetivamente se mostrado irrealista e pouco
18 Mesmo essa visão está sujeita a críticas – as quais não podem ser desenvolvidas aqui por
razões de espaço.
19 Hjern, B. and D. Porter, “Implementation structures : a new unit for administrative analysis”,
Organizational Studies, 2, 1981.
20 Um conceito correlato de grande interesse na literatura organizacional contemporânea é o de
campo interorganizacional .Cf. Chisholm, D. Coordination without Hierarchy: informal structures
in multiorganizational fields, University of California Press, 1989.
12
NEPP-UNICAMP
democrática. Irrealista porque toda ação ou intervenção governamental através
de programas e projetos é constitutivamente política: ela distribui custos e
benefícios, utiliza recursos coletivos e é formulada por autoridades públicas. Por
outro lado, a estratégia de insulamento pressupõe que as burocracias
governamentais são desinteressadas e racionais, e portanto portadoras do
interesse
coletivo,
enquanto
que
particularismos e corporativismo.
o
jogo
político
caracterizar-se-ía
por
Essa estratégia também parece pouco
democrática porque restringe a participação, a informação e o controle social.
Ao se reconhecer o jogo político como essencial à vida democrática e fundamental
para o controle social da ação do governo, contribuições recentes tem enfatizado
a importância de se incorporar os stakeholders - grupos envolvidos pelas políticas
e nela interessados - ao processo de formulação e implementação de políticas.
Nesse sentido, tem-se revelado fundamental os mecanismos de ownership da
política por setores estratégicos e que lhes dêem sustentação política e
legitimidade.21
O desenho estratégico das políticas deve incluir a identificação dos atores que dão
sustentação à política e mecanismos de concertação e negociação entre tais
atores.
Sem tais atores, políticas públicas de caráter redistributivo, como os
programas na área social, tendem a se sustentar apenas na adesão fortuita e
muitas vezes oportunista de setores das burocracias especializadas, o que lhes
confere pouca legitimidade social e baixa sustentabilidade.
O policy cycle nessa perspectiva (Figura 3), não pode ser concebido de forma
simples e linear, nem pode, por definição, possuir um ponto de partida claramente
definido. Ele é melhor representado por redes complexas de
formuladores,
implementadores, stakeholders e beneficiários que dão sustentação a política; e
21 Sabatier foi um dos autores que introduziu a nova linguagem da política pública, onde são
centrais os conceitos de advocacy coalitions e stakeholders. Cf. Sabatier, Paul e Jenkinssmith, H.C. eds. Policy change and learning : an a dvocacy coalition approach, Westview Press,
1993.
13
NEPP-UNICAMP
por “nós” críticos. Esses “nós” ou “elos críticos” representam os pontos no tempo
onde questões referidas ao processo de sustentação política dos programas, de
coordenação interinstitucional e de capacidade de mobilizar recursos institutionais
se conjugam. Nesse momento de conjugação se produz uma espécie de “crise”,
concretizada no processo de tomada de uma decisão crítica por uma ator
estratégico, cujo desenlace impele o programa em uma direção nova.
A implementação
como jogo
Nós críticos
Rede de Implementadores
Formuladores, Stakeholders
e Beneficiários
Figura 3. O policy cycle como aprendizado
Esse momento de “crise” representa um momento de aprendizado na dinâmica do
programa.
Deve-se destacar a importância dos mecanismos de coordenação interinstitucional
para a implementação de políticas públicas em ambientes institucionais
democráticos, descentralizados e com um mix fortemente diferenciado de agentes
14
NEPP-UNICAMP
implementadores. Vale ressaltar que, em um plano mais geral, esses traços
distintivos caracterizam o contexto de pós-reforma do estado no formato em esta
última vem sendo implementada em muitos países.
A implementação passa a estar
governança (governance).
fortemente imbricada em estruturas de
Governança entendida enquanto regras do jogo e
arranjos institucionais que dão sustentação à cooperação, à coordenação e a
negociação.
Se as duas visões mais tradicionais do policy cycle mostravam-se pouco
consistentes em termos de representação adequada de processos empíricos, em
casos em que as políticas públicas são formuladas e implementadas ocorrem em
ambientes marcados por transformações estruturais no sentido do que poder-se-ía
denominar sua ‘horizontalização’ , tais visões revelam-se profundamente
deficientes.
Quando o policy cycle ocorre em um ambiente organizacional em que agentes de
mercado, atores estatais, e instituições não-governamentais interagem fortemente
as noções de hierarquia e controle fazem pouco sentido. Elas dão lugar à
negociação,
barganha
e
troca
enquanto
princípios
organizadores
da
implementação. 22 E mais que isso da própria formulação de políticas.
Em contextos democráticos em que instâncias de controle através do parlamento
e órgãos auxiliares se fortalecem, e nos quais novos mecanismos de participação
e controle social são criados, as noções de um núcleo racional formulador de
propostas a serem implementadas dão lugar a mecanismos de deliberação,
engenharia social e aprendizagem coletiva.
22 Powell, Walter 1990 "Neither market nor hierarchy: Network forms of organization." In B. M.
Staw and L. L. Cummings (eds.), Research in Organizational Behavior, 12. JAI Press.
15
NEPP-UNICAMP
A visão de implementação enquanto aprendizado e articulada em uma rede
agentes constitui um quadro de referências que permite uma representação mais
consistente dos mecanismos de implementação de políticas, particularmente em
contextos com essas características.
O desenho de estruturas de incentivo que promovam arranjos cooperativos em
redes de implementação representa um das tarefas centrais para a reforma do
estado.
É, portanto, essa visão do processo de implementação e da avaliação como parte
constitutiva do policy cycle que deve informar as reflexões sobre os determinantes
centrais da intervenção estatal e que devem ser considerados numa estratégia
metodológica de avaliação dirigida ao gestor de programas sociais no Brasil.
16
COMBATER A POBREZA ESTIMULANDO
A FREQÜÊNCIA ESCOLAR: O ESTUDO
DE CASO DO PROGRAMA BOLSA-ESCOLA
DO RECIFE
Lena Lavinas
Maria Ligia de Oliveira Barbosa
COMBATER A POBREZA ESTIMULANDO A FREQÜÊNCIA ESCOLAR:
O ESTUDO DE CASO DO PROGRAMA BOLSA-ESCOLA DO RECIFE*
Lena Lavinas
Maria Ligia de Oliveira Barbosa
BRASIL: A NOVIDADE DOS PROGRAMAS DE TRANSFERÊNCIA
DE RENDA ÀS FAMÍLIAS POBRES
A segunda metade dos anos 90 no Brasil traz novidades relevantes em matéria de
política social. Com o fortalecimento do processo de democratização do país, notadamente
através das eleições para os governos municipais, estaduais e federal, e com a descentralização
federativa adotada em 1988 pela nova Constituição cidadã, propiciando maior autonomia políticoadministrativa e fiscal para as instâncias subnacionais, o debate acerca das desigualdades
sociais do país ganha fôlego novo e também um novo quadro institucional.
A idéia de que além da insuficiência de renda, a pobreza é derivada do déficit agudo
na provisão de serviços públicos essenciais como saúde, educação, habitação e saneamento
básico coloca em questão as formas tradicionais de fazer política social. O lema de que o país
gasta razoavelmente com o social (19% do PIB), mas gasta mal, e de que os recursos públicos
não chegam à parcela mais carente da população levam à adoção de experiências inovadoras
especialmente nas administrações locais progressistas. Surge, assim, o orçamento participativo
em algumas prefeituras de esquerda1, onde através da concertação entre entidades da
sociedade civil e governo se busca aumentar o controle social na alocação de parcela crescente
dos recursos públicos; multiplicam-se os programas de segurança alimentar centrados na venda
subsidiada de alimentos para os grupos de risco e na intervenção regulatória de preços; e
programas de garantia de renda mínima à população carente são adotados como forma de aliviar
a pobreza e tentar reduzir a desigualdade.
A idéia de se prover uma renda mínima à parcela pobre da população é introduzida
no Brasil na década de 70, mas só nos 90 torna-se verdadeiramente elemento importante do
debate nacional sobre o combate às desigualdades, quando o senador Eduardo Suplicy, do
Partido dos Trabalhadores ¾ PT, apresenta projeto de lei visando à adoção de um programa
*
Esta pesquisa foi financiada conjuntamente pela Organização Internacional do Trabalho ¾ OIT ¾ Brasil e pelo
Banco Mundial, e faz parte de um trabalho mais amplo de análise dos impactos dos programas de renda
mínima que vêm sendo implementados com sucesso no Brasil. Contou com a valiosa colaboração da equipe
técnica responsável pela execução do Programa Bolsa-Escola da cidade do Recife, a quem agradecemos.
Daniele Manão e Mariana Bittar, economistas e assistentes de pesquisa do Instituto de Pesquisa Econômica
Aplicada ¾ IPEA colaboraram em todas as fases da pesquisa, inclusive na redação deste artigo.
de garantia de renda mínima para todos os brasileiros adultos (mais de 25 anos), com renda
familiar per capita mensal inferior a R$ 240,00 (US$ 141)2. Sua proposta é que se atribua um
benefício mensal equivalente a 30% da diferença entre a renda do indivíduo carente e o valor
acima, instituído como uma espécie de linha de pobreza nacional.
A esta tese é contraposta outra modalidade de transferência de renda monetária,
dirigida não aos indivíduos pobres, mas às famílias pobres com filhos em idade escolar. Esta
iniciativa, que cabe ao economista José Márcio Camargo, propõe a concessão de um
benefício mensal no valor de um salário mínimo a toda família, sem limite de renda, que
tenha seus filhos matriculados no ensino público fundamental. O argumento em favor dessa
modalidade focalizada de transferência de renda monetária se apóia na compreensão de que
o fator com maior poder explicativo na reprodução do ciclo vicioso da pobreza é a pouca
escolaridade. De fato, o atraso escolar é ainda elevado no Brasil, embora declinante:
segundo a Pesquisa Nacional por Amostra de Domicílios ¾ PNAD3 -1998, um jovem de 14
anos que deveria ter concluído o ensino fundamental (oito anos de escolaridade), acumulou
2,94 anos de atraso. A população adulta brasileira (mais de 25 anos) detém, em média, 5,6
anos de escolaridade e somente a capital da República, Brasília, registra em 1998,
desempenho satisfatório no que tange à conclusão do ensino fundamental: em média, seus
habitantes alcançaram oito anos de estudo, concluindo o primeiro grau.
Evidentemente, se tomarmos apenas a franja mais pobre da população, os
indicadores mostram-se dramáticos, situando-se muito abaixo4 da média brasileira, revelando
graves desvantagens acumuladas. A título de exemplo, vale citar o caso de Recife ¾ nosso
estudo de caso no âmbito deste artigo ¾ , onde as crianças com 14 anos de idade vivendo
em famílias cuja renda per capita é inferior a meio salário mínimo (R$ 60,00 ou, à época, US$
37) registravam, em 1997, atraso escolar de 4,3 anos e aquelas de famílias com renda menor
que 1/3 do salário mínimo, cinco anos (Lavinas e Barbosa, 2000).
Esse formato de programa de garantia de renda mínima, assemelhado a um
salário-família condicionado à freqüência escolar, tal qual uma bolsa de estudos, foi
inicialmente implementado com sucesso na gestão do governador Cristóvam Buarque5, no
Distrito Federal, a partir de 1994. Ao final de seu governo, em 1998, o Programa Bolsa-Escola
chegou a contemplar 26 mil famílias, cerca de 80%6 do público-alvo potencial calculado com
base na linha de pobreza de meio salário mínimo per capita (US$ 38). Pela primeira vez, um
programa social alcançava escala e cobertura capazes de gerar impacto efetivo junto à
população carente e desprezada pelas políticas públicas. O benefício mensal no valor de um
salário mínimo (R$ 130,00 ou US$ 76) ¾ transferência direta de renda monetária e de valor
elevado para os padrões da política assistencial brasileira, tradicionalmente assentada na
distribuição de alimentos in natura e "proteção" clientelista ¾ permitiu retirar da pobreza
aguda mais de 10 mil famílias, contribuiu para focalizar o gasto social em ações de combate à
pobreza (ver Lavinas, 1998), ampliando seu impacto redistributivo ¾ o gasto per capita
passou entre 1995-97 de R$ 113,00 (US$ 78) para R$ 279,00 (US$ 168), enquanto o gasto
social geral se manteve em torno a R$ 450,00 (US$ 281) ¾ , reduziu a zero a taxa de evasão
escolar entre os alunos bolsistas bem como jogou sua taxa de repetência para níveis
inferiores à média da capital da República. Tudo isto, comprometendo menos de 1% da
receita orçamentária anual do Distrito Federal.
Diante de resultados efetivos e custos baixos, e na ausência de trade-offs
perversos que costumam afetar negativamente a eficácia de grande parte dos programas
sociais, o Programa Bolsa-Escola do D.F. passou literalmente a fazer escola no país.
Atualmente, uma boa centena de municípios7 replica esse modelo descentralizado, sem
atentar, infelizmente, para aspectos importantes do seu desenho e forma de execução e
monitoramento. Na sua grande maioria, esses programas atendem a uma pequena fração da
demanda, gerando iniqüidades junto à população pobre; adotam um valor irrisório de
benefício ¾ quando não substituem o benefício monetário por alimentos, fornecimento de gás
de cozinha ou outro tipo de doação in natura ¾, de impacto quase nulo na redução da
pobreza de curto prazo; não garantem continuidade pois se comprometem a manter o
benefício apenas por um ou dois anos, posto que não há metas definidas a serem
alcançadas, nem coordenação do ponto de vista da política social como um todo. Isto,
evidentemente, compromete a eficácia do instrumento e deixa entrever que dificilmente se
poderá superar a situação de pobreza que aflige a população desassistida. A quase
totalidade das leis municipais ou estaduais de adoção de Programas Bolsa-Escola não tem
por objetivo levar à conclusão do ensino fundamental, mas tão-somente "retirar crianças da
rua", o que reforça o caráter assistencial desses programas em detrimento do seu impacto
redistributivo. Há cidades onde se pratica o turnover dos pobres em função das restrições
orçamentárias: uns são contemplados por um ano, cedendo lugar ao final desse prazo a
outras famílias. Assim, uns passam a ganhar enquanto outros voltam a perder, em um jogo
de soma zero, onde tudo é temporário, menos a miséria.
Às vésperas das eleições para a Presidência da República em 1998, o Ministério da
Educação também lançou um programa de garantia de renda mínima, focalizado
geograficamente: os municípios com renda e receita tributária per capita inferior à média do seu
estado poderiam integrar uma parceria com o governo federal, que financiaria metade dos custos
de um Programa Bolsa-Escola, novamente vinculando o recebimento do benefício à freqüência
obrigatória à escola. Em dezembro de 1999, segundo fontes ministeriais, 504 mil famílias em 1/5
dos municípios brasileiros em sua maioria situados em áreas rurais recebem um benefício
mensal cujo valor varia, mas é estimado em média em R$ 37,00 (US$ 20). Mais de um milhão de
crianças estariam participando do Programa. Ignora-se, no entanto, como ele atua na redução da
pobreza e na valorização do ensino e no melhor desempenho educacional dos bolsistas. Até a
presente data, o governo federal não procedeu a nenhuma avaliação conseqüente dos resultados
do Programa, além de enfrentar dificuldades orçamentárias e operacionais para estender sua
cobertura nacionalmente, o que está previsto para 2003.
Ainda por iniciativa do governo federal, o Bolsa-Escola tem-se tornado instrumento
importante no combate ao trabalho infantil precoce nas carvoarias, zonas de corte da cana,
colheita do sisal e outras atividades que comprometem o desenvolvimento físico-social das
crianças. No âmbito do Programa de Erradicação do Trabalho Infantil ¾ PETI8, passou-se a
atribuir um benefício mensal às famílias cujas crianças estavam envolvidas em atividades
penosas e de alto risco, de forma a substituir a pouca, mas tão indispensável,
complementação de renda que elas proporcionam com seu trabalho. Esse valor era
equivalente a R$ 50,00 (US$ 27) até abril de 2000, quando o governo julgou tratar-se de cifra
elevada para as áreas rurais, cortando-a pela metade: atualmente o benefício situa-se em R$
25,00 (US$ 13), o que significa reduzir drasticamente o potencial de diminuição da indigência
no curto prazo, cujos índices são alarmantes nas áreas rurais do Brasil.
Mais grave, no entanto, é o uso clientelista que vem sendo dado a programas de
transferência de renda em algumas cidades, colocando em risco uma modalidade de atuação
no combate à pobreza cujos impactos positivos se mostraram efetivos, como no caso do
Distrito Federal9. É o caso do Rio de Janeiro, onde o governo do estado desenvolve
simultaneamente dois tipos de programa de renda mínima. Um deles, de caráter
experimental, coordenado pela Secretaria Estadual de Educação, atende a um número
pequeno de crianças (mil) em duas favelas da cidade. Paralelamente, o governo do estado,
contrariando princípios seculares de cidadania, repassa a igrejas evangélicas o "cheque
cidadão", que funciona como um food stamp: trata-se de um cheque no valor de R$ 100,00
(US$ 70) que pode ser trocado por alimentos ou outros bens em lojas cadastradas na rede de
fornecedores do governo. As igrejas evangélicas, por sua vez, selecionam entre seus "fiéis"
aqueles que podem beneficiar-se desse "dom" do estado, com base em critérios religiosos,
morais, comportamentais, desfigurando por completo um programa que já deu provas de sua
eficiência e eficácia como forma de combate à pobreza e de renovação do acervo pálido e
desgastado da política social brasileira.
Diante de tantas descaracterizações de uma modalidade de programa social cuja
novidade e efetividade pareciam superar suas debilidades, nada mais oportuno do que
retomar com o rigor e a profundidade necessários à avaliação de um Programa Bolsa-Escola,
destacando seu potencial inovador diante da pobreza das formas tradicionais de política
social. Assim, no âmbito deste artigo, tentaremos apontar os elementos positivos, bem como
os limites, encontrados no Programa Bolsa-Escola da prefeitura do Recife, onde os índices de
pobreza se situam entre os mais elevados do país.
Cabe assinalar, de antemão, que a escolha do Recife decorreu das condições de
rigor, seriedade e transparência que presidiram a formulação, implementação e execução do
Programa Bolsa-Escola municipal, sem o que teria sido impossível proceder a esta avaliação,
com a metodologia adotada. A maioria das experiências similares em curso não dispõe de
uma metodologia prévia que permita uma avaliação rigorosa dos seus resultados.
O PROGRAMA BOLSA-ESCOLA DO RECIFE
Desenho do Programa
O Programa Bolsa-Escola em Recife10 foi criado através da Lei 16.302, de
23/5/1997, e regulamentado pelo Decreto 17.665/97. O órgão gestor é a Secretaria de
Educação que atua por intermédio de uma comissão executiva ¾ formada por representantes
das Secretarias de Educação, da Saúde, de Políticas Sociais, de Finanças e da
Coordenadoria da Criança e do Adolescente ¾ e de comissões locais criadas em cada uma
das regiões administrativas. Este programa se inspirou na experiência bem-sucedida do
Programa Bolsa-Escola do Distrito Federal.
Estabeleceu-se a concessão de um auxílio financeiro às famílias em condições de
carência material e precária situação sociofamiliar que se obrigassem a matricular e manter
na escola crianças entre 7 e 14 anos. O programa definiu como público-alvo famílias com
renda familiar per capita mensal inferior a 1/3 do salário mínimo (R$ 40,00 ou US$ 24 à época
de sua criação) e com crianças na faixa etária de escolaridade obrigatória (ensino
fundamental: 7-14 anos). É também necessário que a família seja domiciliada na cidade por
no mínimo cinco anos.
Além destes critérios, é dada prioridade a famílias com crianças que estejam fora
da escola porque precisam trabalhar, ou para aquelas cujas crianças estejam desnutridas,
sob medida de proteção social ou, ainda, estejam sendo atendidas por programas
socioeducativos. Do mesmo modo, dá-se preferência a famílias com maior número de
dependentes, idosos ou pessoas portadoras de deficiências, que sejam, portanto, incapazes
de prover o próprio sustento. Famílias monoparentais femininas também têm prioridade na
seleção, dada a imensa vulnerabilidade e desalento em que se encontram.
Como contrapartida, além da freqüência obrigatória à escola, os pais ou
responsável desempregados, mas não incapacitados de exercer atividades profissionais,
devem comprovar inscrição em curso profissionalizante e/ou programa de emprego. Quando
selecionadas, as famílias obrigam-se a fazer uma declaração de responsabilidade na qual o
chefe da família se compromete a dar uma correta destinação ao benefício recebido.
Até maio de 2000, eram atendidas pelo programa 1.604 famílias. Há dois valores
de benefício, em função do número de filhos. Transfere-se 1/2 salário mínimo para famílias
com apenas um filho em idade escolar e um salário mínimo11 para famílias com dois ou mais
filhos matriculados e freqüentando a escola. O benefício tem duração de um ano, podendo
ser renovado por mais um após uma reavaliação da situação socioeconômica da família
beneficiária. Até o presente momento, no entanto, o prazo de permanência tem sido
automaticamente prorrogado, sem prejuízo de nenhuma família. O pagamento da bolsa só é
suspenso, de fato, caso um ou mais filhos apresente freqüência mensal à escola inferior a
90%. Se a freqüência for normalizada, o pagamento é restabelecido12. O pagamento é
sempre feito nominalmente à mãe, seja nas famílias monoparentais femininas, seja nas
famílias nucleares, como forma de assegurar uma alocação mais eficiente do recurso.
Os recursos empenhados no Programa têm origem no orçamento municipal. O
gasto anual com o benefício é estimado em cerca de R$ 1,7 milhão anuais ou US$ 933 mil
em 1999. Isto representa tão-somente 0,3% do orçamento municipal executado. Não há teto
orçamentário estipulado por lei para gastos com o Programa, praxe13 na maioria das
prefeituras (onde tal limite é a forma de evitar o aumento exponencial do gasto social
municipal diante de uma demanda potencial muito elevada).
Grau de Cobertura do Programa
Observadas as características gerais do desenho do Programa, passamos a
estudar a demanda potencial, utilizando-nos, sobretudo, dos dados da PNAD-1997.
Pretendemos, assim, estimar o número de famílias pobres do Recife que poderiam constituir,
naquele ano, o universo possível de beneficiários do Programa.
O gráfico 1 destaca as famílias que estão nos quatro primeiros décimos da
distribuição de renda naquele município, ordenadas segundo a renda familiar per capita
mensal. Dentre os 40% mais pobres, a renda máxima registrada é de R$ 100,00 (US$ 61).
Constata-se que, em Recife, há um grande número de famílias com renda familiar
per capita inferior à linha de meio salário mínimo ¾ 27,2% do total de famílias no município
ou, em números absolutos, quase 100 mil famílias (tabela 1). A escolha da linha de R$ 60,00
ou US$ 37 justifica-se pelo fato de este valor corresponder ao custo médio nacional de
aquisição de 2.200 kcal/dia mensais (Lavinas et alii, 2000) em 1997. Portanto, o universo de
100 mil famílias delineado com base na linha de R$ 60,00 cobre, na verdade, a população
indigente da capital, cujo déficit de renda de tão acentuado as coloca em situação de risco
alimentar. Dentre as famílias que se encontram abaixo dessa linha, distinguimos dois
subconjuntos: todas as famílias pobres e aquelas com filhos na faixa etária de 7 a 14 anos,
uma vez que o Programa Bolsa-Escola se destina exclusivamente a famílias com
dependentes em idade escolar obrigatória (pela tabela 1, observa-se que seu número cai
para 46 mil famílias). Assim, se fôssemos contabilizar como clientela potencial do Programa
as famílias consideradas indigentes com base em uma linha específica de pobreza, teríamos
uma demanda potencial de 100 mil famílias, demanda esta reduzida para 46 mil no caso de
um benefício em forma de bolsa de estudo. Mais da metade (54%) das famílias carentes com
crianças em idade pré-escolar ou constituídas unicamente por adultos foi discriminada
negativamente, não podendo habilitar-se a participar do programa.
Essa sobrefocalização, porém, é ainda mais restrita e excludente, uma vez que a
habilitação ao Programa, por lei, se limita a famílias com renda familiar per capita inferior a
R$ 40,00 ou US$ 24. Se não considerarmos o critério de presença de crianças em idade
escolar, há em Recife 64.754 famílias abaixo dessa linha de pobreza. Mas se aplicarmos os
critérios do Programa, limitando o benefício somente a famílias com dependentes em idade
escolar apenas 8,8 mil famílias poderiam habilitar-se.
Resumidamente, podemos afirmar que a sobreposição de critérios de focalização
acaba por anular o desenho inicial do Programa, afetando grandemente sua cobertura. Como
vimos nos exercícios praticados, o público potencial reduz-se de quase 100 mil famílias em
Recife para cerca de 8,8 mil. Portanto, a exclusão é mais abrangente que a cobertura
oferecida, pois apenas 9% das famílias indigentes poderiam habilitar-se ao Programa,
respeitando seus critérios de seleção e, destas, na verdade, menos de 2% foram até maio de
2000 verdadeiramente contempladas (ver tabela 2).
Características das Famílias Beneficiárias
Para fazer uma caracterização do perfil social das famílias atendidas pelo BolsaEscola do Recife, utilizamo-nos do cadastro realizado na fase inicial de implementação do
Programa que visava identificar e selecionar seu público-alvo. Este cadastro, gerido pela
Secretaria de Educação, reúne informações sobre as condições de vida e renda de 1.600
famílias14 hoje atendidas pelo Programa Bolsa-Escola. Tais informações foram coletadas na
fase anterior à sua integração ao Programa (tempo 0).15
A primeira constatação a ser feita tendo por base essa amostra16 é que a quase
totalidade dos requerentes é do sexo feminino (93%), o que é uma decorrência do fato de as
mães das crianças bolsistas serem, pela regra, as responsáveis familiares que devem
solicitar vinculação ao Programa e a quem se destina diretamente o benefício.
A tabela 3 apresenta uma síntese das características das famílias que se tornaram
beneficiárias do Programa no momento (tempo 0) imediatamente anterior a serem
contempladas com o benefício. Como esperado, entre a parcela mais carente da população,
é elevado o percentual de famílias monoparentais femininas (41%), sobretudo se comparado
à média brasileira (em torno de 24%, como se pode verificar nos dados da PNAD-1997). Este
quadro pode ser explicado pelo fato de as famílias que têm à frente uma única mulher
estarem mais propensas à situação de extrema pobreza, principalmente por dependerem de
uma única fonte de renda, quase sempre instável e insuficiente, e pelo fato de serem as
mulheres altamente discriminadas no mercado de trabalho brasileiro.
As famílias beneficiadas são constituídas, em média, de cinco membros. A renda
familiar per capita média mensal foi estimada em R$ 17,00 ou US$ 9,17 nível extremamente
baixo, muito aquém do mínimo vital. Vale lembrar que a renda é um dos principais critérios de
seleção do Programa, sendo habilitadas a receber o benefício somente as famílias cuja renda
familiar per capita é inferior a 1/3 do salário mínimo. Tomando como referência o ano de
1997, quando 1/3 do salário mínimo correspondia a R$ 40,00 (US$ 24 aproximadamente),
notamos que é pequeno (5%) o percentual de famílias beneficiadas cuja renda é superior a
essa linha local de pobreza. Constatamos, assim, que o critério de renda estabelecido pelo
Programa é amplamente atendido, uma vez que a focalização alcança as camadas
extremamente pobres da população que sofrem grau agudo de privação. No entanto, se a
focalização atende prioritariamente aos que vivem miseravelmente, está longe de atender a
todos nessa mesma situação.
Quanto ao grau de escolaridade, é predominante o número de mães que nem
chegaram a cursar a primeira série do primeiro grau (17% são analfabetas e 42%
consideram-se apenas alfabetizadas). Não deixa de ser surpreendente constatar que
praticamente nenhuma mãe conseguiu concluir o primeiro grau.
O acesso à infra-estrutura básica mostra-se menos deficiente do que se poderia
imaginar, tratando-se de parcela tão pobre da população. A única exceção fica por conta do
acesso à rede de esgoto, cuja provisão só é garantida a 65% das famílias. Em contrapartida,
o percentual de famílias que declarou ter água encanada no domicílio foi de 87% e luz
elétrica, 95%. Percentuais elevados de acesso à água e à luz podem ser explicados por
Recife ser uma região metropolitana e haver, principalmente no caso de luz elétrica, ligações
clandestinas e desmembramentos de relógios para casas diferentes, o que torna "gratuito" ou
mais barato este serviço.
A posse de bens duráveis por parte das famílias pode contribuir igualmente para
estimar o índice de carência. O item mais citado em matéria de bens duráveis de consumo foi
fogão a gás (90%), seguido por liquidificador (60%), geladeira (praticamente 60%) e TV a
cores (52%). Vale notar que carro e outros bens patrimoniais não aparecem por ocasião do
processo de seleção das famílias para inserção no Programa.
As tabelas 4 e 5 mostram a situação ocupacional das mães e dos pais dos
bolsistas no mercado de trabalho. O percentual de mães ativas é de 40%, sendo que apenas
8% trabalham em atividades formalizadas. Como se observa na tabela 4, as mães inativas
são em grande maioria donas de casa. A taxa de desemprego das mães mostra-se altíssima
(46%), atingindo percentual maior do que o dobro do desemprego registrado para os
cônjuges ou os pais (20%). Este perfil mostra quão difícil é para essas mulheres ter um
emprego ou mesmo uma ocupação, inclusive informal. O direito ao trabalho lhes é
praticamente negado.
De acordo com a tabela 5, quase 70% dos cônjuges (ou pais) são ativos, muito
embora apenas uma parcela muito pequena (16%) esteja no mercado formal de trabalho. O
percentual de cônjuges inativos é baixo (6%), enquanto a taxa de desemprego observada
para esse grupo quase integralmente masculino é de 20%, igualmente alta.
A leitura das duas tabelas em conjunto sugere que as oportunidades de acesso ao
mercado de trabalho por parte das famílias beneficiadas, sobretudo a um emprego formal,
são extremamente reduzidas.
Quantos e quem são as crianças e adolescentes que vivem nessas famílias? São
em número de 4.813, somando-se todas as faixas etárias. Para apresentá-los, vamos por ora
nos limitar a um indicador, de modo a fornecer pelo menos um traço básico de como são
afetados pela extrema precariedade em que vivem. Esse indicador diz respeito ao atraso
escolar e pode ser visualizado na distribuição das 2.99018 crianças em idade escolar ao longo
das oito séries que constituem o ensino fundamental.
O gráfico 2 mostra a distribuição das crianças pertencentes às famílias-alvo do
Programa, segundo a série em que estão matriculadas. Na faixa de 7 a 10 anos de idade, há
uma tendência à adequação idade-série: mesmo apresentando algum atraso, diminui o
número de crianças na 1ª série e aumenta gradativamente nas séries seguintes. A partir de
11 anos, a situação se agrava pois vai se reduzindo o percentual de alunos na série "correta":
assim, apenas 10% das crianças com 11 anos estão na 5ª série, 7% das de 12 na 6ª, até
chegar nos 3% das de 14 anos na 8ª série. O quadro é dramático, mesmo se somarmos as
crianças na série imediatamente anterior:
11 anos ¾ 31% na 4ª e 5ª séries
12 anos ¾ 27% na 5ª e 6ª séries
13 anos ¾ 13% na 6ª e 7ª séries
14 anos ¾ 11% na 7ª e 8ª séries
Estes números revelam como a escola vai progressivamente provocando a
exclusão social: as crianças pobres vão sendo retardadas através da intensificação do atraso
escolar e, mais tarde, provavelmente, abandonam a escola. Esse indicador mostra a
gravidade do problema no que tange à escolaridade das crianças oriundas de famílias que
vivem em situação de grave privação. Como indica o Gráfico 2, apenas parcela ínfima dos
jovens de 14 e 15 anos concluiu o ensino fundamental, isto é, 3% e 2%, respectivamente.
Como se pode verificar, o quadro de miséria da população-alvo do Programa é
crítico, o que sugere quão difícil será revertê-lo de forma definitiva. Sabemos, a priori, que um
programa com esse desenho não tem chances reais de vencer os limites impostos pela lógica
de reprodução da pobreza. Cabe, no entanto, estimar seus impactos. Dois deles nos
interessam prioritariamente: qual o efeito da Bolsa na mobilização das famílias e da escola
em prol da escolarização das crianças? Qual a incidência da Bolsa na redução do grau de
pobreza dessas famílias?
OS IMPACTOS EDUCACIONAIS E SOCIAIS: PRIMEIRAS EVIDÊNCIAS
Critérios para a Focalização Geográfica e Seleção dos Alunos
A avaliação dos impactos educacionais do Programa Bolsa-Escola da Prefeitura da
Cidade do Recife é feita em três eixos principais de análise: no plano das famílias,
examinando em que medida a participação no Programa altera a relação do grupo familiar
com a escola; no âmbito do desempenho objetivo, quando se examina o possível diferencial
de aprendizado favorável aos alunos que fazem parte do Bolsa-Escola; na esfera da escola,
onde se examina qual o tipo de contribuição que esta instituição pode dar para um programa
com os objetivos do Bolsa-Escola. Para isto, são analisadas as condições institucionais de
implementação do Programa e a natureza das relações que se estabelecem entre a direção
do mesmo, o sistema escolar e as crianças participantes.
Podemos iniciar a análise das condições institucionais pela discussão do que podemos
chamar, na falta de termo melhor, da questão da "escola como um valor" na definição do
Programa. Como outras propostas políticas semelhantes, o Bolsa-Escola do Recife é orientado
por uma concepção de cidadania que inclui a escola como um direito fundamental. E, mais que
isso, incorporando conhecimentos produzidos na área, procura assegurar, mais que o acesso,19 a
permanência das crianças na escola. A associação entre o recebimento do pagamento e a
freqüência à escola é, por si só, um avanço que deve ser reconhecido.
É importante notar também que um dos elementos que foram usados para justificar
a necessidade do Programa foi a informação sobre as elevadíssimas taxas de repetência e
evasão nas redes escolares públicas do Recife, fato bastante comum entre as camadas mais
pobres da população brasileira, já constatado nos estudos pioneiros de Sérgio Costa Ribeiro
e Rubem Klein sobre os fluxos escolares. Assim, o principal objetivo do Programa é "propiciar
a admissão e permanência, na escola municipal, de crianças de 7 a 14 anos de idade,
oriundas de famílias em condições de carência material e precária situação social e familiar"
(Prefeitura da Cidade do Recife, 1999:4).
Os índices de repetência e evasão foram utilizados como critério para definir a
Região Político-Administrativa ¾ RPA 1 como área a partir da qual se iniciaria a implantação
do Programa Bolsa-Escola em Recife, em setembro de 1997. Nesta RPA, verificavam-se, até
1997, os maiores índices de repetência e evasão da capital pernambucana. Os dados da
Tabela 6 oferecem um panorama geral dessas taxas bem como sua evolução nos anos
anteriores ao início do Programa.
Como se pode verificar, há uma tendência (leve) à redução da evasão e uma outra,
esta bem mais acentuada, à intensificação da repetência. São tendências comuns ao sistema
municipal de ensino no Recife. No entanto, merecem ser destacadas porque podemos
encontrar nos dados de 1998 uma pequena mudança que poderia ser vista como um primeiro
resultado positivo da implantação do Bolsa-Escola a partir da RPA1: esta perdeu seu lugar de
campeã dos indicadores de baixo desempenho escolar. Em 1998, embora permaneça a
tendência de redução da evasão, reverte-se aquela relativa à repetência. Em todas as RPAs
há uma diminuição nas taxas de reprovação. O indicador que pode significar um impacto
diferencial do Programa Bolsa-Escola no plano escolar é que a redução da taxa de repetência
na RPA1 foi mais significativa que nas outras regiões administrativas, assumindo o segundo
lugar no ranking dos piores desempenhos. No que diz respeito à evasão, a RPA1 passou a
ser a terceira colocada (tabela 7).
Evidentemente, a mudança de tendência das taxas de repetência não pode ser
atribuída tão-somente ao Bolsa-Escola, sendo, com muita probabilidade, resultado de
políticas específicas desenvolvidas na rede municipal, como vem acontecendo em outros
estados e municípios brasileiros. Mas o fato de a situação da RPA escolhida como foco inicial
do Programa ter se alterado de forma mais expressiva pode ser um indicador dos efeitos
positivos desse Programa. Para a confirmação deste fato como uma tendência deveríamos
examinar os números relativos a 1999 que, no entanto, não foram ainda disponibilizados pela
Secretaria de Educação. Mais importante que esses indicadores de tendência do sistema de
ensino, que podem incluir uma diversidade muito ampla de fatores causais, será a análise do
desempenho dos alunos, pois permitirá controlar as variáveis classicamente associadas ao
desempenho escolar e, assim, avaliar de maneira mais precisa os impactos efetivos do
Bolsa-Escola no plano propriamente educativo.
A escolha de critérios escolares para a focalização geográfica do Programa mantémse em processo de expansão, com a priorização das RPAs 2, 5 e, finalmente, 4, que apresentavam piores indicadores (ver tabela 7) escolares do que a RP1, exatamente nesta ordem.
Se considerarmos o conhecimento disponível sobre as taxas de evasão e repetência –
que permite associar os níveis elevados desses indicadores com situações mais precárias do
ponto de vista socioeconômico ¾ , deve-se assinalar o acerto da escolha desse índice como fator
de decisão. Escolhendo áreas urbanas com maiores proporções de alunos repetentes ou
evadidos, os responsáveis pelo Bolsa-Escola delimitaram provavelmente os espaços socialmente
mais carentes. Isto poderá ser comprovado com os estudos sobre o índice de desenvolvimento
humano que vêm sendo elaborados na Secretaria de Planejamento da Prefeitura.
Podemos dizer também que esse procedimento coloca a escola como instituição
central na implementação do Programa. No entanto, surge aqui um problema relativamente
importante: apesar dessa centralidade, o desempenho escolar é um critério apenas
legitimador da política. Isto é, os maus resultados dos alunos justificam a concessão da
bolsa,20 mas não se exige nenhum tipo de acompanhamento do aprendizado das crianças a
partir do momento em que se tornam bolsistas. Mesmo que o desempenho não se
transformasse em critério para a manutenção da Bolsa ¾ e concordamos com esse princípio,
uma vez que as técnicas de avaliação do aprendizado ainda são objeto de muitas dúvidas ¾
é possível imaginar que uma verificação mais estrita dos padrões de desempenho tivesse
resultados positivos tanto da parte dos alunos quanto dos professores, e da escola como um
todo. E este tipo de trabalho poderia significar uma efetiva centralidade da escola no
Programa. O monitoramento do desempenho dos bolsistas não deve ter papel coercitivo nem
sancionador, mas servir para acompanhar a qualidade da oferta do serviço que está sendo
dado a crianças que devem beneficiar-se de um atendimento preferencial que lhes permita
recuperar o atraso acumulado.
Outro ponto importante nesse eixo analítico seria a relação entre o Programa e as
escolas. A lei que cria o Bolsa-Escola estabelece que o Programa visa facilitar o acesso e a
permanência das crianças e adolescentes carentes na escola. Já o folheto explicativo elaborado
pela Prefeitura se refere à manutenção desses estudantes na rede municipal de ensino. A quase
totalidade dos alunos bolsistas encontra-se nesta rede, sendo poucos os casos de alunos ¾ em
séries mais adiantadas ¾ na rede estadual. Pode-se explicar isto por uma certa divisão de
trabalho entre as duas redes, a ser verificada na distribuição de matrículas.
A própria lei estabelece também que a Secretaria Municipal de Educação definirá as
normas para a rede municipal, especialmente no que diz respeito à apuração de freqüência dos
alunos. Ao corpo docente e à direção de cada escola caberá "estimular a permanência dos
alunos na sala de aula para manter o vínculo do aluno com o processo educativo."
Dentro da rede municipal, o primeiro critério de seleção foi, entretanto, conforme
mencionado, o conjunto de indicadores escolares. Não ficam definidos, a partir daí, os
critérios institucionais para que uma escola ou outra passe a ser incluída no Programa.
Aparentemente, toda a rede municipal estaria habilitada e/ou constrangida a participar. Mas
na expansão do Programa e mesmo no seu início, não se estabeleceram critérios
institucionais ¾ como o tamanho da escola, as taxas de repetência, a disponibilidade de um
serviço de orientação educacional etc. ¾ que permitissem assinalar a direção do trabalho.
Ainda assim, podemos fazer um quadro das escolas participantes do Programa, inferindo
talvez alguns desses critérios a partir das características das escolas.
Cabe esclarecer que, para a realização da avaliação educacional, fizemos uma
amostra com treze das 23 escolas participantes do Programa. Trata-se de uma amostra
intencional, que permitiu representar as propostas dos dirigentes do Programa bem como o
conjunto de situações sociais relativamente diversas do público dessas escolas. Assim, as
informações que apresentamos no quadro 1 foram recolhidas nos questionários21 respondidos
por diretores e professores dessas treze escolas da amostra.
Das escolas da amostra pode-se obter informações suplementares para
caracterizar a natureza da relação estabelecida entre estas instituições e a coordenação do
Programa, e, por outro lado, deduzir a visão das primeiras sobre os alunos do Bolsa-Escola.
Deve-se destacar que domina uma perspectiva positiva por parte da direção das escolas e
dos professores. O Programa Bolsa-Escola é visto por ambos como um apoio, na medida em
que incentiva a permanência dos alunos na sala de aula, aumenta a participação dos pais e o
interesse pela escola, conscientiza a família da necessidade da mesma, melhora o
comportamento das crianças e pode representar uma ajuda financeira.
No quadro 2, sintetizamos as respostas apresentadas pelas diretoras a respeito
das dificuldades encontradas pela escola na implementação do Programa. Deve-se
esclarecer que todas as diretoras afirmaram que os problemas não são relacionados
especificamente ao Bolsa-Escola, mas dizem respeito à situação enfrentada quotidianamente
por essas profissionais.22
Uma resposta destaca-se das demais: a falta de interesse dos alunos foi a opção
mencionada mais vezes. Em seguida aparecem os baixos salários dos professores e a baixa
participação dos pais. É interessante notar que questões propriamente pedagógicas surgem
muito pouco como fatores que possam dificultar a implementação do Bolsa-Escola: a falta de
assistência pedagógica da Secretaria e a distância entre as definições dos parâmetros
curriculares nacionais e a realidade dos estudantes são citadas apenas em três casos. Devese destacar que foi especificamente perguntado se a falta de qualificação ou de
conhecimento de métodos apropriados pelos professores poderia criar problemas para um
programa como o Bolsa-Escola e a resposta ¾ unânime ¾ foi não.
Esse padrão de respostas ¾ falta ainda tratar do caso dos professores ¾ sugere uma
perspectiva que já foi dominante entre os analistas da educação, mas que começa a perder
espaço: a de que os problemas nessa área sempre encontram explicação nos fatores sociais,
estando a escola incapacitada ou impossibilitada de qualquer intervenção frutífera no
funcionamento da vida social, seja por ter funções apenas reprodutivas, seja por ser
absolutamente incompetente (ou quase). Esta visão aparece tanto quando se estabelece a falta
de interesse dos alunos como problema mais relevante quanto ao se excluir a dimensão
didático/pedagógica do foco de atenção dos problemas escolares. Ou seja, sob este ângulo se
afirma sempre que os problemas da escola são sociais e nada têm de propriamente escolares.
Esta interpretação, no entanto, não parece ser compartilhada pelos professores, ou, pelo menos,
por alguns deles. Argüidos sobre as mudanças em seu trabalho causadas pela introdução dos
alunos bolsistas, vinte dentre 26 professores responderam que houve um incremento da
participação dos alunos em sala de aula. Por mais que isto possa corresponder, digamos, à
resposta esperada (ou mesmo "politicamente correta"), deve-se mencionar que outras respostas
além desta tornam evidente que os problemas metodológicos são colocados em pauta no
trabalho didático quando essas crianças entram em sala. Os professores mencionam a exigência
de um trabalho mais coletivo entre eles mesmos, a reorganização dos tempos de ensino,
mudanças na forma de avaliação dos alunos e na orientação pedagógica adotada. E se os
professores têm também uma percepção positiva do Programa ¾ que quase unanimemente
consideram válido ¾ , não deixam de notar que ele implica maior complexidade de suas tarefas e
maiores exigências de trabalho.
Seria importante ressaltar que se as diretoras percebem o avanço nas condições
sociais de escolarização propiciado pelo Bolsa-Escola ¾ visto pelo aumento do interesse na
escola gerado pelo Programa ¾ , os professores destacam os resultados positivos em termos
pedagógicos, ou seja, há uma tendência forte entre eles de perceber a melhoria do desempenho
escolar dos bolsistas como um ganho substantivo proporcionado pelo Programa.
As diferenças de pontos de vista entre diretoras e professores aqui apresentadas
não visam destacar conflitos ¾ na verdade, são duas perspectivas que tendem a ser
complementares e ambas são resultantes de diferentes formas de inserção no trabalho
escolar. Mas elas estão aqui porque vale insistir sobre um ponto que diz respeito à
concepção do Bolsa-Escola e aos vínculos entre cidadania e escola. Em um certo sentido,
professores e diretores concordam que o Bolsa-Escola oferece a possibilidade de reduzir, ou
mesmo eliminar, o atraso escolar existente entre os alunos mais pobres. A opinião dos
professores alerta-nos sobre uma dimensão que é, provavelmente, o elemento organizador
fundamental das modernas políticas sociais, a saber, a possibilidade de reduzir as
desigualdades sociais, no caso em pauta, através da escolaridade. E por que a opinião dos
professores faz esse alerta? Porque coloca em discussão o efeito que as práticas
pedagógicas podem ter sobre públicos diversos de alunos.
Uma grande mudança nas perspectivas de análise da educação, ocorrida nos anos
90, foi o deslocamento das relações de causalidade. Se as condições socioeconômicas e
culturais das famílias permanecem tendo influência considerável sobre o desempenho
escolar, ficou comprovada igualmente a existência do que os franceses chamam "efeito
estabelecimento" (Cousin, 1998). Com esse novo foco de pesquisa, é possível demonstrar
que a qualidade das escolas tem efeitos importantes sobre o desempenho dos alunos.
Apesar da obviedade desta afirmação, deve-se ir ao seu corolário: nas boas escolas, o
desempenho dos alunos mais pobres fica próximo daquele dos seus colegas menos
desfavorecidos socialmente (Barbosa, 2000). Ou seja, os modos de funcionamento das
escolas podem ¾ ou não ¾ permitir que se reduzam os efeitos negativos da situação
socioeconômica das famílias, fazendo com que a socialização escolar supra, pelo menos em
parte, as deficiências da família, e garanta a todos os estudantes a possibilidade de ser
contemporâneo do seu tempo (como quer Pierre Bourdieu, 1987), ou ser verdadeiramente um
agente social (Archer, 1996), ou, ainda, cidadão.
Esta é a razão mais forte da insistência sobre a necessidade de um acompanhamento
bastante próximo do trabalho realizado nas escolas, com todas as crianças, sobretudo as
bolsistas. Este pode traduzir-se em uma intensificação da assistência pedagógica dada pela
Secretaria de Educação, aumento de especialistas disponíveis e ampliação do treinamento dos
professores. São todos investimentos propriamente escolares que permitiriam aumentar o grau
de efetividade de algumas políticas de combate às desigualdades sociais.
Análises acerca do impacto do Programa no desempenho escolar das crianças
bolsistas, do efeito "estabelecimento" na redução do diferencial acumulado de desempenho entre
alunos bolsistas e não-bolsistas e outras estimativas de impacto serão objeto das próximas
etapas da pesquisa em curso, uma vez que o trabalho de campo ainda não foi concluído.
Impacto na Redução da Pobreza
Antes de estimar o impacto da transferência de renda na redução da pobreza das
famílias beneficiárias do Programa Bolsa-Escola do Recife, vale relembrar que um dos
critérios de habilitação é apresentar renda familiar per capita inferior a 1/3 do salário mínimo
vigente (R$ 45,00 ou US$ 24 em abril de 2000). Por outro lado, a Prefeitura do Recife
estipulou dois valores diferenciados de benefícios, em função do número de dependentes.
Para aquelas famílias com um dependente apenas, o benefício corresponde a meio salário
mínimo (R$ 68,00 ou US$ 37), enquanto para as demais, com mais de um filho e/ou
dependente, o benefício eleva-se para um salário mínimo (R$ 136,00 ou US$ 73).
Para medir o impacto propriamente dito do benefício na redução da pobreza,
construímos, com base no cadastro mencionado, a distribuição das famílias segundo a renda
familiar per capita antes e depois da imputação do benefício. Conforme se observa no gráfico 3,
antes de receber o benefício a quase totalidade das famílias apresentava renda per capita inferior
a 1/3 do salário mínimo23 (curva vermelha), apenas 5% situando-se acima deste valor. Após
imputação do benefício (curva azul), a distribuição das famílias muda, mas o impacto na redução
da pobreza mostra-se bem menor do que se poderia esperar, apesar de a renda per capita média
dessas famílias ter-se multiplicado duas vezes e meia, passando de R$ 17,00 (ou US$ 9) para
R$ 43,75 (ou US$ 23). É verdade que o aumento na renda familiar per capita leva, na média, as
famílias beneficiárias para o nível da linha de pobreza adotada localmente (R$ 40,00 ou US$ 24).
Ainda assim, constata-se que, após a transferência do benefício, 40% das famílias mantêm-se
abaixo do patamar mínimo instituído como linha de indigência do Recife.
Com relação à linha correspondente ao valor de meio salário mínimo (R$ 60,00 ou
US$ 36), observamos que somente 20% das famílias conseguem ultrapassá-la depois de
receber o benefício, muito embora transpareça uma redução significativa da distância entre a
renda destas famílias e esta linha (a intensidade da pobreza diminui).
A conclusão que não se pode evitar é que o benefício, cujo valor é, do ponto de
vista relativo, elevado (meio ou um salário mínimo nacional), considerando-se o nível de
renda extremamente baixo dessas famílias, não é suficiente o bastante, entretanto, para
dirimir o grau de indigência a que está submetido o público-alvo do Programa do Recife.
Praticamente, metade das 1.600 famílias continua vivendo em situação de miséria. Isto
levanta a questão não apenas do valor do benefício necessário para que uma política de
transferência de renda seja verdadeiramente eficaz no combate à pobreza e à exclusão
social, como determina que seja investigado o conjunto das demais transferências sociais,
feitas através da provisão de serviços básicos a essa população, para estimar em que
medida contribuem ou não para aliviar esse quadro de absoluta insegurança socioeconômica.
Provavelmente, se o valor do benefício fosse único para todas as famílias beneficiárias,
equivalente ao salário mínimo (R$ 136,00 ou US$ 73), o impacto positivo seria bem maior.
Por outro lado, aumentar o benefício para um valor acima do salário mínimo nacional pode
engendrar distorções no mercado de trabalho que seriam prejudiciais no médio e longo
prazos. Da mesma maneira, esse valor sugere que qualquer melhoria no desempenho
escolar dos bolsistas dificilmente será efeito direto do impacto da transferência monetária,
uma vez que as condições materiais de vida dessas famílias se modificam, mas ainda muito
aquém de um padrão básico de dignidade. Melhorias existem e não são marginais. O desafio,
entretanto, está em conjugar graus tão acentuados de privação social com a escassez
relativa de recursos públicos.
BREVES CONCLUSÕES
O presente artigo apresenta os resultados preliminares da pesquisa em andamento
para avaliação do impacto do Programa Bolsa-Escola do Recife. Não há dúvida de que a
possibilidade de avaliar um programa social em profundidade constitui-se, por si só, uma
novidade ¾ e das mais promissoras ¾ em um país onde transparência e monitoramento das
políticas públicas são práticas ainda excepcionais e não a regra. O governo municipal do Recife
tem, assim, o grande mérito de colocar em debate, sem restrições e com coragem, o desafio de
fazer política social focalizada no combate à pobreza de curto prazo e intergeracional, em uma
cidade onde a incidência da pobreza é elevada (cerca de 30% da população), bem como
acentuada sua intensidade (Lavinas, 1999). Esses dois parâmetros aumentam evidentemente a
probabilidade de se ter cobertura insuficiente do público-alvo e redução aquém do esperado do
gap de pobreza. Nem por isso o impacto do Programa pode ser minimizado.
De fato, há duas evidências empíricas neste trabalho: 1) existe um déficit
significativo de cobertura, pois apenas um número diminuto de famílias em situação de
extrema carência é beneficiado pelo Programa (menos de 2%), o que mostra oportunidades
de acesso desiguais entre pobres a programas sociais de maior eficácia; e 2) não se verifica
a superação da condição de indigência para a grande maioria das famílias beneficiadas.
Entretanto, observa-se que houve uma focalização adequada, uma vez que as
famílias beneficiárias foram selecionadas dentre as que vivem em situação de extrema
pobreza e privação, bem como os bolsistas são aquelas crianças que registram níveis
inferiores de desempenho escolar. Logo, pode-se afirmar que apesar das sérias restrições de
cobertura, aqueles que são contemplados pela bolsa-escola são, sem sombra de dúvida, os
mais necessitados dentre os grupos sociais excluídos.
A partir da compreensão do significado de tal política é importante enfatizar a
dimensão educacional do Programa. Percebida por muito tempo como um mero instrumento
de reprodução social, a Escola atualmente é vista como um fator crucial na luta contra as
desigualdades sociais. Desta perspectiva, podemos acrescentar que as professoras e
diretoras do Recife avaliam que o Bolsa-Escola aumentou a participação e o interesse dos
pais na escolarização de seus filhos ¾ este também seria um indicador do sucesso do
Programa. A literatura sociológica demonstra claramente que o envolvimento dos pais no
processo educacional seria uma das mais importantes condições do bom desempenho
escolar. Não se pretende negar a influência de fatores sociais e econômicos. É bastante
disseminada a idéia de que a pobreza está associada à menor escolaridade. Isto pode ser
visto, por exemplo, na idade mais elevada que as crianças mais pobres apresentam em uma
série específica ou nos seus fracos desempenhos escolares. No caso da nossa amostra,
encontramos uma menina de 15 anos que obteve apenas 2,5 pontos (de um total de 10) em
uma prova preparada para crianças de terceira série (cuja idade ideal seria 9 anos). O fato de
os alunos bolsistas terem um desempenho inferior ao de seus colegas confirma o que foi dito
acima e atesta o acerto da focalização do Bolsa-Escola, que teria incluído exatamente a
população com maior carência, social e escolar.
Além disso, os dados nos mostram também que algumas escolas possuem melhores
métodos para lidar com crianças oriundas de meios muito pobres. Não foi possível ainda
investigar as condições sociais que fazem diferença, mas já temos alguma evidência disso: em
algumas escolas, os estudantes bolsistas se saíram melhor que seus colegas. O espectro das
possibilidades institucionais é muito amplo, abrangendo desde o treinamento dos professores até
as formas de gerenciamento das escolas. Este é um ponto que deve ser tratado com muita
atenção no caso das políticas distributivas: a escola precisa ser objeto de mais atenção. Isto
porque não é qualquer escola que faz a diferença. Só algumas conseguem realmente melhorar,
de forma expressiva, o desempenho de crianças socialmente desfavorecidas, reduzindo o hiato
de aprendizado decorrente do background socioeconômico das famílias.
Entretanto, a garantia de rendimento permanece como o primeiro passo para a
superação da pobreza. É importante enfatizar que se as escolas podem reduzir no médio e
longo prazos o impacto das condições sociais dos alunos mais pobres sobre o seu
desempenho educacional, elas só podem ser vistas como parte ¾ essencial, mas não
suficiente ¾ de um esforço mais amplo de combate à pobreza. Nesse sentido é que se pode
afirmar a relevância da garantia do rendimento, base primeira para se assegurar, inclusive, a
possibilidade de permanência e aproveitamento adequados da experiência escolar.
(Recebido para publicação em agosto de 2000)
NOTAS
1
Como Porto Alegre/RS, Santo André/SP e Belo Horizonte/MG.
2
Para conversão dos valores em US$, os valores em reais correntes foram atualizados até
dezembro de 1999, segundo o INPC-IBGE, e depois divididos pela média da taxa de
câmbio desse mesmo mês (1,8420). Este procedimento foi utilizado para todos os valores
em R$ mencionados neste artigo.
3
A PNAD é realizada anualmente pelo Instituto Brasileiro de Geografia e Estatística ¾ IBGE,
junto a 20 mil domicílios (amostra nacional).
4
Vale registrar que o primeiro programa de garantia de renda mínima surge em
Campinas/SP, em 1994.
5
Eleito em 1994 pelo Partido dos Trabalhadores como governador de Brasília.
6
Esse elevado grau de cobertura se deve ao fato de os critérios de elegibilidade no
Programa terem excluído as famílias residentes no D.F. por prazo inferior a cinco anos, de
modo a evitar "a importação da pobreza" de municípios limítrofes.
7
O Brasil soma cerca de 5.800 municípios.
8
O PETI é um programa coordenado pela Secretaria de Ação Social do governo federal.
9
Único lugar no país onde houve algum nível de avaliação dos impactos do Programa BolsaEscola.
10
Recife é capital de um dos nove estados que compõem a região Nordeste, que se destaca
por liderar o ranking dos índices de bem-estar mais desfavoráveis do país.
11
O valor do salário mínimo em 1997 (R$ 120,00) corresponde a, aproximadamente, US$ 73
de dezembro de 1999.
12
Contudo, não são feitos pagamentos retroativos referentes ao período em que a criança
não compareceu à escola pelo tempo mínimo exigido.
13
Via de regra 1% ou, no máximo, 2% da receita orçamentária.
14
Embora o número de famílias beneficiárias esteja em torno de 1.600, só foi possível
trabalhar com um subuniverso de 1.515 famílias devido a dificuldades operacionais do
banco de dados.
15
O tempo 0 corresponde ao período entre 1997 e 1999.
16
Ver nota 20.
17
Foram excluídas desta média 75 famílias que apresentaram renda familiar per capita
superior à linha de R$ 40,00. Supomos assim um erro de cerca de 5% na seleção das
famílias, valor que nos parece bastante aceitável.
18
Optamos por incluir também as crianças com 15 anos para captar aquelas que
completaram esta idade no ano do cadastramento de suas respectivas famílias. Logo, o
total de 2.990 crianças cobre aquelas na faixa etária 7-16 anos, membros das famílias
beneficiárias.
19
No Brasil, o problema de acesso e cobertura da demanda vem sendo satisfatoriamente
atendido, notadamente nos anos recentes. Segundo o Ministério da Educação, a taxa de
cobertura do ensino fundamental era, em 1999, de 96%.
20
Do ponto de vista da justiça social, é fácil atestar a correção da proposta. No interior da
escola as coisas são um pouco mais complicadas: há o caso de professores que
consideram este um critério tremendamente injusto por "premiar" os maus alunos.
21
Entrevistamos em treze das 23 escolas onde o Programa Bolsa-Escola é atuante, diretoras
e as professoras da terceira série do ensino fundamental.
22
As respostas foram dadas em relação às seguintes questões: Q17 ¾ Quais são os
obstáculos ou dificuldades que esta escola encontraria na área pedagógica para lidar com
as crianças do Bolsa-Escola?
(1) As dificuldades são as mesmas que já enfrentava?
(2) Insuficiência de especialistas na escola?
(3) Deficiência de material didático?
(4) Baixa remuneração dos professores?
(5) Baixa qualificação dos professores (formação e treinamento)?
(6) Pouca motivação dos professores?
(7) Pouca participação dos pais?
(8) Dificuldade na relação entre os professores?
(9) Excessiva rotatividade dos professores?
(10) Falta de interesse dos alunos pelo estudo?
(11) Pouca assiduidade dos alunos?
(12) Parâmetros Curriculares Nacionais desligados da vivência dos alunos?
(13) Falta de assistência pedagógica da Secretaria Municipal?
(14) Falta de conhecimento, por parte dos professores, de métodos pedagógicos mais
adequados?
(15) Dificuldades na relação com o Colegiado ou Conselho?
(16) Outros. Especificar: ________________________.
23
Utilizamos como referência o valor do salário mínimo de 1997 (R$ 120,00).
REFERÊNCIAS BIBLIOGRÁFICAS
ARCHER, Margareth. (1996) Culture and agency: the place of agency in social theory. Cambridge:
Cambridge University Press.
BARBOSA, Maria Ligia de Oliveira. (2000). Desempenho escolar e desigualdades sociais:
resultados preliminares de pesquisa. Preal Debates, n.6.
BOURDIEU, Pierre. (1987). A economia das trocas simbólicas. São Paulo: Perspectiva.
COUSIN, Olivier. (1998). L’éfficacité des collèges: sociologie de l’effet établissement. Paris: PUF.
LAVINAS, Lena. (1998). O Barato da Pobreza. Revista Insight/Inteligência, ano 1, n.4, p. 40-46.
_____. (1999). Combinando compensatório e redistributivo: o desafio das políticas sociais no Brasil.
Trabalho apresentado no XXIII Encontro Anual da Anpocs, Caxambu, MG, 19-23 de outubro.
_____. (2000). The appeal of minimum income programs in Latin America. Programme for Bellagio
Meeting on Socio Economic Security ¾ ILO, Bellagio, 6-10 de março.
_____; BARBOSA, Maria Ligia. (2000). Avaliação de dois programas bolsa-escola – Belo Horizonte e
Recife. I Relatório Parcial de Pesquisa Convênio OIT- Banco Mundial. Rio de Janeiro: ANPEC.
LAVINAS, L. et al. (2000). Combining compensatory and redistributive benefits: the challenge of
social policies in Brazil. Rio de Janeiro: IPEA.
PREFEITURA da Cidade do Recife. (1999). Programa Bolsa-Escola. Recife: Secretaria de Educação,
dezembro (mimeo).
ABSTRACT
Fighting Poverty by Encouraging School Attendance: A Case Study of the Scholarship
Program in Recife. The purpose of this article is to present the initial results of an impact study
on a scholarship program implemented since 1997 in Recife, capital of the State of
Pernambuco in Northeast Brazil. The scholarship program is designed to guarantee a
minimum income for poor families by providing a monetary stipend that is contingent on
school attendance by the family’s children in the 7-14-year age bracket, in basic education (8
years of schooling). In addition to reducing poverty in the short term by increasing per capita
family income and focusing social expenditures in the most under-served segments of the
population, the scholarship program has proven to be an effective tool in combating repetition
in school, the main factor in Brazil’s high drop-out rates. The program also helps families and
schools mobilize to increase schooling levels among children and has a positive impact by
reducing the schooling gap.
Keywords: poverty; scholarship program; income transfer; social policy.
RÉSUMÉ
Lutter contre la Pauvreté en Faisant Remonter la Fréquentation Scolaire: L’Étude du Cas du
Programme Bourse-École à Recife. Cet article a pour but de présenter les premiers bilans
d’évaluation du Programme Bourse-École à Recife, mis en place dans cette capitale du
Nordeste brésilien depuis 1997. Les modalités de ce Programme garantissent un revenu
minimum aux familles pauvres, par le versement d’une allocation dont la contrepartie est
l’obligation pour leurs enfants de 7 à 14 ans de fréquenter l’école d’enseignement de base. Ce
Programme Bourse-École non seulement réduit dans l’immédiat la pauvreté des familles en
élevant le revenu par habitant et acheminant les dépenses sociales vers les couches les plus
défavorisées de la population, mais aussi se révèle un instrument efficace contre l’échec
scolaire, responsable au Brésil du fort abandon scolaire. Il pousse la famille et l’école à
s’intéresser à la scolarité des enfants et concourt à la réduction des disparités scolaires.
Mots-clé: pauvreté; Programme Bourse-École; déplacement de revenu; politique sociale.
© 2006 Instituto Universitário de Pesquisas do Rio de Janeiro
R. da Matriz, 82
22260-100 Rio de Janeiro RJ Brazil
Tel.: +55 21 2537-8020
Fax: +55 21 2286-7146
[email protected]