1
AVALIAÇÃO DO IMPACTO DE POLÍTICAS PÚBLICAS:
UMA PROPOSTA DE MEDIDA DA EFETIVIDADE DAS AÇÕES DE GOVERNO –
EDUCAÇÃO E EMPREGO NA REPÚBLICA DA UTOPIAi
João Bosco de Oliveiraii
Paulo Emílio Matos Martinsiii
1. Introdução
Uma metodologia de avaliação de impacto de políticas públicas, estruturada
para medir a efetividade das ações de governo, deve utilizar uma modelagem que
favoreça o aperfeiçoamento dos processos de formulação, gestão e controle dos
programas governamentais em congruência com as demandas sociais, políticas e
econômicas identificadas e analisadas pela administração pública.
Desde o momento em que se torne objeto de interesse, tal metodologia deve
atuar como catalisador do conhecimento de informações relacionadas ao ambiente no
qual a política pública é implementada, tais como: as razões para sua inserção na
agenda governamental; as premissas que a fundamentam; o mix de recursos locais,
regionais nacionais e/ou internacionais alocados; as características institucionais do
ambiente; a dinâmica da relação sociedade-estado; o público alvo; o intervalo de tempo
envolvido; os efeitos permanentes alcançados – previstos e não previstos1; outras
políticas públicas, concomitantes ou não, sendo implementadas no mesmo recorte
ambiental; os patrocinadores, avaliadores e destinatários da avaliação de impacto.
A metodologia de avaliação de impacto deve ser adequada à medição e
interpretação das alterações ambientais introduzidas pelas ações de governo,
incorporando o estado da arte da administração pública. Deve utilizar modelagem que
favoreça a compreensão do significado de suas variáveis, quer seja pela administração,
como pelo público alvo, ou ainda pelo próprio avaliador. Finalmente, essa modelagem
não pode olvidar a incorporação da casuística do serviço público no contexto cultural
abrangido pelas intervenções governamentais.
O momento da avaliação de impacto de uma ou de um conjunto de políticas
públicas em sinergia comporta reflexões muito abrangentes. No momento presente, os
países em desenvolvimento vivem um clima de grande esperança individual e coletiva,
face aos desafios para sua integração aos fluxos de prosperidade mundial. Este
i
Trabalho exposto ao e publicado nos anais do 1o Congresso Nacional da Administração Pública – Os
Vectores da Mudança - ; Instituto Nacional de Administração; Lisboa, 10 a 11 de novembro de 2003.
Modelo teórico apresentado à XXXVIII Asamblea Anual CLADEA – La Gerencia: Retos y Nuevos
Paradigmas -; Consejo Latinoamericano de Escuelas de Administración; Lima, 21 a 24 outubro de 2003.
ii
Mestre em Administração Pública - EBAPE/FGV.
iii
Professor Titular – EBAPE/FGV.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
2
momento é propício à adoção – como prática comum – de metodologias para medir a
efetividade das ações de governo.
Encontram-se hoje presentes, em muitas nações que integram o bloco das
economias retardatárias, pelo menos cinco condições favoráveis a essa iniciativa: (1)
ordem – interna e externa – representada pelo fortalecimento de suas instituições
democráticas nacionais e internacionais; (2) segurança jurídica – pública e privada,
coletiva e individual – representada pela universalização do sistema democrático
representativo em todo o seu território; (3) governo, mercado e sociedade civil, melhor
organizados e em interatividade dinâmica em suas dimensões social, política e
econômica; (4) sistemas aperfeiçoados de controle social e gestão das ações
governamentais, com garantia de acessibilidade aos dados analíticos oficiais ou
privados, nacionais e estrangeiros; (5) – liberdade de expressão – de resposta, e
julgamento – representada pelo estado democrático de direito e pelos sistemas de
comunicação de massa locais e internacionais. Reunidas, estas condições tornam
possível medir, correlacionar, interpretar e avaliar o impacto de políticas públicas
segundo critérios de intensidade (quantitativamente) ou atributo (qualitativamente)
implicados na relação sociedade-estado.
1.1 É Tempo de Avaliação
A partir dos anos 90, dois novos paradigmas passaram a produzir,
simultaneamente, em todo o mundo fatos importantes para o estudo das medidas da
efetividade das ações de governo. O primeiro deles foi a institucionalização da questão
ambiental, desejada e legítima, disciplinada na Conferência das Nações Unidas para o
Meio Ambiente e o Desenvolvimento (ECO 92), realizada na cidade do Rio de Janeiro,
sob o patrocínio da Organização das Nações Unidas e que resultou na Carta do Rio de
Janeiro (Agenda XXI), que contém um conjunto de políticas públicas a serem
implementas inter alia pelos países membros, com foco no desenvolvimento
sustentável do conjunto das sociedades. O segundo paradigma marcou o início de uma
nova era para as políticas e relações internacionais no campo do comércio e das
finanças. Com o suporte de tecnologias limpas e de sistemas de comunicação
mundializados, organismos como a Organização Mundial do Comércio (OMC) e
diversos fóruns supranacionais mudaram os projetos de desenvolvimento das nações,
fazendo-os convergir para o desenvolvimento da pessoa humana e a preservação do
planeta. Homologados em tratados e acordos internacionais estes paradigmas têm
influenciado todas as sociedades e os estados, determinando e redirecionando o
pensamento e o comportamento das autoridades, de seus cidadãos, líderes, pensadores,
agentes econômicos e dirigentes de organizações do terceiro setor.
Tendo em vista os relatórios sobre o desenvolvimento mundial, novas questões
se colocam para o desenvolvimento da pesquisa e ensino da Administração Pública, tais
como: Como avaliar o impacto de políticas públicas no período em curso? Que
importâncias relativas passaram a ter outros vetores do desenvolvimento como, ciência e
tecnologia, educação, segurança, saúde, previdência e meio ambiente? Permanecerão
estas questões estanques? As administrações públicas adotarão metodologias
compatíveis na avaliação de impacto das ações de governo?
O fortalecimento do sistema democrático representativo nas sociedades
desenvolvidas tem apontado para a construção de uma consciência social sustentada
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
3
nos: equilíbrio fiscal, combate à corrupção, cumprimento de promessas de campanha
eleitoral, distribuição justa da prosperidade nacional e acesso universal aos níveis de
qualidade de vida veiculados pela propaganda multimídia 2.
Nesse novo cenário, a metodologia ora proposta sugere um instrumento para as
administrações públicas avaliarem o impacto de suas realizações e para os cidadãos
interpretarem e avaliarem se as ações governamentais realizam as transformações
previstas em Lei.
1.2 Objeções à Avaliação de Impacto
São três as principais objeções antepostas à avaliação de impacto de políticas
públicas: 1 – dificuldade de mensuração; 2 – dificuldade de divulgação dos resultados;
e 3 – inutilidade da avaliação de impacto. As duas primeiras objeções contêm
implicações imediatas contra o exercício da cidadania e, conceitualmente, afrontam o
sentido dos processos orçamentário público, de prestação de contas e da gestão de
ambos. A segunda objeção, combinada com a terceira, expõe a necessidade de serem
rediscutidas as premissas e fundamentos orientadores do ciclo das políticas públicas.
Em conjunto, as três objeções se situam na contra-mão do que a sociedade espera da
relação sociedade-estado: congruência entre o discurso político e a efetividade das
ações de governo.
Nesta primeira década do novo milênio parcelas significativas das sociedades
organizadas conquistaram o poder e vêm educando a população para o exercício pleno
da cidadania; usam o voto para julgar; buscam conquistar oportunidades de
participação ativa em conselhos comunitários, na discussão dos orçamentos públicos,
nos movimentos e manifestações populares, nas organizações não-governamentais, nas
igrejas, nos veículos de comunicação de massa e no ainda limitado acesso à rede
mundial da Internet. Esses movimentos têm em comum a refutação das citadas
objeções e a busca da avaliação de impacto das ações de governo. Não medir, avaliar e
divulgar os resultados das políticas públicas significa posicionar-se em oposição ao
exercício do controle social. A avaliação de impacto dos atos de governo, ao contrário,
aperfeiçoa o compromisso de accountability3 dos executivos públicos.
Como sociedade democrática e educada, o Estado contemporâneo é subjugado,
pela sociedade assumindo forma transitória e multifacetada, portanto, que requer
permanente avaliação de suas realizações. Essa avaliação deve ser feita,
preferencialmente, pelos poderes próprios ou pelas vias de direito próprias, sempre
mediante metodologia adequada. Christofoletti4 esclarece que o controle social põe em
funcionamento um conjunto de normas, valores e instituições que garantem
solidariedade e integração ao universo de eventos que dão eficácia à relação sociedadeestado. A globalização dos meios de comunicação passou a revelar ser este um tema
atualíssimo em todo o mundo neste início de milênio. Reflexões agudas de experts
sobre a era pós-industrial5 e a crise da modernidade6 têm motivado novos argumentos
sobre a missão dos governos e da democracia, com suporte nos sistemas econômicos e
políticos, para o desenvolvimento da qualidade da vida humana. Em muitos países seus
cidadãos têm debatido, em sucessivos fóruns, alternativas para políticas públicas como
combate à fome, justiça tributária, previdência social, renda, segurança pública, saúde,
educação e tantas outras conducentes a níveis mais elevados de vida.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
4
A accountability nas ações de governo garante, não só a eficiência, mas
também a eficácia e a efetividade da execução dos planejamentos orçamentários, cujos
recursos devem realizar a satisfação dos cidadãos. E é, ainda, um precioso instrumento
de avaliação dos efeitos permanentes, agregados ou não, das ações das ações de
governo, com fundamento na prestação obrigatória de contas.
1.3 Medindo a Efetividade das Ações de Governo
Franco e Cohen7 destacam que a política pública se insere entre uma situação
existente e outra desejada, como demonstrado na Figura 1.
Situação
Pré-existente
(Ex-Ante)
Ações de Governo
(Políticas Públicas)
Situação Modificada
(Impacto)
(Ex-Post)
Figura 1
Essa figura favorece a compreensão de que a situação modificada contém o
impacto a ser avaliado; permite perceber que a situação modificada, necessariamente, é
um fenômeno derivado, portanto, passível de ser medido, interpretado e analisado. A
situação modificada contém a gênese e a história das ações governamentais desde a
situação pré-existente. Assim, uma medição do efeito previsto para as intervenções
governamentais poderá ser feita com sucesso na situação modificada mediante sua
comparação com aquela pré-existente.
No espaço político em que as ações de governo são implementadas,
concomitantemente, ou subseqüentemente, atuam ainda outras políticas, de diferentes
esferas, que, não necessariamente, contemplam os mesmos objetivos. Esta situação
requer competência profissional dos avaliadores e visão multidisciplinar para medir a
efetividade das políticas públicas.
Existem diferentes metodologias8 para medir, interpretar e avaliar o efeito
agregado das intervenções estatais. Todas elas seguem trilhas semelhantes: partem da
inserção da intervenção colimada na agenda política, onde é especificado o foco da
ação de governo, que pode ser rastreado no seu processo de formulação e vinculação a
uma área de governo.
Assim sendo, uma política pública deve objetivar a satisfação de um conjunto
de demandas da sociedade. Esse efeito deve ser medido por um indicador de
atendimento das necessidades previamente captadas, interpretadas e qualificadas,
indicador este que deve garantir a fidelidade da medição do impacto das ações de
governo.
A modelagem de uma avaliação de impacto contextualizada, por certo, deve
considerar, necessariamente, o conhecimento das variáveis subjetivas determinantes da
satisfação do público alvo. Para que tal aconteça, planejadores, gestores e avaliadores
devem trabalhar com um mesmo conjunto-solução, cujos elementos retratem fielmente
o contexto social: as dimensões de análise (cultural, política e econômica); os fatores
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
5
condicionantes da ação pública; os fundamentos que estruturam o modelo de avaliação
e o referencial teórico que o suporta.
O Quadro 1 (página seguinte) resume esse conjunto-solução.
Dimensões de Análise
Condicionantes
da Ação Pública
Modelo Proposto
(fundamentos)
Referencial Teórico
Sócio-Cultural
(Valores)
Autoritarismo
Patrimonialismo
Idéia de que o ato público é
de difícil mensuração e
avaliação objetivas
Efeito-demonstração9
Continuísmo no poder
Etc.
Utilização de indicadores
sociais, políticos e
econômicos objetivos,
ponderados em consonância
com seus determinantes
históricos, negociados e/ou
consentâneos com o impacto
previsto
Dror10
Subirats11
Franco e Cohen12
Warren 13
Hood 14
Sen15
Freyre16
Souza Santos17
Riggs18
Política (Poder)
Norma jurídica
Estado de direito
Democracia direta
Public choice
Processo decisório
participativo
Cidadania
Relação sociedade-estado
Relação público-privado
Multilateralidade
Etc.
Accountability das ações de
governo
Prestação de contas
Moralidade dos atos
públicos
Publicidade dos atos de
governo
Medida de satisfação
Eficácia
Efetividade
Motta19
Campos20
Pinto21
Cardoso e Faletto22
Dror
Hood
Marini23
Monteiro24
Subirats
Arruda25
Econômica
Eficiência
Sustentabilidade
Equilíbrio fiscal
Nível de atividade
Sistema Financeiro
Balanço comercial
Etc.
Racionalidade
Comparabilidade
Prestação de contas
Publicidade
Economicidade
Sustentatilidade
Eficiência
Sen
Baran26
Delors27
Amaral et all28
Furtado29
Gini30
Hirsch31
Monteiro
Santos32
Simonsen 33
Crejeira34
CONJUNTO SOLUÇÃO DO MODELO
QUADRO 1
Nesse quadro é feita a associação entre aquelas dimensões de análise, os
condicionantes de políticas públicas referidos na literatura e os fundamentos teóricos
que orientam o modelo proposto.
2. Metodologia Proposta
2.1 Identificando as Transformações Líquidas
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
6
Chamando de Fn a um conjunto de fenômenos modificados por uma política
pública PP; de n o momento “situação pré-existente”; de An+m a um conjunto de ações
sociais, políticas e econômicas transformadoras de Fn, durante um período de tempo m
(momento de implementação da política pública); e de Fn+m a um conjunto resultante
da combinação de atos e fatos atribuíveis a PP, observados por um avaliador situado
num instante n+m (momento “situação modificada”); a metodologia deverá permitir
seja medido um impacto Ipp tal que seja verdadeira a igualdade:
Ipp = ƒ (PP)
Embora o impacto da política pública deva ser uma função direta das variáveis
constituintes da mesma, na prática, nem o impacto, nem as variáveis constituintes da
política pública são assim imediatamente correspondentes entre si, com o rigor de uma
igualdade. Explicações subjetivas são oferecidas para tentar dar consistência racional a
dificuldades de ordem prática, capazes de levar alguns teóricos a defender a
impossibilidade da avaliação de impacto de políticas públicas.
Discutir tais explicações escapa ao objetivo deste documento, comprometido
com um esforço de aperfeiçoamento dos sistemas de acompanhamento e promoção da
qualidade das ações de governo.
É quase intuitivo verificar que Ipp deverá corresponder a uma relação de causa,
efeito e pertinência entre fatos resultantes (Fn+m) (situação modificada), ações
transformadoras (An+m) (durante a implementação da política pública), e fenômenos de
um setor objeto da sociedade a serem modificados (Fn) (situação pré-existente), de tal
modo que esses conjuntos de fatos sejam passíveis de identificação qualificada e
quantificada. O impacto Ipp deverá ser o resultado objetivo de uma relação lógica e
delimitada com a seguinte expressão:
Fn+m ⊂ Fn ∪ An+m
Ou seja: Na situação modificada (Fn+m) é possível identificar tanto as matrizes
da situação pré-existente (Fn) quanto as ações (An+m) que modificaram
permanentemente aquelas matrizes. Na prática, como afirmamos acima, razões
discricionárias das administrações públicas, associadas à cobrança insuficiente por
parte dos contribuintes, têm feito a lógica desse raciocínio parecer quase inviável.
Não obstante, o impacto da política pública (IPP) deverá equivaler a uma
diferença modular, quantitativa e/ou qualitativa do intervalo [Fn , Fn+m]que pode ser
escrita com uma notação de identidade, assim:
Ipp ≡ [Fn , Fn+m]
Ipp deverá, também, ser equivalente às dessemelhanças entre os elementos
fenomênicos Fn+m e Fn, cuja notação indica discriminação avaliativa (ou seja, não
conter), como:
Ipp ≡  Fn+m ⊄ Fn 
Essa identidade modular, obrigará o profissional de avaliação a fazer uma
análise de valor do sinal vinculado a essas dessemelhanças. À luz dos fatos, o
significado de um impacto IPP positivo ou negativo poderá requerer do avaliador uma
nova análise das premissas da política pública avaliada.
As hipóteses a seguir exemplificam algumas situações possíveis:
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
7
Ipp > 0 implicaria, numa política pública de redução da pobreza, num impacto
negativo!
Ipp > 0 indicaria um impacto positivo, por exemplo, numa política pública de
oferta de trabalho;
Ipp = 0 sugerirá seja feita uma reavaliação de todas as premissas ou medições,
porque o avaliador estará diante de um conjunto vazio, uma política pública inócua. Seria
isto possível de ocorrer no caso em avaliação?
Tais situações vinculam conexões lógicas como as seguintes:
Fn foi adequadamente quantificado e descrito no momento “antes” pelos
formuladores da política pública. Esta situação permitirá ao avaliador encontrar An+m
contido em Fn+m no momento “depois”;
Fn não se encontra adequadamente identificado para o avaliador. Se
parcialmente identificável, o avaliador poderá realizar um trabalho adicional de
resgate de Fn (na situação antes) e, assim, medir um certo Ipp (impacto presumido a
partir de fatos e assunções com fundamentação em pesquisa de campo) e avaliá-lo;
Fn não pode ser conhecido absolutamente. Neste caso, serão razoáveis duas
hipóteses para um avaliador profissional: (1) A política pública seria introdutora de
algo inédito; uma novidade transformadora da realidade. Neste caso, todo o impacto
Ipp seria atribuível a essa política pública; isto é, a modificação permanente da
realidade observada depois seria creditada integralmente à política pública. (2)
Inexistência de registros de informações essenciais à avaliação de impacto.
2.2 Nível Sintético
A Figura 2 mostra os fluxos de recursos alocados pelo Estado em uma política
pública PP. Esta forma de representação possibilita uma visão integrada dos processos
de orçamento, controle, gestão e avaliação de impacto da política pública. Esse
diagrama é útil para estimular não especialistas a visualizarem um modelo coeso de
avaliação do impacto Ipp e tentarem interpretar suas variáveis integrantes.
RECURSOS:
Internacionais
OUTRAS
POLÍTICAS PÚBLICAS
(CONCOMITANTES)
Nacionais
POLÍTICA PÚBLICA
PP
Regionais
Locais
OUTRAS
POLÍTICAS PÚBLICAS
(ANTERIORES)
NÍVEL SINTÉTICO
IMPACTO IPP
DIMENSÃO
SOCIAL (S)
DIMENSÃO
POLÍTICA (P)
DIMENSÃO
ECONÔMICA (E)
Figura 2
Este modelo contempla as dimensões: sócio-cultural (S), política (P) e
econômica (E). Certamente, esta modelagem poderá comportar qualquer número de
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
8
dimensões (variáveis da função Ipp). Essas dimensões poderão ter diferentes
importâncias relativas entre si (pesos), segundo critérios subjetivos ou estatísticos. Se
desejável, poderão ainda ser usados coeficientes ambientais para discriminar as
dessemelhanças relativas das dimensões incluídas. Esta flexibilidade torna o modelo
tão específico e contextualizado quanto a discricionariedade dos agentes públicos
recomende. Tais coeficientes ambientais podem e devem ser diferentes. Adotando-se
as letras iniciais do alfabeto grego para representar esses coeficientes, a função Ipp , no
seu nível sintético, é definida pela fórmula:
αS + βP + χE
Ipp =
α + β +χ
NÍVEL SINTÉTICO
Existindo acessibilidade de dados sobre S, P e E, ainda que estimados (grosso
modo), mas confiáveis, o impacto Ipp já poderá ser calculado nesse nível (sintético) de
informações agregadas. Este modelo, entretanto, comporta mais dois níveis de
segmentação, para permitir que seja alcançada mais precisão e qualidade nos processos
de medição, interpretação e avaliação do impacto Ipp.
2.3 Nível Intermediário
As dimensões S, P e E, do nível sintético do modelo podem ser
convenientemente segmentadas em atributos descritivos das mesmas, num segundo
nível de análise. O Quadro 2 ilustra essa flexibilidade do modelo apresentando dois
possíveis atributos para cada uma dessas dimensões.
Nível Sintético
Dimensões
Sócio - Cultural (S)
Política (P)
Econômica (E)
Nível Intermediário
Atributos
Nível de Educação (Se)
Emprego (Sr)
Adequação Política (Pa)
Propriedade Política (Pp)
Sustentabilidade Fiscal dos Beneficiários (Eb)
Sustentabilidade Fiscal da Política Pública (Ef)
QUADRO 2
Neste Quadro, no seu nível intermediário, as dimensões S, P e E são segmentas
em dois atributos para cada uma: para a dimensão social (S): nível de educação (Se) e
Emprego (Sr); para a política (P): adequação política (Pa) e propriedade política (Pp);
e para a econômica (E): sustentabilidade fiscal dos beneficiários (Eb) e
sustentabilidade fiscal da política pública (Ef). A expressão matemática do modelo,
com a incorporação desses seis atributos, assume a seguinte apresentação:
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
9
α(
Ipp =
δSe + εSr
δ+ε
) + β(
φPa + γPp
φ+γ
) + χ(
ηEb + ιEf
η+ι
)
α + β +χ
NÍVEL INTERMEDIÁRIO
Reiterando a observação feita na exposição do nível sintético do modelo,
quanto à acessibilidade e confiabilidade de dados para sua aplicação, neste nível
intermediário de detalhamento, o Ipp pode ser mensurado e avaliado com nível de
maior precisão.
2.3.1 Coeficientes Ambientais dos Atributos do Impacto Ipp
Os coeficientes dos atributos do impacto Ipp (δ, ε, φ, γ, η, e ι) ponderadores dos
atributos das dimensões de análise do modelo buscam a inclusão da vontade popular no
processo de avaliação e na interpretação da efetividade da política. Isto é, os valores
assumidos para esses coeficientes deverão ser estabelecidos em consonância com as
preferências do público beneficiário, reveladas através cuidadosa consulta da opinião
pública.
Por definição, a soma dos coeficientes adotados deverá ser igual à unidade.
Assim, são previsíveis alguns casos particulares:
(1) δ e/ou ε são nulos - conclusão: eleição de dois outros atributos diferentes de
equidade e/ou qualidade de vida;
(2) δ e ε seriam idênticos - conclusão: atribuir 0,5 para cada.
(3) δ e ε são positivos e diferentes (situação mais provável) - conclusão:
δ + ε = 1.
De modo análogo, estas considerações deverão ser aplicadas aos coeficientes φ,
γ, η, e ι.
2.4 Nível Analítico
No Quadro 3 é apresentada a segmentação do modelo no seu nível mais
analítico e de maior precisão.
Neste nível de análise é requerido da administração pública a disponibilidade de
sistemas de controle e gestão razoavelmente sofisticados, de tal modo que possa ser
garantida a disponibilidade e confiabilidade dos dados e informações alimentadores do
modelo.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
10
A fórmula matemática a seguir retrata o modelo de análise proposto no seu
nível maior precisão:
δ
α
Ipp =
See
Sre
φ
+ε
Set
δ +ε
Srt
+β
Pae
Ppe
η
+γ
Pat
Ppt
φ+γ
Ebe
Efe
+ι
Ebt
+χ
Eft
η+ι
α+ β +χ
NÍVEL ANALÍTICO
A incorporação das variáveis (See), (Set), (Sre), (Srt), (Pae), (Pat), (Ppe), (Ppt),
(Ebe), (Ebt), (Efe), (Eft) – indicadores de sucesso relacionados aos atributos das
dimensões de análise do impacto (Ipp) discriminadas nos Quadros 2 e 3 – objetiva,
através da relação genérica (quociente) Ie/It, onde Ie representa a situação ’de fato’ de
qualquer um dos atributos utilizados e It uma situação ideal, prevista em lei ou de
aceitação universal como um parâmetro de excelência, comparar os desempenhos das
ações de governo medidas pela ótica desses indicadores, com as medidas padrões ou
ideais aplicáveis ao fenômeno avaliado. Assim como no nível intermediário, esses
quocientes, representativos dos atributos, sofrem a influência das ponderações
aplicáveis aos atributos e dimensões que medem.
3. A República da Utopia na Era da Informação: Uma Ilustração da Metodologia
de Avaliação de Impacto de Políticas Públicas
3.1 – O Cenário Atual
Desde 1516, quando Sir Thomas Morus fundou a República da Utopia 35, sua
população nacional vem experimentando o eutopos36 da proposta original de seu
criador. Entretanto, com o tardio ingresso da economia do país na onda que a nova
revolução científico-técnica traz, seu governo tem enfrentado problemas na competição
globalizada, face aos níveis relativamente baixos da produtividade da economia da
ilha.
Concomitantemente, a introdução da tecnologia microeletrônica por algumas
empresas nacionais, sem que o governo central tenha elaborado qualquer política
pública para enfrentamento dos desafios dessa nova tecnologia, tem feito com que os
níveis de desemprego cresçam de modo preocupante, acarretando significativo
aumento nos gastos públicos com o Seguro Social.
Com a morte, há quatro anos, do Ádemo 37 que estava à frente do governo
daquela República, há mais de duas décadas, o colégio dos Filarcas38 elegeu um novo
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
11
Príncipe que, ao assumir a chefia do governo, submeteu ao Senado da República um
programa de governo com foco na sinergia das políticas educacionais e de combate ao
desemprego.39
A seguir detalhamos essa política pública aprovada pelo Parlamento local:
República da Utopia
Conselho dos Traníboras
Lei N° 100 – Define a Política
Pública de Governo Nacional para o
Quadriênio 2000 - 2003
Artigo Único:
É intenção do atual governo da República da Utopia elevar
a mediana dos anos de escolaridade da população nacional, na
faixa etária dos 18 aos 35 anos de idade, dos atuais 7,2 para 8,0
anos de educação (~11,11 %) no quadriênio 2000 - 2003.
Simultaneamente, essa política objetiva, ainda, reduzir em
$ 1,6 milhões os gastos públicos anuais efetivos com o Seguro
Desemprego pago á população alvo (~8,42 %).
No que concerne à dimensão política desse programa de
governo, é expectativa de seus formuladores alcançar índices
mínimos de adequação e propriedade desta política pública da
ordem de 55 %.
Finalmente, o atual governo objetiva, também, conceder
uma redução da carga tributária de até 3 % na situação fiscal da
economia do país, medida pelos atributos: Sustentabilidade Fiscal
dos Beneficiários e Sustentabilidade Fiscal da Política Pública.
Este esforço objetivo complementar o estímulo da República à
oferta de novos postos de trabalho suportados por expansão dos
investimentos privados domésticos e externos.
Amaurota, 31 de dezembro de 1999
O Quadro 4, página seguinte, resume o cenário e as metas definidas na Lei N°
100 de 31/12/1999:
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
12
Nível
Sintético
Nível
Intermediário
Nível
Analítico
Situação
Dimensão
Sócio-Cultural
(S)
Atributo
Indicadores de Sucesso
E x -Ante
Nível de Educação
(Se)
Emprego (Sr)
Adequação Política
(Pa)
Política (P)
Mediana dos Anos Escolaridade da
População com [18; 35] anos de idade (See)
Mediana Ideal dos Anos Escolaridade da
População com [18; 35] anos de idade (Set)
7,2 anos
8,0 anos
Gasto efetivo do Governo com Seguro
Desemprego (Sre)
$ 20,6 x 106
Receita Governamental com Seguridade
Social (Sr t)
$ 40 x 109
Adequação política efetiva da ação de
governo (Pa e)
43,7 %
Adequação política prevista (Pat)
55,0 %
Satisfação efetiva dos beneficiários com a
Propriedade Política ação de governo (Ppe)
(Pp)
Satisfação dos beneficiários prevista (Ppt)
40,6 %
55,0 %
Sustentabilidade
Fiscal
dos Beneficiários
(Eb)
Econômica (E)
Sustentabilidade
Fiscal
da Política Pública
(Ef)
Tributos efetivos provenientes dos
beneficiários (Ebe)
Tributos aplicados nas ações de governo
destinadas aos mesmos beneficiários (Ebt)
Valor efetivo dos benefícios
disponibilizados pelas ações de governo
(Efe)
$ 48,3 x 109
$ 3,2 x 109
$ 3,9 x 109
Valor contábil das mesmas ações de governo
(Eft)
$ 2,4 x 109
QUADRO-RESUMO DOS CENÁRIOS EDUCACIONAL / EMPREGOS NA REPÚBLICA DA
UTOPIA ANTES DA IMPLEMENTAÇÃO DA POLÍTICA PÚBLICA DEFINIDA PELA LEI N° 100
DE 31/12/1999
QUADRO 4
3.2. A Situação ao Final do Quadriênio de Implementação da Lei N° 100
O Quadro 5, a seguir, apresenta o resultado da avaliação de impacto da política
pública definida pela Lei N° 100, ao final do quadriênio 1999 – 2003:
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
13
Nível
Sintético
Nível
Intermediário
Nível
Analítico
Situação
Dime n s ã o
Sócio-Cultural
(S)
Atributo
Indicadores de Sucesso
Ex-Post
Nível de Educação
(Se)
Emprego (Sr)
Adequação Política
(Pa)
Política (P)
Mediana dos Anos Escolaridade da
População com [18; 35] anos de idade (See)
Mediana Ideal dos Anos Escolaridade da
População com [18; 35] anos de idade (Set)
7,7 anos
8,0 anos
Gasto efetivo do Governo com Seguro
Desemprego (Sre)
$ 19,1 x 106
Receita Governamental com Seguridade
Social (Sr t)
$ 39,6 x 109
Adequação política efetiva da ação de
governo (Pae)
43,9 %
Adequação política prevista (Pat)
56,4 %
Satisfação efetiva dos beneficiários com a
Propriedade Política ação de governo (Ppe)
(Pp)
Satisfação dos beneficiários prevista (Ppt)
47,9 %
57,3 %
Sustentabilidade
Fiscal
dos Beneficiários
(Eb)
Econômica (E)
Sustentabilidade
Fiscal
da Política Pública
(Ef)
Tributos efetivos provenientes dos
beneficiários (Ebe)
Tributos aplicados nas ações de governo
destinadas aos mesmos beneficiários (Ebt)
Valor efetivo dos benefícios
disponibilizados pelas ações de governo
(Efe)
$ 52,4 x 109
$ 3,8 x 109
$ 5,9 x 109
Valor contábil das mesmas ações de governo
(Eft)
$ 3,7 x 109
QUADRO-RESUMO DA SITUAÇÃO EDUCACIONAL / EMPREGOS NA REPÚBLICA DA UTOPIA
APÓS A IMPLEMENTAÇÃO DA POLÍTICA PÚBLICA DEFINIDA PELA LEI N° 100 DE
31/12/1999
QUADRO 5
Considerando as singularidades da conjuntura social, econômica e política da
Ilha – cada vez mais comprometedoras do ideal de fundação do Estado utopiano -, e
seus determinantes históricos, os analistas de políticas públicas do governo adotaram
as seguintes ponderações para os coeficientes ambientai40s utilizados na avaliação do
impacto das ações de governo deflagradas com a implementação da Lei N° 100:
a – peso da dimensão Sócio-Cultural (S) = 50
ß - peso da dimensão Política (P) = 30
? - peso da dimensão Econômica (E) = 20
d - peso do atributo Nível de Educação Se) = 30
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
14
e - peso do atributo Emprego Sr) = 70
? - peso do atributo Adequação Política (Pa) = 50
? - peso do atributo Propriedade Política (Pp) = 50
? - peso do atributo Sustentabilidade Fiscal dos Beneficiários (Eb) = 60
? - peso do atributo Sustentabilidade Fiscal da Política Pública (Ef) = 40
De acordo com a metodologia de análise de políticas públicas adotada, tais
variáveis devem adequar-se ao momento histórico e às características situacionais do
contexto objeto da transformação colimada, como já visto.
A aplicação das variáveis constantes dos Quadros 4 e 5 e seus ponderadores ao
modelo de avaliação proposto neste artigo nos leva aos seguintes valores e
interpretações:
As medidas das dimensões Sócio-Cultural; Política e Econômica Ex-Ante
foram, respectivamente:
Se = 5,42; Pe = 0,77; Ee = 9,70
Enquanto as medidas das dimensões Sócio-Cultural; Política e Econômica, ExPost, são, respectivamente:
St = 5,11; Pt = 0,81; Et = 8,91
A medida do Impacto da Política Pública (Lei No 100) na situação antes da
mesma ser implementada era:
Ippe = 488,10
O impacto medido pela avaliação dos mesmos indicadores com o emprego da
mesma metodologia no instante ex-post, resulta:
Ippt = 458,00.
De acordo com a metodologia de análise aqui proposta o impacto da política
pública (Lei No. 100) assume a expressão numérica do quociente:
Ipp = Ippt / Ippe = 0.94.
No item seguinte analisamos e discutimos o significado dos valores acima.
4. Analisando o Impacto da Lei No 100 de 31/12/1999
De modo geral a política pública não impactou significativamente as dimensões
S e P (o que pode ser calculado dividindo-se, respectivamente, cada valor dos
indicadores de sucesso, depois/antes). Esta constatação deve ser problematizada
através questions du depart tais como: O que seria necessário (fazer melhorar na ação
de governo) para tornar Se muito maior que St? Este mesmo raciocínio seria repetido
para as dimensões P e E.
Quais variáveis componentes de S, P e E, representadas na fórmula (modelo
matemático), são mais sensíveis à ação de governo? Por que elas são mais sensíveis?
Como se comportam tais variáveis? Que medidas administrativas elas requerem?
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
15
A Lei No 100 contempla (indica especificamente objetivos a serem alcançados.
Estes objetivos foram efetivamente atingidos? Em que medida? Com que grau de
satisfação para o público alvo? Como esta política pública contribui para uma
avaliação política favorável do governo?
A política pública implementadora da Lei Nº 100 foi parcialmente eficaz ao elevar
em 6,94 % o atributo Nível de Educação (Se), contra uma previsão 11,11 %. Do mesmo
modo, no atributo Emprego (Sr), foi atingida uma redução do Gasto Efetivo com o Seguro
Desemprego (Sre) da ordem de 7,28 % quando o previsto era 8,42 %, alcançando deste
modo 86,46 % da meta prevista na Lei.
De modo análogo ao raciocínio acima devem ser analisados os indicadores de
sucesso (nível analítico) e atributos (nível intermediário) das demais dimensões.
É importante destacar que embora o impacto da Lei Nº 100 no atributo
Sustentabilidade Fiscal dos Beneficiários tenha atingido 8,68 %, cerca de três vezes a
concessão prevista (3,0 %), a metam não foi plenamente alcançada. Resta, assim, ao
avaliador especializado aprofundar nos questionamentos: O que funcionou na PP? O que
não funcionou? Por que funcionou ou não? Como funcionou a favor ou contra? O que
fazer, então?
5. Conclusão
A metodologia de avaliação da efetividade das ações de governo aqui proposta,
além de endereçar à casuística do serviço público e aos determinantes históricos das
sociedades em desenvolvimento, procura superar a situação de acomodação a uma
cidadania induzida e prestações de contas obrigatórias por parte das autoridades
públicas. Antecipa, de forma fundamentada, uma nova era para a relação sociedadeestado, contribuindo para uma sensata ‘destruição construtiva’41 das instituições
implicadas no processo de construção e consolidação de verdadeiras democracias
propulsoras de desenvolvimento social, político e econômico centrado nos
beneficiários obrigatórios das ações de governo – os cidadãos.
Graças aos avanços disponibilizados pelos sistemas de comunicação mediados
pela microeletrônica, tornou-se viável para uma nova geração de cidadãos conectados
em rede mundial cogitar sobre a cobrança de melhores desempenhos das
administrações públicas. Os sistemas decisórios praticados nas atividades de planejar,
organizar, dirigir e controlar empreendimentos sofisticados, típicos das ações de
governo orientadas para o desenvolvimento, pode passar a disponibilizar informações
reveladoras das competências gerenciais dos agentes estatais. Essa nova realidade deve
ser suportada por uma metodologia de avaliação objetiva, focada na congruência entre
o discurso dos dirigentes do Estado e as correspondentes realizações, todas,
necessariamente, passíveis de medição, discussão e julgamento. Nesse contexto de
cidadania dinâmica e democrática, a avaliação de impacto das ações de governo,
dispondo de informações mais precisas sobre diferentes cenários, públicos, privados ou
mistos, configura-se como instrumento gerencial estratégico para o Estado e a
sociedade enfrentarem, ambos, o desafio de rompimento com a submissão às
tendências históricas – renovando e inovando, destruindo e construindo – mediante
corajosa formulação, implementação e avaliação de transformações permanentes das
condições atuais das sociedades em acelerado processo de mudança.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
16
Os tempos atuais são de inclusão consciente, democrática e responsável dos
cidadãos nas decisões de governo – quer as domésticas como as internacionais – para a
formulação de uma nova ordem global. Em todo o mundo42 as políticas públicas e sua
pertinente avaliação têm merecido aguda atenção.
Mesmo nas sociedades mais desenvolvidas, a consulta popular pode ser
considerada uma prática em desenvolvimento,43 no que concerne a ouvir o cidadão
sobre sua satisfação com as ações de governo e sobre quais políticas públicas ele
priorizaria na agenda. As premissas inspiradoras dos novos paradigmas mundializados,
lembrados na introdução deste documento, deixam aberto um caminho para os gestores
capazes de exceder os limites da administração legislada e exercê-la com o
profissionalismo requerido dos políticos e governantes dotados das competências que o
novo século cobra como, por exemplo, aquelas especificadas por Dror44:
§
Intervir em processos históricos;
§
jogar politicamente fazendo escolhas críticas que irão
modelar o futuro;
§
apoiar e impelir processos sociais criativos e evolutivos;
§
arquitetar ativamente as estruturas e processos sociais rumo
à inovação;
§
lidar habilmente com complexidades crescentes, além da
compreensão disponível;
§
escolher prioridades entre valores ambíguos e em constante
mudança;
§
mobilizar apoio para uma dolorosa e inevitável destruição
construtiva.
É, precisamente, com esses conceitos e valores que propomos a metodologia
objeto deste ensaio e que, esperamos, ela possa contribuir para o desenvolvimento e
progresso da humanidade neste mundo de tão insuportáveis diferenças, desperdícios,
prepotência e aneticidade.
Notas
1
SARAVIA, 1993.
Há trinta anos Jan Drewnoski realizou um estudo extenso sobre a medição da qualidade de vida,
publicado em On measuring and planning the quality of life. The Hague: Mouton, 1974.
3
CAMPOS, 1990 : 30-50.
4
CRISTOFOLETTI, 1972.
5
O Fórum Social Mundial realizado de 25 a 30 de janeiro de 2001, em Porto Alegre-RS, Brasil.. <
www.fittel.org.br/formacao/forum_social/fms.htm>.
6
SOUZA SANTOS, 1996.
7
FRANCO, 1992.
8
LOBATO, 1997: 30-48.
9
Ação de governo que se suporta exclusivamente pelos efeitos ‘pirotécnicos’ que provoca.
10
DROR, 1982.
2
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
17
11
SUBIRATS, 1989.
FRANCO, Rolando; COHEN, Ernesto, 1992.
13
WARREN, Ilse S-; FERREIRA, José M. C. (orgs), 2002.
14
HOOD, Christopher C., 1976.
15
SEN, Amartya, 1979 e 1970.
16
FREYRE, Gilberto, 1983.
17
SOUZA SANTOS, 1996.
18
. RIGGS, Fred W., 1964.
19
MOTTA, 1997.
20
CAMPOS, Anna M., 1990.
21
PINTO, Luiz F. da S. Sagres, 2000.
22
CARDOSO e FALLETO, Fernando H. e Enzo, 1981.
23
MARINI, Ruy M., 1982.
24
MONTEIRO, Jorge V., 1997.
25
ARRUDA, José J.; Fonseca, Luís A. da (orgs)., 2001.
26
BARAN, Paul A., 1977.
27
DELORS, Jacques, 1971.
28
AMARAL, João F. do et all., 1992.
29
FURTADO, Celso., 1980.
30
GINI, Corrado, 1914.
31
HISCH, Fred, 1979.
32
SANTOS, Theotônio dos, 1977.
33
SIMONSEN, Mario H., 1978 e 1992.
34
CREJEIRA, Carlos A. et all., 1982.
35
Utopia, do grego outopos: lugar nenhum.
36
Eutopos, do grego: lugar melhor.
37
Barzame ou Príncipe; mais alto magistrado local.
38
Ou Sifograntes, do grego: que amam; eleitos anualmente pelos membros de um conjunto de trinta
famílias.
39
Ver a forma de organização de governo da Utopia em: MORE, 1972.
40
Ver item 2.3.1.
41
SCHUMPETER, Joseph, 1989 e 1951.
42
Veja-se, por oportuno, o pensamento de HENDRICH, Klaus-Jürgen, 1996.
43
No Brasil tem-se procurado educar o cidadão de forma a convencê-lo quanto à necessidade do seu
envolvimento com o tema do orçamento público. Iniciativas como a do BNDES no endereço
<www.federativo.bndes.gov.br/dicas/D092%20-%20Orçamento%20participativo.htm> disponibilizam
conceitos e metodologias para cidadãos individualmente ou através organizações sociais se integrarem
no balance da relação sociedade-estado.
44
Dror (Op.Cit.) observou existirem duas pré-condições para implementar este estilo de administração
pública: (1) obter apoio político; (2) conseguir que os líderes políticos tomem parte ativa no movimento
rumo a uma administração pública tipo delta.
12
Bibliografia
AMARAL, João F. do et all. The Portuguese economy towards 1992. Boston: Kluwer, 1992.
ARRUDA, José J.; Fonseca, Luís Ada. (orgs). Brasil-Portugal: História, agenda para o milênio. Lisboa:
ICCTI, 2001.
BARAN, Paul A. A economia política do desenvolvimento. Rio de Janeiro: Zahar, 1977.
CAMPOS, A. M. Accountability: quando poderemos traduzi-la para o português? in Revista de
Administração Pública. Rio de Janeiro: FGV, 1990, 24 (2): 30-50.
CARDOSO e FALLETO, Fernando H. e Enzo. Dependência e desenvolvimento na América Latina. Rio
de Janeiro: Zahar, 1981.
CREJEIRA, Carlos A. et all. Gestão pública – Uma abordagem integrada. Lisboa: LTC, 1982.
CRISTOFOLETTI, Antônio. Controle in Enciclopédia Mirador Internacional. Rio de Janeiro: Britannica, 1972.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira
18
DELORS, Jacques. Les indicateurs sociaux. Paris: Futuribles, 1971.
DROR, Iehezkel. Análisis de políticas para gobernantes in Revista Venezoelana de Desarrollo
Administrativo. Caracas: Nº 1, Enero 1982.
FRANCO, Rolando e COHEN, Ernesto. Evaluación de proyectos sociales. México: Siglo XXI, 1992.
FREYRE, Gilberto. Casa-Grande & Senzala: formação da família brasileira sob o regime da economia
patriarcal. Rio de Janeiro: José Olympio, 1983.
FURTADO, Celso. Pequena introdução ao desenvolvimento: enfoque interdisciplinar. São Paulo:
Companhia Editora Nacional, 1980.
GINI, Corrado. L'ammontare e la composicione della richezza delle nazioni. Torino: Fratelli Boca, 1914.
HENDRICH, Klaus-Jürgen Atribuições da política estatal de desenvolvimento. In: Desenvolvimento Econômico
ou Humano? Reflexões sobre uma nova política de desenvolvimento, Série Traduções, Nº 9. São
Paulo: Fundação Konrad-Adenauer-Stiftung, 1996.
HISCH, Fred. Limites sociais do crescimento. Rio de Janeiro: Zahar, 1979.
HOOD, Christopher C. The limits of administration. Londres: John Wiley&Sons, 1976.
LOBATO, Lenaura. Algumas considerações sobre a representação de interesses no processo de formulação de
políticas pública in Revista de Administração Pública. Rio de Janeiro: FGV, 1997, 30 (1): 30-48.
MARINI, Ruy M. Dialéctica de la dependência. 6a. ed. México, DF: Era, 1982.
MONTEIRO, Jorge V. Os níveis de análise das políticas públicas. In Textos da Disciplina Gestão de
Políticas Públicas. Rio de Janeiro: FGV/EBAP/CIPAD, 1997, mímeo.
MORE, Thomas. A Utopia. In: Os Pensadores, vol X, p. 159-314. São Paulo, Editora Abril, 1972.
MOTTA, Paulo Roberto. Planejamento Estratégico. In: CIPAD/Textos da Disciplina. Rio de Janeiro:
FGV/EBAP, 1997.
PINTO, Luiz F. da S. Sagres: A revolução estratégica. Rio de Janeiro: FGV, 2000.
RIGGS, Fred W. Administration in developing countries: The theory of prismatic society. Boston:
Houghton, 1964.
SANTOS, Theotônio dos. Imperialismo e corporações multinacionais. Rio de Janeiro: Paz e Terra, 1977.
SARAVIA, Enrique. Documento preparado para a rede iberoamericana de instituições de formação e
pesquisa em gerência pública. Rio de Janeiro - Caracas: FGV-CLAD, 1993, edição em
português.
SCHUMPETER, Joseph A. Essays on entrepreneurs, innovations, business cycles, and the evolution of
capitalism. New Brunswick, N.J.:Transaction Publishers, 1989.
______ Ten great economists: from Marx to Keynes. New York: Oxford University Press, 1951.
SEN, Amartya K. Collective choice and social welfare. Amsterdam: North-Holland, 1979.
_____ Growth economic: selected readings. Harmondsworth: Penguin Books, 1970.
SIMONSEN, Mario H. O crescimento economico e seus fatores limitados. [Brasilia, D.F.]: Ministerio da
Fazenda, 1978.
_____ De la estabilizacion al crecimiento en America Latina. San Francisco: Centro Internacional para
el Desarrollo Economico (CINDE), 1992.
SOUZA SANTOS, Boaventura de. Pelas mãos de Alice – o social e o político na pós-modernidade. São
Paulo: Cortez, 1996.
SUBIRATS, Joan. Análisis de políticas y eficácia de la administración. Madrid, INAP/MAP, 1989.
WARREN, Ilse S-; FERREIRA, José M. C. (orgs). Transformações sociais e dilemas da globalização:
Um diálogo Brasil-Portugal. São Paulo: Cortez, 2002.
FGV/EBAPE, Programa de Estudos Administração Brasileira, Biblioteca Virtual de Administração Brasileira