Descentralização, Financiamento e Desempenho Escolar
:Avaliação do FUNDEF à Luz do Desempenho no SAEB
Autoria: Fatima Elisabete Pereira Thimoteo e Eduardo Granha Magalhães Gomes
Resumo
O artigo procura avaliar os efeitos do Fundo de Manutenção e Desenvolvimento do
Ensino Fundamental e Valorização do Magistério, o FUNDEF, por meio de um cruzamento
com os dados fornecidos pelo SAEB (Sistema de Avaliação do Ensino Básico), entre 1997 e
1999. O enfoque privilegia os efeitos da nova política de financiamento quanto ao
desempenho dos alunos nas provas.
Observa-se uma baixa correlação entre a variação das notas entre 1997 e 1999 e o
aporte de recursos do FUNDEF. Por outro lado, constata-se um significativo aumento da
homogeneidade tanto na aplicação dos recursos, quanto no desempenho, entre as 27 unidades
da federação, apesar deste aumento de homogeneidade convergir a patamares de desempenho
inferiores aos obtidos em 1997 no SAEB.
Finalmente, introduzimos outras variáveis que consideramos importantes para a
explicação da evolução do desempenho, como a distribuição da rede escolar entre estado,
municípios e rede particular, as formas de organização pedagógicas predominantes, a
evolução da municipalização nos estados, bem como a sua configuração geopolítica.
Variáveis estas que representam desigualdades inerentes ao sistema descentralizado de
educação, as quais o FUNDEF desconsidera.
Introdução
As profundas e históricas desigualdades sociais geradas pelo processo de
desenvolvimento brasileiro explicam, em grande medida, o atraso educacional de décadas e a
baixa escolaridade média da população. Constata-se uma relação de causalidade muito forte
entre baixa escolaridade e pobreza, sendo que o descaso com a educação alimentou o círculo
vicioso da exclusão social, refletindo e acentuando as desigualdades sociais e regionais.
As relações entre as esferas de governo no que se refere à educação brasileira foram
historicamente marcadas pela centralização dos recursos e das decisões normativas e pela
descentralização do atendimento; em geral sob responsabilidade dos estados, nas áreas mais
desenvolvidas, e dos municípios, nas áreas menos desenvolvidas. Outra característica
importante no modelo brasileiro era a indefinição quanto às responsabilidades específicas de
cada nível de governo em relação à oferta dos diversos níveis e modalidades de ensino, o que
exemplifica o descaso mencionado.
As novas regras institucionais, estabelecidas na Constituição de 1988 e
particularmente na Lei de Diretrizes e Bases da Educação em 1996, refletem o debate sobre a
descentralização do Estado, o que implica na redefinição dos papéis desempenhados por todas
as esferas governamentais, uma vez que a prestação direta dos serviços educacionais deve ser
percebida como responsabilidade igualmente compartilhada entre as esferas de governos
subnacionais, e deve contar com a participação ativa da sociedade.(CASTRO,1999)
Objetivando a universalização do ensino fundamental, a maior eqüidade do acesso, a
melhoria da qualidade do ensino e a eficácia e eficiência na prestação de serviços
educacionais, um novo desenho de política educacional pautado na descentralização
federativa e na desconcentração do poder decisório é implementado a partir da metade dos
anos 90.
1
Na área do financiamento do ensino fundamental este novo desenho se materializa
com a implementação do Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e
de Valorização do Magistério (FUNDEF) em 1998.
Buscando analisar a relação entre financiamento da educação e melhoria do
desempenho escolar, procedemos à análise dos resultados obtidos pelos estudantes brasileiros
no Sistema de Avaliação da Educação Básica nos anos de 1997 e 1999, com os seguintes
questionamentos:
1. Qual o impacto do FUNDEF na melhoria do desempenho escolar, entendido como
qualidade?
2. Qual a contribuição do FUNDEF para diminuição da heterogeneidade regional?
3. Qual a contribuição do FUNDEF para a descentralização, ou mais precisamente, para a
municipalização do ensino fundamental?
4. Há outros impactos observáveis?
5. Quais as lições que podem ser extraídas da análise do seu impacto nos dois anos?
Descentralização: fatores-chave
Segundo Arretche (1998) o processo de descentralização no Brasil, mais
especificamente seu sucesso, estaria condicionado ou fortemente influenciado por uma série
de fatores e variáveis que são classificados em 03 categorias: estrutural, institucional e
política. As variáveis de ordem estrutural estariam relacionadas às características das unidades
de governo para as quais se pretende transferir a gestão das políticas, o que envolve fatores de
ordem econômico-fiscal e fatores de natureza técnico-administrativa. Os primeiros
relacionando-se à capacidade das unidades assumirem os custos financeiros da gestão das
funções agora sob sua responsabilidade; os seguintes, à capacidade técnica localmente
instalada para desempenho das funções descentralizadas.
Por sua vez, os fatores institucionais estariam relacionados:
à natureza ou ao tipo de política social, considerando assim o seu grau de
complexidade e a decorrente engenharia operacional necessária à sua descentralização
e gestão;
ao legado das políticas anteriores ou seja, a forma como escolhas institucionais
anteriores conformam as políticas subsequentes;
às regras constitucionais ou às imposições normativas legais que determinam as
políticas e as condições de oferta dos serviços públicos.
Finalmente, os fatores ligados à ação política referem-se às relações entre os níveis de
governo, particularmente aquelas relacionadas às estratégias de indução dos governos
interessados na transferência de funções; e às relações entre Estado e sociedade, mais
precisamente a participação, capacidade e efetividade de pressão da sociedade civil
organizada sobre os governos locais, quanto à prestação dos serviços públicos.
Com base nesta perspectiva teórica, passamos à descrição dos elementos estruturais,
institucionais e políticos consubstanciados no desenho da política educacional brasileira com
enfoque na política de financiamento adotada pelo Governo Federal.
Política Educacional
Na educação, assim como nas demais políticas e programas sociais, o modelo adotado
durante o regime militar de expansão quantitativa desordenada e não pautada na “educação
geral para todos” acabou por comprometer sua qualidade. O modelo implantado se
caracterizava por extrema centralização política e financeira no nível federal; por acentuada
fragmentação organizacional; pela quase nula participação social; pela predominância dos
2
conteúdos corporativos nas decisões e condução dos programas e pelo uso clientelístico dos
recursos e distribuição de benefícios.
Com a crise do Estado, no final da década de 70, as teses neoliberais ganham posição
hegemônica e atribuem à essência do Estado a responsabilidade pela sua própria crise e pela
crise econômica: ineficiência, ineficácia, práticas corporativas da burocracia e baixa qualidade
de produtos e serviços são, nesta visão, características da ação estatal que originaram a crise.
Uma corrente progressista, que postula a necessidade da diminuição da pobreza,
desigualdade e injustiça social, embora não compartilhando da visão neoliberal sobre a raiz da
crise do Estado, compartilha de algumas de suas críticas, apontando, entre outros problemas,
a centralização e burocratização, a apropriação do aparelho estatal por interesses privados e
corporativos e a má qualidade dos serviços. Desta forma, também os progressistas assumem a
modernização da gestão, “passando a preocupação com a eficácia e com a eficiência na
utilização de recursos a se articular à busca da eqüidade e da democratização da política
educacional,” sendo a democratização da gestão considerada como pressuposto da eqüidade e
envolvendo as dimensões gerenciais e políticas. (FARAH, 1994)
É sob esta perspectiva de relativo “consenso” que se pode analisar os condicionantes
do modelo de política vigente, que vêm se desenhando ao longo da história, e que se
expressam através de princípios como a igualdade de condições para o acesso e a
permanência, o pluralismo de idéias, a gestão democrática do ensino público e a garantia de
padrão de qualidade, princípios estes que estão claramente estabelecidos nas normas
institucionais, que passamos a descrever.
Arcabouço Institucional-Legal
A Constituição Federal de 1988 elevou os municípios à condição de entes federativos,
aumentou sua autonomia financeira e estabeleceu o regime de colaboração como princípio de
relacionamento entre as esferas de governo na organização dos sistemas e serviços
educacionais. Assim, a educação é um direito de todos e dever do Estado, através de todos os
níveis da Federação. Entretanto, a Constituição estabeleceu apenas em termos gerais as
competências dos níveis de governo em relação à participação na provisão do ensino, o que
acabou gerando forte sobreposição de competências entre os entes federativos.
É pela a Lei de Diretrizes e Bases da Educação Nacional (LDB), Lei 9394 de 1996,
que se estabelecem as formas de organização da educação nacional, criando-se os Sistemas de
Ensino nos níveis Federal, Estadual e Municipal e definindo-se as incumbências de cada
nível da Administração (União, Estados e Municípios) em relação às prioridades de
atendimento, à organização do seu sistema e à articulação e integração às políticas e planos
educacionais das demais esferas.
Mesmo tendo a LDB especificado as prioridades de atendimento, atribuindo a oferta
de ensino fundamental à responsabilidade dos municípios, e do ensino médio, aos Estados,
continua havendo confusão e, sobretudo, “irresponsabilização” das instâncias. O modelo se
baseia no princípio constitucional de competências concorrentes, o que já gerou
entendimentos equivocados sobre o significado de regime de colaboração entre esferas de
governo.
A LDB atribui ainda forte poder regulatório à União, a qual cabe a coordenação da
política nacional, articulando os diferentes níveis e sistemas, exercendo função normativa,
redistributiva e supletiva. As duas últimas funções objetivam garantir a equalização de
oportunidades educacionais e um padrão mínimo de qualidade de ensino, mediante assistência
técnica e financeira aos entes federativos. (CF/1988, art 211)
Compete também à União a coleta, análise e a disseminação de informações sobre a
educação, assim como é sua responsabilidade assegurar o processo nacional de avaliação do
3
rendimento em todos os níveis, em colaboração com os sistemas, objetivando a definição de
prioridades e a melhoria da qualidade do ensino.
De acordo com as disposições legais, às esferas estaduais e municipais cabe a
regulamentação complementar dos seus sistemas de ensino a partir dos preceitos federais, o
que faz com que, ainda que submetidos à legislação nacional, os sistemas educacionais se
caracterizem pela heterogeneidade em organização, conteúdo e desempenho.
Assim, por se constituir em um sistema descentralizado, a elaboração e disseminação
das Diretrizes Curriculares Nacionais e dos Parâmetros Curriculares Nacionais (PCNs), para
todos os níveis e modalidades da educação básica, cumprem a norma legal que determina
que cabe à União, em colaboração como os demais entes federados, estabelecer as diretrizes
que norteiem os currículos e seus conteúdos mínimos, a fim de assegurar a formação básica
comum. As Diretrizes Curriculares Nacionais são o conjunto de definições doutrinárias sobre
princípios, fundamentos e procedimentos da Educação Básica, e, portanto, são mandatórias.
Definido o paradigma curricular que integra a Base Nacional Comum, a escola
compartilha do princípio de responsabilidade, uma vez que cabe a ela a definição de seu
projeto pedagógico e de seu regimento, em consonância com as diretrizes nacionais e com as
normas determinadas pelo sistema ao qual está vinculada. Os Parâmetros Curriculares servem
como subsídios à elaboração das propostas pedagógicas das escolas.
Avaliação e Financiamento
Em termos de política educacional para o ensino fundamental, pode-se identificar
quatro conjuntos de medidas adotadas pelo governo federal a partir de 1995, que refletem o
processo de reforma experimentado pelo sistema público. (DRAIBE, 1999)
São eles:
a definição de um quadro referencial para os conteúdos do ensino, através dos
Parâmetros Curriculares Nacionais;
na dimensão dos recursos e gastos, a alteração da lei do financiamento educacional
(FUNDEF), mediante um novo sistema de transferências intergovernamentais
fortemente indutor da municipalização;
no plano das ações federais de regulação e supervisão do ensino, a montagem do
sistema de estatísticas e de avaliações educacionais, entre elas o SAEB e o Censo
Escolar;
a radicalização da política de descentralização dos programas federais de apoio ao
ensino fundamental, especialmente o de reforço financeiro das escolas, o da merenda
escolar e o de capacitação docente, mediante o ensino à distância.
A vinculação entre reforma e avaliação não foi casual. Sob o enfoque de um
compromisso ideológico global com a desregulamentação e a redução do tamanho do governo
central, as reformas enfatizaram processos (deslocamento de funções e serviços aos níveis
mais baixos de governo, descentralização da gerência, privatização), cujos aspectos
dependiam, para credibilidade e “accountability”, da medição de resultados e da avaliação dos
programas. (CAIDEN, 1998).
SAEB
O Sistema Nacional de Avaliação da Educação Básica (SAEB), criado em 1990,
adquiriu um papel estratégico a partir de 1995, com a reestruturação do Instituto Nacional de
Estudos e Pesquisas Educacionais (INEP). O SAEB é aplicado de dois em dois anos, para
medir o desempenho dos sistemas de ensino. Trata-se de uma avaliação em larga escala,
realizada com alunos do 4º e 8º anos do Ensino Fundamental e da 3º ano do Ensino Médio,
cujos resultados “fornecem um diagnóstico fiel da educação básica, oferecendo informações
4
técnicas e gerenciais que permitem monitorar a qualidade, a eqüidade e a efetividade dos
sistemas de ensino” (CASTRO, 2000).
A produção de informações educacionais relaciona-se ao desenvolvimento de
indicadores que permitam identificar os fatores que influenciam a aprendizagem dos alunos e
os principais problemas do sistema educacional brasileiro. A constatação destes fatores pode e
deve facilitar a ação mais efetiva de todos os que trabalham com educação no
desenvolvimento de políticas de melhoria da qualidade do ensino, reforçando o alinhamento
entre currículo desejado e implementado. (WOLFF, 1997)
Em que pese os argumentos desfavoráveis à realização de uma avaliação externa nos
moldes da adotada pelo governo, em um país de tantas diferenças culturais e regionais e para
o qual não há um currículo nacional definido e onde a legislação prevê autonomia da escola
na elaboração de seu projeto pedagógico, assumimos que o mecanismo atende a norma
institucional estabelecida, cabendo ao governo federal a sua execução.
Desta forma a avaliação poderá ser considerada um instrumento útil à adequação
financeira, ao progresso substantivo dos programas, à competência profissional e à
responsabilidade pública.
FUNDEF
Com gastos públicos com educação equivalentes à proporção média de gasto dos
países desenvolvidos, os gastos do Brasil já se aproximavam de cerca de 5% do Produto
Interno Bruto (PIB) quando a Constituição estabeleceu a compulsoriedade de um nível
mínimo de gastos de 25% das receitas dos estados e municípios e de 18% das receitas da
União. Salienta-se que, no entanto, pela regra estabelecida, a capacidade de investimentos dos
estados e municípios no ensino fundamental dependia de sua capacidade de arrecadação, o
que provocou o aumento das desigualdades e distorções. Como afirma Castro, “com algumas
exceções, a capacidade de investimento de estados e municípios era inversamente
proporcional às responsabilidades de cada um na manutenção das redes de ensino
fundamental”. (CASTRO,1999)
Buscando corrigir a acentuada desigualdade e as graves distorções geradas, o governo
federal criou, por meio da Emenda Constitucional n.º 14, da Lei n.º 9.424/96 e do Decreto n.º
2.264/97, o FUNDEF: Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e
de Valorização do Magistério.
Para o governo federal o FUNDEF é “um exemplo inovador de instrumento de política
social que articula os três níveis de governo e incentiva e promove a participação da sociedade
na promoção da justiça social; de uma política nacional de eqüidade no acesso de recursos
destinados à educação fundamental; da efetiva descentralização e da melhoria da qualidade
da educação e valorização do magistério.”
Instituído no âmbito de cada Estado e do Distrito Federal, o FUNDEF se caracteriza
como um fundo de natureza contábil, com contas únicas e específicas dos Governos
Estaduais, do Distrito Federal e dos Municípios, vinculadas a ele. Há uma automaticidade de
repasses de recursos, calculados com base na quantidade de alunos informada nos dados do
Censo Escolar, feito anualmente pelo MEC. Há vinculação a impostos, ao ensino fundamental
público, à remuneração do magistério e habilitação de professores leigos nos primeiros cinco
anos de vigência do fundo. A fiscalização e controle são encargos dos Conselhos de
Acompanhamento e Controle Social do FUNDEF, criados por leis estaduais e municipais
específicas.
Basicamente, as novas regras institucionais de financiamento do ensino fundamental
estabelecem que:
5
os Estados e Municípios devem aplicar, no mínimo, 15% das suas receitas,
inclusive as provenientes de transferências intergovernamentais, exclusivamente na
manutenção e desenvolvimento do Ensino Fundamental pelo prazo de 10 anos;
os recursos que compõem o FUNDEF devem ser redistribuídos entre o Estado e
seus Municípios de acordo com o número de alunos matriculados nas respectivas
escolas estaduais e municipais do Ensino Fundamental presencial de 1ª a 8ª série;
no mínimo 60% desses recursos devem ser utilizados exclusivamente no
pagamento da remuneração dos profissionais do magistério em efetivo exercício
docente, sendo que parte dessa parcela poderia ser usada até 2001 para habilitação de
professores leigos;
anualmente será fixado um valor mínimo nacional por aluno, levando-se em conta
a previsão de receita total para o Fundo e a matrícula total do Ensino Fundamental,
sendo responsabilidade do Governo Federal complementar os recursos do Fundo
sempre que, no âmbito de cada Estado, o valor anual por aluno não alcançar o mínimo
definido nacionalmente.
Os recursos que compõem o FUNDEF são provenientes de 15% das seguintes fontes
principais de receitas dos Estados e Municípios: Imposto sobre Circulação de Mercadorias e
Serviços – ICMS; Fundo de Participação dos Estados e dos Municípios (FPE e FPM);
Imposto sobre Produtos Industrializados, proporcional às exportações IPIexp.;
e
ressarcimento pela desoneração de exportações de que trata a Lei Complementar n.º 87/96
(Lei Kandir).
Destaca-se que, além dos recursos redistribuídos pelo FUNDEF, a Emenda
Constitucional 14/96 também destina ao ensino público fundamental os recursos provenientes
do salário-educação e de parcela dos impostos próprios dos Estados e Municípios, para os
quais estabelece a subvinculação de 15% para este nível de ensino.
Uma avaliação positiva do mecanismo de financiamento pode ser apontada por
disciplinar o uso de recursos para o ensino fundamental, alocando recursos em relação ao
número de alunos na rede e minimizando assim as disputas pelo domínio das redes, ao
permitir que a discussão sobre financiamento não se vincule à discussão sobre gestão. Em um
país marcado por grandes desigualdades regionais, é extremamente importante o fato de se
estabelecer uma garantia mínima de financiamento ao obrigar o governo federal a
complementar recursos federais orçamentários sempre que Estados e municípios estiverem
abaixo de um determinado valor.
Outro aspecto a ser ressaltado na medida refere-se à carreira do professor, pela
exigência da elaboração dos Planos de Carreira, e à política salarial das redes, com
proposição de um salário médio mensal para os professores de ensino fundamental com 20
horas-aula semanais equivalente ao custo médio de um aluno por ano.
O Balanço do FUNDEF 1998 –2000, divulgado pelo MEC, após realização de
pesquisa pela FIPE/USP, indica alguns resultados obtidos após a implantação obrigatória do
mesmo em 1º de Janeiro de 1998, em nível nacional. Dentre estes resultados, destacamos a
seguir aqueles que interessam ao foco deste trabalho:
estímulo à municipalização da matrícula, com maior equilíbrio entre as redes
estaduais e municipais, estas últimas responsáveis pelo atendimento a 49,3% da
matrícula do ensino fundamental em 1999, contra uma participação de 40,7% em
1997. O número de municípios com atendimento à modalidade passou de 5206 em
1997 para 5339 em 1999;
a redistribuição de recursos aumentou de R$13,3 bilhões em 98 para R$ 17,0
bilhões em 2000, segundo estimativas. O aumento da redistribuição aos municípios
confirma a tendência indutora à municipalização do atendimento nesta modalidade.
Assim, os municípios que receberam 38% dos recursos, passarão a 44% em 2000;
6
diminuição da assimetria no que se refere à disponibilidade de recursos para o
financiamento do ensino fundamental, entre as diferentes unidades da federação, e no
âmbito de cada uma delas em razão do estabelecimento de valor único nacional por
aluno;
melhoria dos valores por aluno alcançada nas regiões mais carentes, apesar do
aumento em seu atendimento;
melhoria na titulação dos professores da rede pública, evidenciado por exemplo
pela queda na proporção de professores leigos no corpo docente da rede pública (de
6,3% em 1997 para 3,1% em junho de 2000).
Enfocando proposta expressa do governo federal de uma política nacional de eqüidade
no acesso de recursos destinados à educação fundamental, da efetiva descentralização e da
melhoria da qualidade da educação, passamos à análise dos resultados observados na pesquisa
realizada.
Metodologia
A metodologia usada visando o cruzamento dos repasses do FUNDEF com o
desempenho escolar medido pelo SAEB comparou os dados de 1997 e 1999. Como já
colocado, o FUNDEF teve início obrigatório em 1998. Assim, os estudantes submetidos ao
SAEB/99 tiveram por dois anos os recursos do fundo.
Caso o FUNDEF fosse o único determinante do desempenho, encontraríamos uma
forte relação de causalidade entre os recursos investidos e a melhoria na qualidade dos alunos,
medida pelo SAEB. No entanto, as notas obtidas pelo SAEB em 1999 são, em geral,
inferiores àquelas obtidas em 1997. Há algumas tentativas de explicação para essa queda,
como a expansão acelerada no número de alunos na educação fundamental (aumentando em
5,4% entre 1997 e 1999), levando a taxa de escolarização líquida para 96,1% das crianças
ente 7 e 14 anos, quando em 1996 era 90,8%. Esta expansão teria promovido a incorporação
de alunos anteriormente excluídos do sistema educacional, com provável desempenho
inferior. Explicação que será questionada a partir da análise dos dados.
Outra explicação para a queda no desempenho é atribuída à diferenciação no nível das
provas de 97 e 99, o que precarizaria a comparação.
De toda forma, para contornar esta possibilidade, procedemos a uma análise
comparativa da evolução percentual das notas dos estados entre 1997 e 1999. Assim,
eliminamos a interferência de uma eventual “prova mais difícil” na análise. Estas evoluções
foram então cruzadas com os recursos de FUNDEF: se houvesse um forte relação de
causalidade, aqueles estados que tiveram mais recursos teriam uma evolução melhor.
Procedemos também uma análise da homogeneidade dos recursos e do desempenho no
SAEB, por meio de comparações do coeficiente de variação relativo aos recursos do
FUNDEF e às notas do SAEB, nos dois anos. O coeficiente de variação (CV) refere-se à
relação percentual entre o desvio padrão e a média da amostra, e é um bom indicador de
homogeneidade. Ou seja, caso todos os estados tirassem a mesma nota no SAEB em 1997,
por exemplo, o CV seria igual a zero (0), uma vez que não haveria variabilidade.
A partir dos índices de evolução no desempenho (evolução percentual da nota no
SAEB em 1997 e 1999), estabelecemos um “ranking” de desempenho e selecionamos os 4
melhores e os 4 piores estados, para uma análise mais detalhada.
Uma vez que a relação “recursos do FUNDEF e desempenho no SAEB” se mostrou
frágil, procuramos outras explicações para o desempenho, analisando as variáveis: evolução
das matrículas, forma de organização predominante, e distribuição da rede escolar entre
estabelecimentos municipais e estaduais.
7
Resultados
A avaliação do FUNDEF à luz do desempenho dos estados no SAEB foi feita
verificando a existência de relações estatísticas entre os recursos repassados aos estados e o
desempenho evolutivo dos mesmos entre 1997 e 1999 no SAEB, o que poderia indicar uma
causalidade. Os dados utilizados consolidados constam da tabela abaixo:
Tabela 1
Nota
Nota
Variação Recursos Estado
Nota
Nota
Variação Recursos
média
média
99/97
do
média
média
99/97
do
97
99
(%)
FUNDEF
97
99
(%)
FUNDEF
RR
197,8
200,2
1,2
1828
MA
200,6
191,1
-4,7
630
ES
210,4
212,5
1,0
1005
PA
208,3
198,4
-4,8
630
AP
204,2
201,0
-1,6
1398
RO
209,5
198,1
-5,5
816
RJ
222,2
218,4
-1,7
1254
GO
223,5
211,3
-5,5
668
MG
206,4
202,0
-2,1
934
TO
203,2
191,4
-5,8
805
AL
199,7
194,8
-2,5
651
RN
207,2
193,9
-6,4
724
RS
221,9
216,3
-2,5
1167
MS
223,6
208,5
-6,7
847
AM
207,2
201,7
-2,7
847
CE
213,6
198,8
-6,9
630
AC
196,8
190,9
-3,0
1243
PI
213,5
198,3
-7,1
630
SE
207,6
199,8
-3,8
808
BA
214,4
199,0
-7,2
630
SP
221,0
211,8
-4,2
1436
PE
208,0
192,7
-7,3
630
SC
230,3
220,7
-4,2
1016
PR
229,6
212,1
-7,6
898
PB
210,0
201,0
-4,3
640
MG
234,1
214,4
-8,4
744
DF
224,4
214,6
-4,7
*Recursos do FUNDEF: R$/matrícula em 1998 e 1999
** Nota média corresponde a média das notas de Matemática e Português, tanto para a 4a como para a 8a série.
Estado
A análise da tabela e a plotagem dos pontos em um gráfico de dispersão sugerem a
existência de uma correlação entre as duas variáveis: quanto maiores os recursos do
FUNDEF, melhor (ou menos ruim) a variação das notas entre 1997 e 1999. Roraima, por
exemplo, que teve a melhor evolução (1,2%), teve os maiores recursos aplicados (R$1828),
enquanto Minas, o pior desempenho, aplicou apenas R$744. No entanto, um modelo de
regressão linear simples aplicado aos dados revelou baixa correlação (0,67) entre as duas
variáveis, pequena capacidade de explicação do modelo e ainda indicou que os dados de
Roraima forçam a correlação. Quando retiramos Roraima da análise, para verificação, a
correlação diminui abruptamente. Não é possível relacionar portanto bom desempenho no
SAEB ao FUNDEF, sem acrescentar outras variáveis de explicação.
Por outro lado é possível verificar que houve um avanço na homogeneidade do ensino
fundamental entre os estados, de 1997 e 1999, tanto no repasse de recursos quanto no
desempenho no SAEB, conforme se verifica nas tabelas abaixo:
Tabela 2: Recursos aplicados na rede municipal por matrícula (26 unidades da federação - sem o DF)
Sem o FUNDEF*
Com o FUNDEF
Média (R$/matrícula em 98 e 99)
848,0
904,2
Desvio padrão (R$/matrícula em 98 e 99)
1.060,9
312,6
Coeficiente de Varição (%)
125,1
34,6
* Sem o FUNDEF: recursos que seriam aplicados segundo estimativa do MEC se não houvesse o FUNDEF
Segundo os dados do MEC a aplicação de recursos no ensino fundamental, por
matrícula, apresentava imensas variações, de um mínimo de R$200/matrícula em 98 e 99 no
Maranhão a um máximo de R$5706 em Roraima. Com o FUNDEF o mínimo passou a ser de
R$630 e o máximo de R$1828 em Roraima, o que leva à diminuição do coeficiente de
8
variação e conseqüente melhora da homogeneidade, o que é apontado na tabela 2. Pode-se
afirmar, portanto, que o FUNDEF faz avançar em relação à equidade na destinação de
recursos, o que não significa dizer que os valores são satisfatórios.
Tabela 3: Coeficiente de Variação* das notas do SAEB – Todas as unidades da federação - (%)
Prova
1995
1997
1999
Matemática 4a série
5,6
6,0
5,2
Português 8a série
6,0
5,8
6,0
Matemática 4a série
6,0
5,0
4,5
Português 8a série
6,7
4,3
3,6
* Coeficiente de variação, definido como a relação percentual entre o desvio padrão e a média da amostra
** Fonte: Notas do SAEB 95 a 99 (MEC)
Lembrando da questão da diferenciação cultural e regional e da inexistência de um
currículo único, os dados da tabela 3 indicam que o nível de desempenho dos alunos de todo o
país nas disciplinas avaliadas está se homogeneizando. Em português da 8a série, por
exemplo, a variabilidade (desvio padrão) entre os estados caiu de 6,7% para 3,6% da média.
Esta conquista no entanto é relativizada, na medida em que a variabilidade já havia
apresentado uma melhora de 95 para 97, quando não havia FUNDEF, e que o desempenho
dos alunos de forma geral não apresenta melhoria; mas sim, queda. Assim, a homogeneidade
obtida de 97 para 99, se deveu, em geral, à queda mais acentuada na nota média dos estados
com melhor desempenho e menos acentuada nos estados com pior desempenho. Na tabela 4,
abaixo, estão os coeficientes de variação entre os 4 melhores e os 4 piores estados em
desempenho, mostrando quedas consideráveis do CV entre 97 e 99, o que confirma esta
homogeneização, porém em níveis mais baixos.
Tabela 4: Coeficiente de Variação das notas do SAEB – RR, ES, AP, RJ, BA, PE, PR, MG - (%)
Prova
1995
1997
1999
Matemática 4a série
6,4
7,9
5,8
Português 8a série
6,1
8,1
6,0
Matemática 4a série
5,8
5,2
3,9
Português 8a série
6,2
4,1
3,4
Enfim, as conclusões obtidas são:
1. Não é possível estabelecer uma relação estatística robusta entre os recursos do
FUNDEF e o desempenho no SAEB;
2. Há uma clara melhoria da homogeneidade na aplicação de recursos entre os
estados e municípios, e também do desempenho no SAEB, sendo que este último já ia
assim se configurando antes do FUNDEF (95 para 97) e, em 99, caracterizou-se por
uma tendência ao nivelamento em patamares inferiores aos que se encontravam os
melhores desempenhos em 97.
Diante disto, procuramos determinar outras variáveis que poderiam influenciar o
desempenho no SAEB. Para isso, selecionamos os 4 melhores (Roraima, Espírito Santo,
Amapá e Rio de Janeiro) e os 4 piores (Minas Gerais, Paraná, Pernambuco e Bahia) estados
em desempenho (evolução percentual da nota média do SAEB entre 95 e 97) e os analisamos
mais profundamente, quanto a:
Recursos do FUNDEF;
Crescimento das matrículas;
Distribuição da rede escolar entre municípios, estado e particulares;
Distribuição das formas de organização das escolas (ciclos e seriados);
9
Número de municípios do estado.
A evolução destes estados quanto ao desempenho no SAEB apresenta-se da seguinte
forma:
Tabela 5 – Evolução Percentual da Nota Média no SAEB entre 1997 e 1999 (%)
Provas
4 melhores
4 piores
RR
ES
AP
RJ
BA
PE
Matemática 4
1,7
2,0
-1,1
-0,2
-9,2
-6,8
Português 4
2,9
1,7
-2,1
-0,4
-12,6
-10,7
Matemática 8
3,6
4,1
0,4
0,1
-2,2
-3,1
Português 8
-2,7
-0,8
-3,5
-5,5
-6,8
-9,4
Todas as provas
1,2
1,0
-1,6
-1,7
-7,2
-7,3
Recursos
do 1828
1005
1398
1254
630
630
FUNDEF*
* Recursos do FUNDEF: R$/matrícula em 1998 e 1999
PR
-6,3
-7,2
-6,6
-10,0
-7,6
898
MG
-10,7
-14,1
-3,9
-6,6
-8,4
744
Na tabela 5, assim como na tabela 1, podemos constatar que Roraima e Espírito Santo
foram os únicos estados que evoluíram, tiveram suas notas médias aumentadas, entre 1997 e
1999. Mesmo assim, houve queda na prova de Português da 8a série. Os demais estados
apresentaram queda de desempenho. No entanto, como estamos fazendo uma análise
comparativa, iremos considerar também o Amapá e o Rio de Janeiro como estados que
obtiveram bom desempenho. A análise que se seguirá procurará explicar as diferenças entre
estes dois grupos de desempenho.
FUNDEF
Como verificado na tabela 5, nos estados analisados constata-se que aqueles que
receberam os maiores valores por matrícula tiveram a melhor evolução no desempenho:
Roraima (R$1828), Espírito Santo (R$1005); Amapá (R$1328), Rio de Janeiro (R$1254). Já
os estados com pior evolução foram os que receberam os menores valores: Bahia e
Pernambuco, com o piso mínimo de R$630, Paraná com R$898 e Minas Gerais com R$744.
Na média, os 4 estados melhores receberam 89% a mais de recursos que os demais. No
entanto, como verificado na análise com todas as unidades federativas, não é possível
estabelecer uma correlação robusta entre os recursos e o desempenho.
Crescimento da matrícula
Uma explicação para a queda de desempenho, e que foi bastante aventada ao se
divulgar os resultados do SAEB de 1999, era que o crescimento da matrícula, fruto do esforço
de universalizar o atendimento, estaria relacionado à inclusão no sistema educacional de
alunos anteriormente excluídos e, portanto, com provável desempenho inferior, o que levaria
as médias para baixo. A tabela abaixo consolida este crescimento para os 8 estados:
Tabela 6: Evolução das matrículas no ensino fundamental
Estado
Total de matrículas
Estado
97
99
Evol. (%)
RR
64293
79277
23.3
PE
ES
614265
614779
0.1
BA
AP
114466
127140
11.1
PR
RJ
2250296
2474649
10.0
MG
Total de matrículas
97
99
1754828
1817763
3076801
3702727
1792685
1732395
3672407
3773247
Evol. (%)
3.6
20.3
-3.4
2.7
A análise dos dados revela que a Bahia foi o único caso de crescimento de matrícula
com baixo desempenho. Os Estados do Amapá e Rio de Janeiro com crescimento de 11,1% e
10
10% apresentam, comparativamente, melhor desempenho. Se não bastasse, destaca-se a
situação de Roraima que, apresentando o maior índice de aumento de matrículas (23,3%),
obteve a melhor evolução nas provas. Da mesma forma, MinasGerais, Paraná e Pernambuco,
que praticamente não alteraram suas matrículas, pioraram suas notas. Apenas o Espírito
Santo, isoladamente, confirmaria aquela hipótese, já que não houve crescimento de matrícula
e seu desempenho foi o segundo melhor. Enfim, a incorporação de novos alunos não é a causa
do baixo desempenho, como demonstram Roraima, Rio de Janeiro e Amapá.
Distribuição da rede de ensino fundamental entre estado, municípios e rede particular
Na tabela 6, temos a distribuição das matrículas por rede, e a evolução das matrículas
de 97 para 99, o que revela a taxa de municipalização ocorrida, um dos objetivos do
FUNDEF:
Tabela 7: Número de matrículas no ensino fundamental nas redes estadual, municipal e particular (mil)
Estado Rede estadual
Rede Municipal
Particular
1997
1999
Evol. Part 97 Part 99 1997
1999
Evol. Part 97 Part 99 Evol Part
(%) (%)
(%)
(%) (%)
(%)
(%) 97
RR
59,8
73,1
22.2 93.0
92.2
2,6
4,9
93.0 4.0
6.3
23,9 1,5
ES
372,5 310,4 -16.7 60.6
50.5
161,5 234,7 45.3 26.3
38.2
-12,8 13,0
AP
91,5
94,1
2.8 79.9
74.0
16,9
25,9
53.4 14.8
20.4
17,3 5,3
RJ
607,1 676,9 11.5 27.0
27.4
1121,9 1303,2 16.2 49.9
52.7
-5,5 22,7
BA
723,6 668,9 -7.5 41.2
36.8
787,9 925,8 17.5 44.9
50.9
-8,4 13,8
PE
1347,2 1291,4 -4.1 43.8
34.9
1475,6 2209,3 49.7 48.0
59.7
-20,4 8,2
PR
870,4 813,6 -6.5 48.6
47.0
781,0 786,4 0.7 43.6
45.4
-5,6 7,8
MG
2556,4 2062,7 -19.3 69.6
54.7
912,4 1505,7 65.0 24.8
39.9
0,5 5,5
* Não estão incluídas as matrículas da rede federal, que não são relevantes
Part
99
1,5
11,3
5,6
19,5
12,2
5,4
7,6
5,3
Apesar dos dados do MEC indicarem que a queda das médias da rede particular
também ocorreu, buscamos precisar a participação da rede particular no desempenho dos
estados, objetivando verificar a existência de alguma relação. O Rio de Janeiro, quarto estado
com melhor desempenho, tem a maior participação da rede particular (19,5%), seguido por
Pernambuco, que está entre os Estados com pior evolução, que apresenta 12,2% de
participação, superior aos 11,3% constatados no Espírito Santo. Roraima, o melhor em
evolução de desempenho, é o que tem a menor participação da rede particular.
Quanto a rede estadual, a participação em Roraima é de 92%, seguida do Amapá com
74%, Minas Gerais com 54,7% e Espírito Santo com 50,5%. Assim, dos quatro casos com
melhor evolução, três apresentam taxas de participação da rede estadual superior a 50%. No
que se refere à evolução das matrículas na rede estadual, é importante salientar que Roraima
(22%), Amapá (2,8%) e Rio de Janeiro (11,5%), apresentaram taxas positivas de variação da
matrícula na rede estadual, resultado em desacordo com os objetivos do FUNDEF. Ao mesmo
tempo, todos os estados com pior evolução de desempenho na nota média do SAEB e o
Espírito Santo apresentaram taxas negativas para a rede estadual.
Em 4 estados, Rio de Janeiro, Bahia, Pernambuco e Paraná a participação da rede
municipal já era significativa em 1997. No Rio de Janeiro constatamos a participação em
torno de 50% da rede municipal desde 1997 e o aumento de 11,5% da rede estadual nos dados
de 1999, o que revela uma tendência contrária à induzida pela política federal, ou seja, de
municipalização. O outro caso de aumento significativo de rede estadual é o de Roraima, que
pode ser justificado pelas suas características próprias. Apesar de alto, o aumento de 93% da
rede municipal representa pouco neste Estado, ou seja, apenas 6,3% de participação.
A análise dos dados revela ainda que saltos significativos da municipalização,
entendida como o aumento da participação relativa da rede municipal na rede total, ocorreram
11
em MG (24,8→39,9%), BA (48→59,7), ES (26,3→38,2) e AP (14,8→20,4). Todos os
estados apresentaram índices positivos de municipalização, embora no Paraná a taxa seja
pouco relevante (0,7%), o que é coerente com a situação mais geral do estado que foi o único
a apresentar taxa de crescimento negativa na matrícula.
Os dados indicados aqui, embora não expliquem a diferença de desempenho no SAEB,
revelam que o FUNDEF induz à municipalização.
Uma comparação par a par chama atenção na análise de Minas Gerais e Espírito
Santo, que têm participações percentuais semelhantes das redes estadual e municipal, e
tiveram altas taxas de municipalização, mas obtiveram resultados opostos no SAEB. A
municipalização mineira foi feita com menos recursos do FUNDEF (R$744/matrícula em 98 e
99) que a do Espírito Santo (R$1005/matrícula em 98 e 99). A mesma coisa pode ser dita ao
comparar a Bahia com o Amapá que, enquanto o primeiro se limitou ao piso (R$630), o
segundo recebeu R$1398/matrícula nos dois anos.
Número de municípios
A municipalização da educação implica na criação da respectiva estrutura do sistema
de ensino, o que engloba a rede física e os recursos materiais, a estrutura administrativa e
técnica, bem como os recursos humanos necessários para a execução da atividade-fim. Tal
estrutura consome uma grande quantidade de recursos e é exatamente na perspectiva dos
custos na formação e manutenção de sistemas municipais que ressaltamos uma outra
característica dos estados analisados. Todos os estados com melhor evolução de desempenho
no SAEB tem menos que 100 municípios, sendo: Roraima 15, Amapá 16, Espírito Santo 78 e
Rio de Janeiro 92, segundo dados de agosto de 2000. Entre os estados com pior evolução de
desempenho, por outro lado, há o maior número de municípios: Pernambuco 185, Paraná 399,
Bahia 417 e Minas Gerais com um total de 853.
Voltando à análise comparativa entre Minas Gerais e Espírito Santo, a
municipalização e a implementação de políticas no ensino fundamental tem que ser
executadas com menos recursos do FUNDEF e por meio de negociações envolvendo um
número muito maior de governos municipais.
Formas de organização
No aspecto pedagógico, com relação à organização do ensino pode-se constatar mais
uma diferença entre os estados, conforme tabela 8:
Tabela 8: Formas de organização das escolas
Participação relativa das matrículas por formas de organização em 1999 (%)
Estado
Seriado
Ciclos
Mais de uma forma de organização
RR
100
0
0
ES
33
0,2
66,8
AP
51,7
1,6
46,7
RJ
38,3
5,1
56,6
PE
98,8
0
0
BA
67,9
1
31,1
PR
77
6,8
16,2
MG
27,9
69,5
2,6
Nesta tabela, observa-se que Minas Gerais se destaca por ser o único a adotar, de
forma predominante, a estruturação em ciclos. Mais uma vez voltando a comparação entre
Minas e Espírito Santo, verifica-se grande diferença na forma predominante de organização.
À exceção de Roraima, os estados com melhor desempenho concentram-se nesta
forma de organização híbrida, sendo que o ES apresenta quase 70% das matrículas em “mais
de uma forma de organização”.
12
O debate educacional tem sido travado em torno da idéia de seriação ou ciclos, mas
uma análise mais aprofundada poderia revelar que a organização em ciclos é mais adequada
em etapas como a alfabetização e menos profícua nas séries finais do ensino fundamental, que
em geral se caracterizam pela formação de turmas com um professor especialista por
disciplina. A organização em ciclos tem como suposto uma maior integração do trabalho
docente, tanto no nível do planejamento como na avaliação. Assim, esta é uma variável que
poderia justificar o desempenho oposto, independentemente da municipalização.
CONCLUSÃO
A primeira conclusão que se pode tirar da análise realizada é que o FUNDEF, apesar
de ter propiciado um aumento de recursos por matrícula em praticamente todos os estados,
quando comparado com a estimativa do MEC, não produziu os efeitos qualitativos esperados,
ao mínimo, de forma homogênea.
A indução à municipalização talvez seja seu efeito mais forte. Mas a municipalização
“per si” apresentou resultados divergentes ao longo dos estados, inclusive tendo em Roraima
um resultado emblemático, ou seja, foi o estado que teve o melhor desempenho no SAEB,
com um aumento global de 23,3% nas matrículas, sendo um aumento de 22% na rede estadual
e caracterizando-se por uma participação ainda inexpressiva da rede municipal. Minas Gerais
também ilustra bem a questão em pauta, uma vez que apresentou a maior taxa de
municipalização entre os estados cuja rede municipal é relevante, e teve a pior evolução da
nota do SAEB entre 97 e 99.
Acreditamos que a discussão que aqui cabe deve ser remetida à categorização que
Arretche (1998) faz a respeito da descentralização e dos fatores de sucesso da mesma. A
política de financiamento representada pelo FUNDEF atende a alguns fatores, mas não trata
de outros.
Quanto aos aspectos políticos, por exemplo, que se referem às estratégias de indução
dos governos interessados na descentralização, o FUNDEF mostrou-se poderoso, como visto
pelas altas taxas de municipalização ocorridas entre 1997 e 1999, como em Minas, Espírito
Santo, Pernambuco e Amapá, por exemplo. Um outro aspecto político, mas que não foi
analisado aqui quanto a sua efetividade, refere-se à participação e controle da sociedade sobre
a prestação dos serviços públicos. Como já foi colocado, a lei do FUNDEF prevê a formação
de Conselhos de Acompanhamento e Controle Social e, segundo o Balanço do FUNDEF
1998-2000, 98% dos municípios já tinham formado tal conselho. Não se discute aqui sua
efetividade, mas o fato de que o FUNDEF atende a este fator prevenido pela autora.
Quanto aos aspectos estruturais, relacionados a fatores econômico-fiscais e técnicoadministrativos, destaca-se que é intrínseca ao FUNDEF, como política de financiamento, a
pretensão de solucionar as disparidades econômicas-fiscais e prover recursos suficientes para
a universalização do ensino fundamental e a homogeneização e melhoria da qualidade. No
entanto, a efetividade ou a produtividade dos recursos, ao menos quanto ao desempenho
escolar, não é equânime nos estados. A baixa correlação entre recursos e evolução da nota
sugere que outras variáveis devem ser consideradas.
Associado a isso, o estabelecimento de um piso mínimo nacional anual, feito
arbitrariamente pelo Presidente da República, como determina a Lei do FUNDEF,
desconsidera toda e qualquer desigualdade de custos entre as instâncias prestadoras.
Os efeitos negativos disto são sugeridos pela homogeneização, por baixo, do
desempenho no SAEB, como constatado na análise. Não há razões para supor que os
R$310/matrícula terão a mesma efetividade de alavancar o desempenho dos alunos em
estados e municípios com realidades tão díspares.
Em relação aos aspectos técnico-administrativos, o que convém destacar é que a
13
indução à municipalização demanda a criação de estruturas técnico-burocráticas nos
municípios, o que se transforma numa intensa proliferação em estados como Minas Gerais ou
Bahia, onde há muitos municípios. É significativo que os 4 estados com melhor desempenho
tem muito menos municípios que os 4 piores. Afinal, estas novas estruturas diminuem os
recursos líquidos disponíveis para o efetivo estímulo à qualidade do serviço prestado, por
meio de uma espécie de “deseconomia de escopo”, como menciona Prud´homme (1995).
Em relação aos aspectos institucionais, destaca-se aqui a flexibilidade da lei que prevê
apenas o estabelecimento de diretrizes curriculares. A descentralização chega ao nível da
escola, responsável pela elaboração de sua proposta pedagógica e de seu regimento. Assim o
princípio da autonomia da escola é garantido na medida em que toda a ação da escola e as
normas são definidas no seu próprio âmbito, a partir dos princípios da educação nacional, das
diretrizes curriculares e das regras complementares de cada sistema (estadual ou municipal).
Destaca-se, por exemplo, a predominância da modalidade de ciclos em Minas Gerais,
onde houve o pior desempenho no SAEB. Esta forma de organização demanda uma
engenharia operacional muito mais complexa que o a tradicional organização em séries. Além
disso, traz normalmente consigo uma certa resistência da burocracia e das próprias famílias,
associada a falta de controle sobre o alunado, uma vez que o entendimento de progressão
continuada é confundido com a não reprovação. Destaca-se, em oposição, o Espírito Santo,
onde predomina uma forma mista de organização.
Finalmente, devemos sugerir que a política de financiamento do FUNDEF, apesar de
ter diminuído a desigualdade de recursos, ter inovado ao criar um repasse atrelado ao número
de matrículas e reservar uma parte considerável para a remuneração e valorização dos
docentes, falha ao não considerar justamente desigualdades regionais, em aspectos
econômicos, técnicos, geopolíticos e organizacionais, o que certamente dificulta o avanço
geral.
No conjunto da política educacional, o FUNDEF representa um instrumento
importante, mas, apenas, o primeiro passo no âmbito da reforma necessária e dos muitos
desafios mostrados anteriormente. Busca-se que, por meio das políticas públicas na área
educacional, especialmente do financiamento dos sistemas, se alcance a almejada qualidade
da educação, o que traduziria a maior efetividade da política na construção de um país com
maior eqüidade e justiça social.
14
ARRETCHE, Marta Teresa da Silva. O Processo de Descentralização das Políticas Sociais
no Brasil e seus Determinantes. Tese de Doutorado: Departamento de Ciência Política –
UNICAMP. Junho/1998.
CAIDEN, Gerald E. e CAIDEN, Naomi J. Enfoques y lineamentos para el seguimiento, la
medición y la evaluación del desempeño en programas del sector público. Revista del CLAD
Reforma y Democracia, 12, out. 1998.
CASTRO, Maria Helena Guimarães. Um painel da avaliação educacional no Brasil. Pátio
Revista Pedagógica, Porto Alegre, Artes Médicas, 12: 27-9, fev.2000
CASTRO, Maria Helena Guimarães. O impacto da implementação do FUNDEF nos Estados
e municípios: primeiras observações. In: Descentralização da educação: novas formas de
coordenação e financiamento. São Paulo, Cortez Editora, 1999. p. 111-21.
DRAIBE, Sônia Miriam. Reforma do estado e descentralização: a experiência recente da
política brasileira de ensino fundamental. Paper International Seminar “Restructuring and
Government Reform: Brazil and Latin America in a Globalization Context”, Sessão 4,
FEA/FIA/CAPES/CNPq/MARE, São Paulo, maio. 1998
DRAIBE, Sônia Miriam. A experiência brasileira recente de descentralização de programas
federais de apoio ao ensino fundamental. In: Descentralização da educação: novas formas de
coordenação e financiamento. São Paulo, Cortez Editora, 1999. p. 68-98.
EDUCAÇÃO, Ministério da. (2000). Balanço do FUNDEF 1998-2000 - Citações e
referências a documentos eletrônicos. http://www.mec.gov.br
FARAH, Marta Ferreira Santos. Reconstruindo o estado: gestão do setor público e reforma da
educação. Planejamento e Políticas Públicas, São Paulo, IPEA, jun./dez.1994. n.11 p. 189236
PRUD’HOMME, Remy. The Dangers of Descentralization. The World Bank Research
Observer, 10 (2): August 1995.
WOLFF, Laurence. Avaliações educacionais – uma atualização a partir de 1991 e implicações
para a América Latina. Avaliação e determinação de padrões na educação latino-americana.
Rio de Janeiro, Editora Fundação Getulio Vargas, 1997. p. 1-8.
15