A AVALIAÇÃO
VALIAÇÃO EXTERNA COMO INSTRUMENTO DA GESTÃO
EDUCACIONAL NOS ESTADOS
RELATÓRIO FINAL
GAME/FAE/UFMG
Com apoio da Fundação Vitor Civita
Agosto/2011
Realização:
Parceria:
1
© 2011. Fundação Victor Civita. Todos os direitos reservados.
A Fundação Victor Civita, que tem por missão contribuir para a melhoria da qualidade
da Educação Básica no Brasil, produzindo publicações, sites, material pedagógico,
pesquisas e projetos que auxiliem na capacitação dos professores, gestores e demais
responsáveis pelo processo educacional, implantou uma área de estudos com o
objetivo de levantar dados e informações que auxiliem as discussões sobre práticas,
metodologias e políticas públicas de Educação.
Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.
EQUIPE DA FUNDAÇÃO VICTOR CIVITA
DIRETORIA EXECUTIVA
Angela Cristina Dannemann
COORDENAÇÃO PEDAGÓGICA
Regina Scarpa
REVISTA NOVA ESCOLA E GESTÃO ESCOLAR
Gabriel Grossi
Paola Gentile
ESTUDOS, PESQUISAS E PROJETOS
Mauro Morellato
ESPECIALISTAS CONVIDADOS PARA
APRECIAÇÃO DO RELATÓRIO PRELIMINAR
Antônio Bara Bresolin (Coordenador Fundação
Itaú Social)
Bernardete Gatti (Fundação Carlos Chagas)
Clara Etiene Lima de Souza (Coordenadora da
Avaliação da Educação Básica / Inep)
Mozart Neves Ramos (Todos pela Educação)
Ruben Klein (Consultor Fundação Cesgranrio)
Adriana Deróbio
Sandra Maria Zakia Lian Sousa (USP e Unicid)
Tufi Machado Soares (Universidade Federal de
Juiz de Fora)
Wanda Engel (Superintendente Instituto
Unibanco)
2
© 2011. Fundação Victor Civita. Todos os direitos reservados.
UNIVERSIDADE FEDERAL DE MINAS GERAIS
Clélio Campolina Diniz
Reitor
FACULDADE DE EDUCAÇÃO
Samira Zaidan
Diretora
GRUPO DE AVALIAÇÃO E MEDIDAS EDUCACIONAIS
Ângela Imaculada Loureiro de Freitas Dalben
Coordenadora
EQUIPE DE PESQUISA
Nigel Brooke
Maria Amália de A. Cunha
Matheus Faleiros
3
© 2011. Fundação Victor Civita. Todos os direitos reservados.
SUMÁRIO
Apresentação
06
1.
Objetivos
11
2.
Métodos
12
3.
A Expansão da Avaliação Educacional
14
3.1.
4.
A Expansão dos Sistemas Estaduais de Avaliação
Accountability e as Avaliações High-Stakes
25
39
4.1
Sistemas de Incentivos
45
4.2.
Sistemas de Responsabilização na América Latina
50
5.
Sistema Classificatório para os Diferentes Usos da Avaliação Educacional
55
6.
O Uso da Avaliação na Gestão da Educação nos Estados
70
6.1
Avaliação de Programas, Monitoramento, Planejamento e Pesquisa
70
6.1.1
Avaliação de Programas
70
6.1.2
Monitoramento
77
6.1.3
Planejamento
82
6.1.4
Pesquisa
85
6.2
Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as Estratégias de
Formação Continuada
87
6.2.1
Políticas de Formação Continuada Baseadas nos Resultados
101
6.2.2
O Currículo Básico
105
6.3
Para Informar ao Público
112
6.4
Para a Alocação de Recursos
123
6.5
Para Políticas de Incentivos Salariais
133
6.5.1
Investigações em Loco
142
6.5.2
Discussão
164
4
© 2011. Fundação Victor Civita. Todos os direitos reservados.
6.6
Como Componente da Política de Avaliação Docente
168
6.7
Para a Certificação de Alunos e Escolas
177
7.
Considerações Finais
182
8.
Referencias Bibliográficas
189
ANEXO 1
Organização dos arquivos da pesquisa em Google Docs
199
ANEXO 2
Entrevistados
200
ANEXO 3
Ambiente NVIVO. Queries/Políticas de Incentivos por Estado
201
5
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Apresentação
Cada vez mais presente nos jornais e em outros meios de comunicação, a
discussão da avaliação educacional permite que o público brasileiro se conscientize
não só da complexa realidade da aplicação das avaliações padronizadas em larga
escala mas também dos resultados do ensino em diferentes níveis e localidades e em
comparação com outros países. O tema dos testes enfrentados por alunos de diversas
idades – e até por jovens e adultos que há tempo deixaram de frequentar a escola – já
ultrapassa os eventos de especialistas e se torna um assunto capaz de cativar as
manchetes. Talvez o caso mais emblemático seja o do Enem e as suas dificuldades de
sigilo e logística. Porém, ao longo dos últimos anos também houve múltiplos debates
públicos em torno do indicador nacional de desenvolvimento da Educação, o Ideb, o
Exame Nacional de Desempenho de Estudantes, Enade, o novo Exame Nacional para
Certificação de Competências de Jovens e Adultos, Encceja, e iniciativas do Congresso,
como o projeto de lei (PLS 319/08) do senador Cristovam Buarque para conceder o 14º
salário aos profissionais de escolas que conseguirem elevar seu Ideb em 50% e o
projeto do deputado Ronaldo Caiado para obrigar as escolas públicas a expor na
entrada do estabelecimento uma placa com seu Ideb. As comparações internacionais,
principalmente as do Programa Internacional de Avaliação de Alunos, Pisa, também
suscitaram questionamentos que permitem perceber que os resultados fornecidos
pelas avaliações educacionais estão se firmando cada vez mais como a definição oficial
da qualidade da Educação oferecida pelas escolas.
Refletindo o crescente interesse na avaliação, nos indicadores derivados dela e na
sua relação com a política educacional, o projeto do Plano Nacional de Educação em
discussão no Congresso contém várias indicações para o uso da avaliação externa ao
longo da próxima década. Fala da importância de “usar o Ideb para avaliar a qualidade
do ensino, com base em uma avaliação nacional do rendimento escolar”, de “aplicar
exame periódico específico para aferir a alfabetização de crianças”, de “aprimorar os
instrumentos de avaliação da qualidade do ensino fundamental e médio”, de “usar o
Pisa como parâmetro externo”, de “aferir o grau de analfabetismo de jovens e adultos”
e de “avaliar a qualidade da Educação profissional técnica de nível médio”.
6
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Como os jornais, o projeto do PNE também se concentra nas políticas de avaliação
da esfera federal. Apesar de conferir vários deveres específicos aos estados e
municípios, como aprovar leis para disciplinar a gestão democrática da Educação,
instalar conselhos escolares, prever licenças para a pós-graduação de professores e
nomear diretores com base em critérios técnicos, todas as atribuições no campo da
avaliação educacional feitas pelo PNE são do governo federal. Em nenhum momento, o
PNE atribui funções específicas em relação à avaliação da aprendizagem do ensino
fundamental e médio aos governos subnacionais, mesmo sendo essas as instâncias
com responsabilidade preferencial por esses níveis escolares, segundo a LDB.
A falta de clareza em relação às obrigações dos estados e municípios e se essas
instâncias deveriam ser responsabilizadas ou não pela avaliação externa dos seus
alunos refletem certa ambiguidade do próprio Ministério de Educação perante o
crescimento dos sistemas subnacionais de avaliação. Desde a criação do Saeb, em
princípio da década de 1990, as iniciativas dos estados em construir suas próprias
ferramentas de avaliação têm sido vistas ora como uma expressão compreensível da
sua autonomia administrativa constitucional, ora como um desperdício de recursos,
dada a existência de sistemas nacionais com coberturas e características técnicas
capazes de fornecer as informações de que os gestores estaduais precisam. A ausência
de incentivos federais e de cooperação contínua entre as instâncias governamentais na
área de avaliação, a não ser no empréstimo de itens do Saeb1, talvez reflita a falta de
uma aceitação integral pelo Ministério da importância dos sistemas de avaliação
subnacionais e até de um sentimento de rivalidade provocada pela intrusão dos
1
Na página de perguntas frequentes sobre o Saeb e Prova Brasil do site do Inep
(http://www.INEP.gov.br/web/saeb-e-prova-brasil/perguntas-frequentes) a resposta dada à pergunta
Com o Saeb e Prova Brasil o Governo Federal pretende acabar com os sistemas Estaduais e Municipais
de Avaliação?, leia-se a seguinte resposta: As avaliações federais, as estaduais e as municipais são
independentes. A Prova Brasil e o Saeb são conduzidos nacionalmente pelo Governo Federal, enquanto
as avaliações estaduais e municipais podem ter metodologia própria e são concebidas e realizadas pelos
governos estaduais e municipais. Em muitos casos, há a cooperação técnica entre os governos federal,
estadual e municipal, ou seja, há congruência entre algumas avaliações estaduais com a Prova Brasil e o
Saeb. Um dos objetivos da Prova Brasil e do Saeb é estimular a cultura da avaliação, fomentando, assim,
a implementação de avaliações estaduais e municipais. Nesse sentido, o Inep pode auxiliar, sob certas
condições, os estados e municípios a estruturarem e levarem adiante suas avaliações por meio do seu
Banco Nacional de Itens.
7
© 2011. Fundação Victor Civita. Todos os direitos reservados.
estados em terreno antes exclusivamente federal. Em função desses sentimentos,
consolidou-se a opinião que os estados deveriam apenas complementar o que a União
já faz, e não repetir a avaliação das mesmas disciplinas nos mesmos anos escolares
para não desperdiçar recursos. Esse posicionamento não leva em consideração o
interesse dos estados em controlar todas as fases de produção e divulgação de
informação sobre as escolas, evitando os atrasos que acometem o Inep, e pode
encobrir as dúvidas remanescentes a respeito da conveniência dos estados
desenvolverem seus próprios sistemas. A expansão das avaliações subnacionais parece
refletir justamente a necessidade de controlar mais detidamente as etapas que
envolvem o processo de avaliação e, assim o fazendo, traçar um diagnóstico mais
contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e
estratégias talvez mais eficazes.
A falta de atenção do PNE para a função avaliadora dos governos estaduais e
municipais pode refletir essas mesmas dúvidas. Por outro lado, o silêncio do PNE em
relação a um instrumento tão fundamental para o planejamento e a gestão dos
sistemas de Educação pode também refletir simplesmente a ausência de informação
sobre a real extensão e diversidade das atividades atuais dos estados e municípios no
campo da avaliação. As críticas à suposta subutilização dos resultados da avaliação
externa e a sugestão de que as Secretarias de Educação têm pouca capacidade para
aproveitar as informações levantadas, a não ser para oferecer sugestões pedagógicas
aos professores, parecem ultrapassadas perante a crescente sofisticação dos sistemas
estaduais e indicam mais uma vez a necessidade de atualizar os nossos
conhecimentos.
O presente estudo pretende remediar essa lacuna ao mostrar o papel cada vez
mais importante das avaliações subnacionais na composição da política educacional.
Mesmo não chegando sempre aos jornais, há indícios suficientes de que está em curso
uma mudança importante na penetração e diversificação da avaliação educacional em
nível dos estados e municípios de porte maior ao ponto de muitas das inovações nesse
campo estarem acontecendo não mais na esfera federal, mas em nível subnacional. As
avaliações da aprendizagem na fase de alfabetização, a criação de instrumentos
8
© 2011. Fundação Victor Civita. Todos os direitos reservados.
padronizados para finalidades de diagnóstico individual e o uso da avaliação para
políticas de incentivos salariais seriam apenas três exemplos. Cada vez mais os estados
estão assumindo políticas educacionais que têm como pressuposto a existência de
informações detalhadas sobre a aprendizagem dos alunos e cuja execução requer o
uso cada vez mais variado e sofisticado dessas informações. Ou seja, os estados
também estão galvanizados para uma nova geração de instrumentos de avaliação e de
uma variedade cada vez maior de políticas de intervenção calcadas em informação
sobre o desempenho dos alunos. Portanto, na descrição dos esforços de todos os
sistemas para melhorar a qualidade do ensino, torna-se indispensável captar os
avanços no uso dos resultados das avaliações educacionais também em nível
subnacional.
Entretanto, o objetivo do estudo não é exclusivamente descritivo. É preciso
também entender as consequências da expansão da avaliação subnacional para o
desenvolvimento da Educação. O fato de os estados estarem assumindo novas
políticas de avaliação de escolas e professores com base nos resultados dos alunos não
encontra aprovação total e há a necessidade de pesar as evidências. Outras políticas,
como a alocação de recursos com base nos resultados das escolas, podem parecer
menos problemáticas, mas os critérios empregados podem variar e as consequências
também. Há a necessidade, portanto, de submeter as novas políticas de gestão a um
processo de análise para determinar seus prováveis efeitos. Com esse olhar, derivado
em parte de pesquisas e em parte das opiniões dos próprios envolvidos, torna-se
possível responder a perguntas como: as políticas de gestão baseadas nos resultados
dos alunos são sempre bem-sucedidas? Quais os impactos de políticas baseadas na
avaliação de alunos para a melhoria da Educação? Dado o que sabemos dos efeitos
colaterais, os estados estão empregando as avaliações educacionais da forma mais
adequada?
Para poder contribuir para essa discussão, é necessário, primeiro, entender os
antecedentes dessa expansão. O processo pelo qual os estados começaram a montar
sistemas de avaliação educacional e, em seguida, políticas de gestão derivados dos
produtos desses sistemas não foi aleatório. Em diferentes graus, foram influenciados
9
© 2011. Fundação Victor Civita. Todos os direitos reservados.
pelo movimento de reforma externo e interno chamado de neoliberal, que a partir da
década de 1990 estabeleceu a qualidade do ensino como o objetivo primordial da
política educacional e definiu os resultados escolares como seu indicador principal.
Precisamos também estudar em alguma profundidade o elemento mais crítico do
modelo de avaliação que foi se alastrando pela região nessa época. Estamos nos
referindo ao componente de accountability, que se estabeleceu como uma alavanca
nas mãos dos gestores interessados em criar novos incentivos para motivar a mudança
na Educação. Para entender como os gestores brasileiros estão aproveitando esse
conceito, precisamos explicitar o significado do conceito nas suas origens, avaliar as
políticas que empregam diferentes versões de accountability e mostrar a
probabilidade de sucesso dessas políticas ao serem incorporadas ao leque de opções
do gestor educacional brasileiro.
O fato de haver origens comuns não significa que as políticas seguidas por cada
estado que optou por implantar um sistema próprio de avaliação são todas iguais.
Mesmo havendo semelhanças, dentro das opções para a utilização dos resultados das
avaliações, os critérios e propósitos podem variar. Para distinguir entre as diferentes
políticas de avaliação, precisa-se criar um sistema classificatório capaz de dar conta da
diversidade ao mesmo tempo em que categorize as políticas de acordo com os
propósitos dos gestores. Sem esse esforço classificatório, as políticas acabam sendo
discutidas estado por estado como se a sua distribuição geográfica fosse a razão pela
investigação. Com uma classificação por tipo de política, por outro lado, pode-se
contrastar as políticas dos estados e deixar mais nítidas as diferenças existentes entre
as diversas versões de uma mesma política.
Após a explicação do sistema classificatório, será possível entrar no assunto
principal do estudo, que é expor e analisar as diversas políticas seguidas pelos
governos estaduais e alguns municípios de porte maior, principalmente das capitais,
que empregam a avaliação educacional na busca da melhoria da Educação. Essas
políticas de uso dos resultados dos sistemas de avaliação representam uma
ferramenta poderosa quando bem entendidas suas potencialidades e limitações.
10
© 2011. Fundação Victor Civita. Todos os direitos reservados.
1.
Objetivos
De forma sintética, os objetivos deste estudo são:
i.
Descrever, por meio do emprego de sistema classificatório próprio, as
diferentes maneiras em que os governos estaduais e municipais usam os resultados
das avaliações externas na condução da política educacional.
ii.
Mediante a coleta de informações secundárias, fornecer uma sinopse mais
atualizada da variedade das políticas de gestão que fazem uso dos resultados da
avaliação externa.
iii.
Com base em pesquisas nacionais e internacionais, e os subsídios oferecidos
por especialistas e gestores, fazer uma análise de cada política de gestão para
determinar se representam um aproveitamento apropriado das informações
disponíveis e se contribuem para a política de melhoria da qualidade da Educação.
iv.
Como objetivo último, oferecer subsídios para a formulação e reformulação de
políticas públicas que fazem uso dos resultados dos sistemas de avaliação educacional.
11
© 2011. Fundação Victor Civita. Todos os direitos reservados.
2.
Métodos
O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de
todas as fontes secundárias possíveis, de todas as informações disponíveis sobre a
avaliação educacional em nível subnacional. Havia limites de tempo e de pessoal e
dentro desses parâmetros descobriu-se que a fonte mais importante foi, de longe, a
internet e os sites patrocinados pelos próprios governos estaduais e municipais.
Organizou-se um banco de dados para o registro de informações e armazenamento de
documentos por estado e pela natureza oficial ou não oficial da informação. O
ambiente usado para esse banco de dados foi o Google Docs (veja Anexo 1). Criou-se
também um sistema classificatório para todos os diferentes usos da avaliação
padronizada (veja seção 5) e com base nesse sistema desenvolveu-se um instrumento
que sintetizava a informação por tipo de política de gestão por cada estado ou
prefeitura. Essa ficha funcionou como catálogo para todas as informações secundárias
coletadas.
A segunda fase se concentrou no aprofundamento das ideias que surgiram na
primeira fase e na elucidação de exemplos de políticas de gestão cujas informações
tinham chegado de forma incompleta ou que ainda suscitavam interesse especial.
Nessa fase, foram realizadas 20 entrevistas semiestruturadas com gestores, técnicos e
especialistas em avaliação em sete estados diferentes (veja Anexo 2). Mediante essas
entrevistas, esperava-se caracterizar melhor as políticas de gestão mais comuns e
descobrir indicações da sua eficácia. As entrevistas foram gravadas, transcritas e
posteriormente analisadas dentro do ambiente fornecido pelo NVivo 8 (veja Anexo 3).
Esse aplicativo também permitiu a organização das opiniões dos entrevistados de
acordo com as categorias do sistema classificatório.
Pela natureza do estudo, que é mais um levantamento para fins classificatórios do
que um retrato de todos os exemplos nos diversos cantos do país, não será possível
oferecer uma medida da frequência de uso das diferentes políticas de gestão
encontradas. Por ter um propósito mais analítico, serão enfatizadas as características e
qualidades das políticas encontradas, e não sua distribuição ou importância em termos
12
© 2011. Fundação Victor Civita. Todos os direitos reservados.
geográficos. Serão empregados exemplos de diferentes estados e municípios, mas sem
insinuar que esses são os exemplos únicos ou necessariamente os mais bem acabados.
13
© 2011. Fundação Victor Civita. Todos os direitos reservados.
3.
A Expansão da Avaliação Educacional
Entre os elementos que contribuíram para a expansão da avaliação externa como
um instrumento da gestão educacional nos diversos níveis dos sistemas educacionais
ao longo das últimas décadas, encontram-se dois fatores considerados primordiais
pela literatura especializada: a) a disseminação de um modelo de reforma educacional
na década de 1990 calcado na avaliação educacional e voltado para a melhoria da
qualidade; e b) a incorporação pelos governos de metodologias de gestão baseadas em
critérios de eficiência e de planejamento estratégico e voltadas para a melhoria nos
resultados dos serviços públicos. No caso dos governos subnacionais brasileiros, devese acrescentar um terceiro fator: c) o incentivo criado pela inauguração de um
indicador nacional de desenvolvimento educacional e pela liderança do MEC ao fixar o
foco nos resultados e no uso da avaliação educacional entre as diretrizes principais do
Plano de Metas Compromisso Todos pela Educação.
a) Reforma educacional. A torrente de mudanças educacionais múltiplas e
simultâneas nas diversas regiões do mundo na década de 1990 não foi aleatória. As
semelhanças entre as reformas dos diferentes países, como se estivessem seguindo
um receituário, denunciavam uma história de origens comuns. As origens imediatas
podem ser encontradas, em parte, nos eventos internacionais que galvanizaram os
formuladores das políticas educacionais e também no papel dos bancos de
desenvolvimento, as agências de assistência bilateral e até as ONGs internacionais na
disseminação mundial das propostas de reforma. Em nível mais conceitual, precisa-se
de uma análise da lógica da globalização e da sua relevância para a compreensão dos
fenômenos educacionais.
Usando a região da América Latina como um exemplo, Gajardo (2000) mostra a
semelhança notável nos objetivos das reformas simultâneas de 19 países. Na maioria
desses países, são especificados os objetivos gerais de descentralizar a gestão,
melhorar a qualidade, a equidade e a eficiência dos sistemas, oferecer maior
autonomia e também cobrar maior responsabilidade da escola, investir mais e melhor
14
© 2011. Fundação Victor Civita. Todos os direitos reservados.
na formação do professor e conectar a escola às demandas da sociedade. Quando as
reformas educacionais dos diferentes países são categorizadas de acordo com seus
objetivos mais específicos, pode-se ver claramente o quanto as reformas seguiram os
mesmos rumos ao longo do continente. No entanto, é no caso da implantação de
novos sistemas de avaliação padronizada que a verdadeira uniformidade das propostas
educacionais é revelada. Nesse caso, observa-se que nada menos que 13 países da
região, incluindo o Brasil, adotaram sistemas de avaliação entre 1990 e 1998. No
quadro da autora que identifica o ano de implantação desses sistemas, as únicas
exceções são o Chile, que criou o Simce no final da década anterior, e Cuba, um caso à
parte, que já tinha um sistema próprio desde a década de 1970 (GAJARDO, 2000).
Devemos procurar a explicação das semelhanças e simultaneidade das reformas
em dois níveis. Num primeiro momento, há que reconhecer o efeito das múltiplas
reuniões multilaterais e ministeriais e o esforço das agências de desenvolvimento em
forjar o novo consenso para levar a Educação ao topo da agenda. Antes das outras
reuniões e conferências, cabe mencionar a Conferência Mundial sobre Educação da
Unesco de Jomtien, na Tailândia, que no princípio da década reuniu delegados de 155
países para fixar diretrizes para a transformação dos sistemas de Educação. Os
delegados criaram história ao adotar a Declaração Mundial de Educação para Todos,
que estabelece a Educação como um direito humano fundamental e define como
obrigação de todo sistema satisfazer às necessidades básicas de aprendizagem de toda
a sua população. Além da chamada principal de universalizar o ensino fundamental até
o final da década, foram tomadas decisões de privilegiar as questões da equidade, de
dar ênfase aos resultados da aprendizagem, de criar ambientes voltados para a
aprendizagem e de tornar a Educação um instrumento de desenvolvimento econômico
e social.
Incentivados pelo novo consenso e ativados pelas inúmeras demandas dos países
em desenvolvimento, os bancos internacionais se tornaram os financiadores da
reforma educacional na maioria dos países da região. O Banco Mundial adotou as
declarações de Jomtien e moldou uma série de estratégias consideradas eficazes na
realização desses objetivos, incluindo o fortalecimento da autonomia das escolas e a
15
© 2011. Fundação Victor Civita. Todos os direitos reservados.
criação de sistemas de avaliação de aprendizagem. Diversos estados brasileiros foram
beneficiários desse receituário, incluindo Minas Gerais, São Paulo, Paraná e Ceará.
Num segundo nível, a explicação do consenso a favor da reforma educacional
envolve a referência à nova ordem econômica mundial. Na opinião de diversos
autores, o que alimentava o entusiasmo crescente com os temas educacionais e
movimentava os ministros e os bancos de desenvolvimento eram as mudanças na
organização da economia global (GAJARDO, 2000; KRAWCZYK, 2000; LIMA ;AFONSO,
2002). Essa nova ordem significava a abertura das economias nacionais à concorrência
em escala global e ao livre movimento de investimentos e tecnologia. Nesse novo
cenário de integração e de concorrência no plano econômico e de redemocratização
no plano político, cabia aos países a reforma de seus sistemas educacionais para
garantir a competitividade. Nesse debate, é inconfundível a ideia de que a reforma
educacional
fazia parte de uma
estratégia
econômica para alavancar
a
competitividade. Fala-se da centralidade adquirida pela Educação na preparação das
novas gerações para o trabalho, para a criação das competências demandadas pela
nova estrutura de empregos e pelas novas atividades produtivas. Entende-se que essas
demandas provocadas pela globalização da competição seriam mais bem atendidas
após serem implantadas as reformas dos sistemas educacionais.
Nas entrelinhas dessa reforma educacional, aparece a conexão entre a
competitividade internacional, a produtividade individual e a melhoria na qualidade da
Educação. Se antes ela foi considerada apenas como um direito social, as reformas da
década de 1990 deixaram claro que os governos enxergavam a qualidade como um
ingrediente necessário à modernização e ao desenvolvimento e os sistemas de
avaliação como os guardiões dos esforços de melhoria. Os modelos disponíveis, e tão
habilmente propagados pelos organismos internacionais, foram as reformas instituídas
na Grã-Bretanha e nos Estados Unidos a partir da década de 1980. Ambas serviram
para elevar o status da avaliação educacional. No primeiro caso, foram implantados o
currículo nacional e um sistema próprio para sua avaliação. No segundo, deu-se
cobertura para o uso cada vez mais frequente de sistemas de avaliação para exigir
16
© 2011. Fundação Victor Civita. Todos os direitos reservados.
competências mínimas como requisitos para receber o diploma de Ensino Médio e
para impulsionar reformas no currículo e na qualidade do ensino.
A quantificação dos resultados da escola ocupa a posição central no novo modelo
de gestão educacional e eleva a avaliação ao status não só de fornecedor de
informações quantitativas mas também de pedra fundamental para diversas políticas
orientadas para a melhoria nos resultados. Nos Estados Unidos, o grande estímulo a
favor dessa nova orientação veio com o relatório lançado em 1983 pela comissão
criada pelo governo de Ronald Reagan para estudar a situação da Educação naquele
país. Chamado Uma Nação em Risco, o relatório causou um furor ao fazer uma série de
previsões sombrias sobre o próprio futuro do país devido à baixa qualidade do ensino
das suas escolas. Na parte reservada às recomendações, o relatório trata primeiro dos
conteúdos curriculares e argumenta a favor do “fortalecimento” dos requisitos para a
concessão do diploma de Ensino Médio em termos de anos de estudo. Na seguinte
leva de recomendações, apresenta-se a ideia que o nível de exigência para cada
conteúdo precisa subir ao mesmo tempo em que se criem em todos os estados os
sistemas de testes de desempenho para “certificar” o nível de aprendizagem dos
alunos. Com essas orientações, foi definida a peça fundamental da reforma
educacional das próximas décadas tanto nos Estados Unidos como em outros países.
Trata-se do uso da avaliação externa como um instrumento da reforma
educacional para a divulgação das mudanças desejadas e para o monitoramento dos
avanços conseguidos. Uma Nação em Risco deu credito à ideia da reforma baseada em
padrões. Na sua essência, essa mudança colocou o desempenho dos alunos no centro
das atenções como o objetivo primordial do trabalho da escola e legitimou o uso das
avaliações externas para medir a eficácia da escola e dos professores no cumprimento
dessa tarefa. As consequências que foram sendo associadas aos resultados dos alunos
de determinada escola ou professor, incluindo o pagamento ou não de incentivos,
sinalizam a transferência do ônus pelos esforços de melhoria em direção à escola e
deram sentido à palavra que virou sinônimo das reformas – accountability.
A reforma da Inglaterra se inspirou e reforçou essa mesma tendência. Ao criar um
currículo nacional com estrutura fortemente disciplinar, o governo de Margaret
17
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Thatcher estabeleceu as condições para estruturar um sistema de avaliação externa
que pela primeira vez permitiria a comparação de desempenho tanto de alunos como
de escolas. Com base nesse sistema para medir e publicar o desempenho dos alunos
nos anos finais de cada etapa chave do currículo, foram criados, primeiro, o sistema de
ranqueamento de escolas por meio das chamadas league tables2 e, posteriormente, as
metodologias mais sofisticadas de valor agregado que, ao controlar pela aprendizagem
anterior e condição socioeconômica dos alunos, permitem comparações mais
autenticas entre as escolas (GRAY ;WILCOX, 1995).
b) Reforma da gestão pública. A reforma educacional da Grã-Bretanha, que tanto
contribuiu para a criação da agenda dos organismos internacionais, não foi um
fenômeno só setorial, isolado do pensamento político do governo como um todo. O
partido conservador de Margaret Thatcher, que tomou o poder em 1979, estabeleceu
uma série de prioridades inspiradas em ideias liberais norte-americanas e adotadas
para combater a influência do pensamento socialista, que permeava as políticas
públicas. Entre as prioridades, adotou-se um programa econômico liberal e
incorporou-se um novo modelo de serviço público baseado em ideais de livre
mercado. Chamado posteriormente de New Public Management, a reforma do estado
na Grã-Bretanha ao longo da década de 1980 se desenvolveu em três dimensões. A
dimensão mais gerencialista se caracterizou por uma ênfase na produtividade e
eficiência do aparato governamental. Uma segunda dimensão, atenta às necessidades
da população consumidora, procurou a melhoria na qualidade e efetividade dos
serviços públicos, enquanto a preocupação com a accountability e a transparência
refletia a procura por um modelo de governança mais democrático (ABRUCIO, 2006).
Influenciado por atitudes favoráveis ao livre mercado, o destaque desse modelo foi a
criação de uma administração pública voltada mais para o controle dos resultados dos
programas e serviços do que o controle das normas e dos procedimentos mais
2
Literalmente, tabelas de ligas de futebol. Ranqueavam-se as escolas em Tabelas de Desempenho de
Escolas como se fossem times de futebol.
18
© 2011. Fundação Victor Civita. Todos os direitos reservados.
associados aos modelos de planejamento central. Nesse contexto, fazia todo sentido
não só enfraquecer as amarras administrativas e financeiras entre as autoridades
educacionais locais e as escolas como também criar um currículo nacional oficial e um
sistema de avaliação educacional correspondente, a ser usado no monitoramento e no
controle da qualidade das escolas.
Segundo Segatto (2011), os instrumentos desse modelo de estado são a
horizontalização de estruturas, a flexibilização da gestão de pessoal, a criação de
relações contratuais entre o órgão central e as instâncias descentralizadas e, acima de
tudo, o fortalecimento dos mecanismos de avaliação de desempenho (SEGATTO,
2011). O controle a posteriori dos resultados supõe a autonomia para as organizações
que executam a política (PETERS, 2008), que por sua vez pressupõe a flexibilização da
administração pública, a adoção de metas claras e a construção de métodos eficazes
para a avaliação de desempenho das unidades inferiores e a aplicação de sanções para
os que não alcançam os resultados contratados (CLAD, 2000).
A reforma do estado mediante a assimilação das novas práticas de gestão pôde
ser observada também nos Estados Unidos e em vários países da América Latina. Nos
Estados Unidos, foi aprovado em 1993 o Government Performance and Results Act,
que estabeleceu o planejamento estratégico e a mensuração do desempenho das
agências do governo federal. A partir de 1997, cada agência governamental precisa
declarar sua missão estratégica, seus objetivos de longo prazo e suas metas anuais de
desempenho. Essas últimas são expressas em termos de indicadores de desempenho
para ajudar as agências governamentais a melhorar seu trabalho e facilitar a
comunicação com o público (MUNIZ ;SILVEIRA; BECHELAINE, 2010). Na Argentina, o
Sistema de Informação, Avaliação e Monitoramento de Programas Sociais foi criado
pelo governo federal em 1995 para cumprir funções similares e no Chile o governo tem
usado um sistema de acompanhamento de indicadores de desempenho desde 1994.
A gradual adoção desse modelo de gestão em nível subnacional no Brasil começou
com o fim da inflação e a crise financeira dos estados, em 1995. Segundo Abrucio e
Gaetani (2006), a privatização dos bancos estaduais, a renegociação das dívidas em
termos menos favoráveis, a Lei Kandir e uma série de outros regulamentos para
19
© 2011. Fundação Victor Civita. Todos os direitos reservados.
enquadrar as finanças subnacionais obrigaram os governos estaduais a reduzir gastos e
procurar maior eficiência (ABRUCIO; GAETANI, 2006). Ou seja, a busca pela eficiência
nas políticas governamentais começou com o Plano Real e o cerceamento das práticas
financeiras predatórias dos estados, que antes usavam a inflação como uma forma de
resolver seu déficit fiscal.
Ao mesmo tempo, o planejamento estratégico ganhou impulso com base em duas
iniciativas do Governo Federal: o Estudo dos Eixos Nacionais de Integração e
Desenvolvimento, em 1997, e o Plano Plurianual 2000-2003, denominado Avança
Brasil, que desdobrou o anterior e o organizou em programas referenciados a
resultados. Esses programas continham objetivos, públicos-alvo, metas, indicadores e
procedimentos e normas para a avaliação dos programas:
A avaliação de programas orientada para resultados insere-se nesse
contexto, com a aferição da efetividade das ações do Governo. Nesse
sentido, os planos anuais estabeleceram níveis de desempenho projetados
através de indicadores, que deveriam ser quantificáveis e mensuráveis, que
deveriam ser avaliados em razão do atingimento dos níveis de
desempenho projetados ou dos objetivos programáticos. (MUNIZ;
SILVEIRA; BECHELAINE, 2010)(p. 35)
Nos anos seguintes, essas práticas de planejamento e gestão com base em
resultados se disseminaram por vários estados, incluindo Minas Gerais, Espírito Santo,
Rio de Janeiro, Mato Grosso e Santa Catarina (PORTO; SILVEIRA, 2010). De modo geral,
esses estados adotaram uma lógica de gestão que se assemelhava ao planejamento
estratégico do setor privado. O modelo seguido se baseava em uma análise dos
ambientes externo e interno para depois construir uma visão do futuro de longo e
médio prazo, desdobrado a seguir em objetivos, estratégias e indicadores de
desempenho. A convergência com o planejamento de empresas e organizações do
setor sem fins lucrativos reflete as origens do modelo e a sua afinidade com os ideais
de livre mercado.
20
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Inspirado nas iniciativas do Governo Federal e nas experiências internacionais,
Minas Gerais foi um dos primeiros estados a incorporar o modelo de gestão por
resultados e oferece um exemplo da afinidade entre os propósitos da avaliação
educacional e as exigências das novas políticas. Na primeira fase, iniciada em 2003, os
planejadores produziram o Plano Mineiro de Desenvolvimento Integrado, que serviu
como a visão do futuro para o período até 2020. Os cenários futuros evidenciaram a
necessidade da reorganização e modernização do setor público estadual por meio do
chamado Choque de Gestão. Para criar a ponte entre os cenários futuros e as ações do
secretariado, foram criados 30 projetos estruturadores e depois os programas setoriais
para compor o plano plurianual do governo para o período até 2006. Para definir os
objetivos de seus programas para o ensino fundamental e médio, a Secretaria da
Educação optou por uma bateria de indicadores, entre os quais as proficiências médias
dos alunos de 3º, 5º e 9º anos e 3º ano do Ensino Médio. Derivados do sistema
estadual de avaliação, Simave, essas proficiências oferecerem uma forma concreta de
fixar metas com base em resultados finalísticos, quando a maioria das Secretarias só
oferecia indicadores de processo.
Na segunda fase de implantação do novo modelo de gestão, chamada Estado para
Resultados, ficou ainda mais evidente o uso do Simave para atender aos requisitos dos
planejadores. Como grandes estratégias para a criação de critérios comuns para a
reorganização e modernização do serviço público, foram aprimorados o sistema de
avaliação de desempenho de todos os servidores e também o Acordo de Resultados.
Esse último, uma metodologia para fixar metas de desempenho para todas as
instâncias das Secretarias e pagar uma bonificação em caso de cumprimento dessas
metas, encontrou na Secretaria de Educação o melhor exemplo de como calcular com
exatidão os resultados esperados. A orientação política a favor da melhoria dos
resultados dos serviços públicos achou no sistema de avaliação educacional as
respostas desejadas. Ao mesmo tempo, o sistema de avaliação se desdobrou e
penetrou em todos os programas da Secretaria em resposta a um ambiente de
planejamento francamente propício ao uso de objetivos e metas quantificáveis. Essa
afinidade entre um modelo de gestão para resultados e os sistemas de avaliação
21
© 2011. Fundação Victor Civita. Todos os direitos reservados.
educacional será retomada em seção posterior. Por enquanto, basta enfatizar a sua
importância para o uso crescente da avaliação educacional pelas Secretarias de
Educação e o uso dos produtos dessa avaliação para o planejamento.
c) Liderança do MEC. O Sistema Nacional de Avaliação do Ensino Básico criado
pelo Inep no princípio da década de 1990 está na raiz de todos os sistemas estaduais
de avaliação. Pela criação do precedente e pela aprendizagem técnica oferecida pelo
Saeb, o Governo Federal exerceu uma influência forte na criação dos sistemas
estaduais. Quando o Banco Mundial ofereceu financiamento para as reformas
educacionais de estados como Paraná, Minas Gerais e Ceará, na década de 1990, já
havia o exemplo de um sistema de avaliação em funcionamento, mesmo só amostral,
e alguma confiança por parte dos estados que seria possível reproduzir a experiência
do Inep em nível estadual.
Apesar do inegável efeito indutor do Saeb, a influência do Ministério na definição
e diversificação dos sistemas estaduais só foi sentida de novo a partir da definição da
política educacional do segundo governo Lula, com a criação do Ideb e o foco nos
resultados do Decreto Nº 6.094, de 24 de abril de 2007. A Prova Brasil, criada em 2005,
não teve a mesma influência indutora que o Saeb, justamente por ser uma avaliação
censitária de todos os alunos de 5º e 9º anos e ser entendida pelos seus idealizadores
como uma fonte suficiente de informação, capaz de suprir as necessidades dos estados
e municípios. Mesmo restrita às zonas urbanas, às escolas de ensino fundamental com
mais de 20 alunos e ser bianual, a Prova Brasil de fato fornece um retrato valioso do
funcionamento do sistema de ensino fundamental no país.
Foi a partir da criação do Ideb, em 2007, que a Prova Brasil encontrou sua
verdadeira vocação. Pela inclusão da média de desempenho dos alunos, juntamente
com uma medida de fluxo em uma fórmula que permite expressar a qualidade da
escola em um único número numa escala de 1 a 10, foi possível potencializar os
resultados da Prova Brasil e criar pela primeira vez uma discussão nacional sobre a
direção e velocidade da melhoria da Educação. Por meio do Ideb, portanto, a Prova
22
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Brasil começou a exercer um poder de persuasão sobre os rumos da Educação nos
estados e municípios, permitindo que o Ministério recuperasse sua ascendência sobre
a política educacional. Como diz Vidal e Vieira:
Há uma aceitação incondicional do Ideb. O índice passou a ser o elemento
norteador, por excelência, da política municipal de Educação. A gestão da
Educação municipal gira em torno da melhoria do Ideb nas escolas, e para
isso, as SMEs procuram estabelecer mecanismos de monitoramento das
escolas. (VIDAL; VIEIRA, 2011)(p. 12)
Ao mesmo tempo, o Ideb forneceu um modelo para os estados com sistemas
próprios de avaliação e capacidade de enxergar o valor em captar em um único índice
a situação de cada turma e de cada escola para o planejamento e a gestão do sistema.
Resta saber se o Ideb levará outros estados a criar sistemas próprios de avaliação para
poder ter indicadores próprios com base em informações mais detalhadas e mais
frequentes. A evidência que os 15 estados que implementaram sistemas de avaliação
conseguiram promover uma elevação da proficiência média em matemática dos
alunos da 4ª série entre 1997 e 2005 maior do que os outros estados também deverá
servir de incentivo (OLIVEIRA, 2007).
O pensamento por trás dos passos do MEC e do Inep na criação primeiramente de
uma avaliação censitária nacional e, em seguida, de um indicador que sintetizava a
qualidade do ensino, ficou expressa no Decreto Nº 6.094, que implementou o Plano de
Metas Compromisso Todos pela Educação. Essa legislação, uma peça central na
estratégia do Ministério de estabelecer uma espécie de cruzada nacional a favor da
qualidade da Educação e galvanizar os estados e municípios em torno de um conjunto
de metas, explicitou as principais estratégias do Ministério para a melhoria dos
resultados das escolas. As três primeiras metas davam a avaliação educacional como o
instrumento preferido e especificavam os resultados dos alunos como o parâmetro e o
objetivo dos esforços de melhoria:
Art. 2º A participação da União no Compromisso será pautada pela
realização direta, quando couber, ou, nos demais casos, pelo incentivo e
23
© 2011. Fundação Victor Civita. Todos os direitos reservados.
apoio à implementação, por Municípios, Distrito Federal, Estados e
respectivos sistemas de ensino, das seguintes diretrizes:
I - estabelecer como foco a aprendizagem, apontando resultados concretos
a atingir;
II - alfabetizar as crianças até, no máximo, os oito anos de idade, aferindo
os resultados por exame periódico específico;
III - acompanhar cada aluno da rede individualmente, mediante registro da
sua frequência e do seu desempenho em avaliações, que devem ser
realizadas periodicamente;
No segundo capítulo do mesmo decreto, o Ministério estabeleceu o Ideb como a
forma de aferir a qualidade da Educação básica e como o indicador a ser usado na
verificação do cumprimento das metas fixadas no termo de adesão ao Compromisso
Todos pela Educação. Com um único artigo, o MEC parecia querer encerrar uma
discussão de décadas sobre a melhor maneira de definir e medir a qualidade da
Educação e optou por uma solução de fácil compreensão. A partir de 2007, os
resultados dos alunos, medidos por sistemas de avaliação externa, se tornaram o
objetivo da política educacional e o parâmetro a ser usado para medir o sucesso do
governo na condução dessa política. Em recente relatório do Centro de Gestão e
Estudos Estratégicos sobre o legado dos anos Lula, escrito em parceria com a
Secretaria de Assuntos Estratégicos da Presidência da República, os autores escrevem:
Modelado pelos patamares dos países da OCDE, o Ideb estabeleceu
objetivos para o país, para cada sistema de ensino e cada escola, de modo
a que, em 2021, venhamos a atingir o nível educacional dos países
desenvolvidos em termos de proficiência em Linguagem e Matemática.
Teve o mérito de combinar resultados importantes, pois é desejável que os
níveis de proficiência melhorem e aumentem os percentuais de aprovação.
(OLIVEIRA; GADELHA, 2010) (p. 79)
O instrumento escolhido para ajudar os municípios a adotarem as metas e
trabalharem seriamente a favor da melhoria do Ideb foi o Plano de Ações Articuladas –
24
© 2011. Fundação Victor Civita. Todos os direitos reservados.
PAR. Esse plano, baseado em diagnóstico feito com a ajuda do MEC, seria a base de um
convênio pelo qual o Ministério exerceria o “monitoramento da execução do convênio
ou termo de cooperação e do cumprimento das obrigações educacionais fixadas no
PAR [...] com base em relatórios ou, quando necessário, visitas da equipe técnica” (Art.
11). Nas entrelinhas, leia-se o Ideb e a ideia de que os municípios aceitavam os
recursos do Ministério com a condição de implantar mudanças e promover a melhoria
da qualidade medida pelo novo indicador. Esse sistema de accountability, uma
novidade nas relações entre níveis de governo na área da Educação, só servia para
enfatizar uma vez mais a importância a ser atribuída aos resultados de desempenho
dos alunos e à necessidade de estar sempre monitorando a aprendizagem. Não é de
surpreender que em pouco tempo o Ideb tenha se tornado uma questão política para
os gestores da Educação em nível estadual e municipal e a avaliação educacional um
elemento da maior relevância na definição de prioridades governamentais. O Ideb
marca um divisor de águas na forma de fazer política educacional e uma mudança
radical nos critérios a serem empregados na avaliação do trabalho da escola e dos
responsáveis pelos sistemas de Educação.
3.1.
A Expansão dos Sistemas Estaduais de Avaliação
O Quadro 1, apresentado na página 37, mostra a evolução dos sistemas estaduais
de avaliação educacional no Brasil. Os primeiros estados a criarem sistemas próprios
são Ceará e Minas Gerais, em 1992. O governo do Ceará cria o Sistema Permanente de
Avaliação da Educação Básica em Ceará (Spaece), que se mantém até hoje, contando
com algumas mudanças durante os anos. Em Minas Gerais, foi criado o Programa de
Avaliação do Sistema Estadual de Ensino de Minas Gerais, que posteriormente se
tornou o sistema atual: o Sistema Mineiro de Avaliação da Educação Pública (Simave).
Essas primeiras iniciativas abrangeram testes de português e matemática no ciclo
Básico (3ª série) e na 8ª série, no caso do primeiro, e, no segundo, foram aplicados,
anualmente, testes de português e matemática para os alunos de 4ª e 8ª séries do
25
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Ensino Fundamental, entre os anos de 1992 e 1996, sendo posteriormente realizado a
cada dois anos para que não coincidisse com as provas do Saeb.
O ano de 1992 também foi marcado pela implantação da Avaliação da Jornada
Única, pela Secretaria de Educação do estado de São Paulo. O projeto era verificar os
efeitos da jornada única nos anos do ciclo básico, de 1ª a 8ª série. Houve o
acompanhamento longitudinal de 3.600 alunos do Ciclo Básico de 60 escolas da região
metropolitana de São Paulo entre 1993 e 1995. Esse estudo teve grande importância,
na medida em que permitiu identificar “alunos-fantasmas”, matriculados sem estarem
cursando, e por verificar que o desempenho dos alunos das chamadas Escolas-Padrão
era semelhante ao observado nas demais modalidades de escola da rede estadual de
ensino, o que ocasionou a extinção das Escolas-Padrão (OLIVEIRA, 2007).
Esse processo culminou com a implantação do Sistema de Avaliação do
Rendimento Escolar (Saresp) em 1996. Os objetivos eram fornecer um perfil de
realização dos alunos que pudesse ser utilizado pelos professores para que tomassem
conhecimento do padrão de desempenho dos alunos, além do objetivo de identificar
os pontos críticos no processo de ensino e aprendizagem na Educação pública do
estado de São Paulo. O Saresp permanece com uma avaliação anual desde então, sem
interrupções.
A avaliação do Programa de Avaliação do Sistema Estadual de Ensino de Minas
Gerais foi realizada anualmente de 1992 a 1998, avaliando diferentes séries escolares
de um ano para o outro. Os objetivos do programa contemplavam principalmente a
avaliação do desempenho dos alunos das escolas estaduais referentes a aspectos dos
conteúdos curriculares, o levantamento de dados e informações que possibilitassem
políticas de intervenção para o desenvolvimento do processo de ensino-aprendizagem,
oferecer subsídios para os professores conduzirem com maior efetividade o processo
de ensino e permitir que a Secretaria de Educação como um todo direcionasse suas
ações (OLIVEIRA, 2007).
O estado do Paraná também criou um sistema próprio de ensino na metade dos
anos 1990. O Programa de Avaliação do Sistema Educacional do Paraná foi aplicado
26
© 2011. Fundação Victor Civita. Todos os direitos reservados.
pela primeira vez em 1995, na 4ª série do Ensino Fundamental, com testes de
português e matemática. Em 1996, foram aplicados testes na 8ª série do ensino
fundamental em ciências, história e geografia, além dos conhecimentos em português
e matemática, e português e matemática para o 2º ano do Ensino Médio. Já em 1997 e
1998, avaliaram-se, nos dois anos, a 4ª e 8ª séries do Ensino Fundamental e as
habilidades em língua portuguesa, matemática e ciências. O objetivo geral do
programa era obter informações gerais sobre o nível de conhecimento e habilidades
dos alunos da Educação básica do estado.
Também, na década de 1990, houve experiências de avaliação nos estados de
Mato Grosso do Sul e Rio Grande do Sul. De 1993 a 1997, foram realizadas avaliações
pontuais pelo Núcleo de Avaliação Educacional do estado do Mato Grosso do Sul de
algumas séries a cada ano nas escolas estaduais, mostrando um interesse maior em
fazer o diagnóstico do sistema do que o monitoramento do progresso. Em 1993,
15.000 alunos da 8ª série do Ensino Fundamental foram testados. Em 1994, 31.700
alunos da 5ª série do Ensino Fundamental e 1.364 alunos dos cursos de magistério. Em
1995, 26.000 alunos da 5ª série do Ensino Fundamental e 13.500 da 8ª. Em 1996,
alunos da 4ª série do curso do Cefam e da 3ª série do Curso do Ensino Médio da Escola
Hérculos Maymone, no total de 1.250 alunos. Em 1997, 12.000 alunos do 3º ano do
Ensino Médio foram testados. Já no estado do Rio Grande do Sul, houve avaliações nas
mesmas séries nos anos de 1996, 1997 e 1998. Contudo não se obtiveram maiores
informações dessas avaliações (LOPES, 2007).
No final dos anos 1990 e no princípio da nova década, observa-se que vários
estados começam a criar o seu próprio sistema de avaliação educacional, enquanto
outros aprimoram a parte técnica da avaliação, utilizando novos instrumentos e
procedimentos estatísticos. Pode-se dizer que um grande marco nas avaliações
educacionais no Brasil se dá com a utilização da metodologia de análise e
interpretação dos dados, chamada Teoria de Resposta ao Item (TRI). A utilização dessa
27
© 2011. Fundação Victor Civita. Todos os direitos reservados.
técnica é realizada pela primeira vez em 1995, no terceiro ciclo de avaliação do Saeb3.
Com base nessa técnica e nas novas Matrizes Curriculares de Referência, foi construído
um banco de itens para o quarto ciclo do Saeb, em 1997, utilizado até hoje.
Em 1999, com uma parceria entre MEC, Inep e Secretaria de Educação do Acre, é
realizada, de modo censitário, a avaliação dos alunos da 4ª série do Ensino
Fundamental nesse estado. A parceria realizou nova avaliação em 2003, também de
forma censitária, com os alunos de 8ª série do Ensino Fundamental e 3º ano do Ensino
Médio, além dos alunos de 4ª série do Ensino Fundamental novamente. Houve uma
orientação às escolas baseada nos resultados da avaliação. O retorno para as escolas
se deu por meio de relatórios individualizados e produzidos no estado, que foram
apresentados em seminários com diretores e coordenadores pedagógicos.
O ano de 1999 também é o início do Programa de Avaliação Externa da Secretaria
de Educação da Bahia, que aplica os primeiros testes em 2001. Esse programa se
dividiu em três eixos principais: 1. Avaliação de desempenho, com a aplicação de
testes de língua portuguesa e matemática a alunos de 4ª e 8ª séries, além de
questionários contextuais, aos alunos das escolas públicas dos municípios conveniados
ao Programa Educar para Vencer; 2. Avaliação da Aprendizagem, que teve início em
2001, com a aplicação de testes de matemática a alunos de 1ª e 2ª séries do Ensino
Fundamental das escolas públicas urbanas de 130 municípios baianos, e prosseguiu em
2002, com a aplicação a alunos de 1ª a 4ª série em 273 municípios; 3. O terceiro eixo
seria a criação de uma agência permanente de avaliação independente para dar
continuidade às avaliações de desempenho criadas pela Secretaria de Educação da
Bahia. Contudo, observou-se o fim do sistema de avaliação da Bahia já no ano de 2004.
Os resultados das avaliações foram divulgados por meio de relatórios e reuniões entre
os responsáveis pela avaliação e secretários municipais de Educação, diretores e
professores das escolas públicas.
3
As avaliações anteriores do Saeb se realizaram em 1990 e 1993.
28
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Em 2000, houve a Avaliação das Escolas Públicas do Maranhão, numa parceria
com a Fundação Cesgranrio. Foram avaliados, de forma censitária, os alunos da 4ª
série do Ensino Fundamental da rede estadual. Em 2001, houve nova avaliação no
estado, de forma censitária para as escolas estaduais, e amostral para as escolas
municipais, destinada a alunos de 4ª e 8ª séries do Ensino Fundamental e 3º ano do
Ensino Médio. Em 2001, houve uma avaliação no Tocantins nos mesmos moldes da
realizada em 2001 no Maranhão, numa parceria do Inep com a Fundação Cesgranrio.
Em todos os casos, foram realizados testes de português e matemática. Os resultados
foram tratados pela metodologia adotada pelo Inep/MEC, com a análise estatística
baseada na TRI.
As avaliações estaduais em Minas Gerais e Paraná não se realizam em 1999. No
ano 2000, o Programa de Avaliação do Sistema Educacional do Paraná passa a utilizar a
TRI para o tratamento de seus resultados de modo a compatibilizar o produto das
avaliações com a escala e resultados do Saeb, também produzidos com esse método.
Em 2001, também não há avaliação. O ano de 2002 é o último a ter uma avaliação
estadual no Paraná. Além dos testes de língua portuguesa, foram incluídos ciências e
matemática para 4ª e 8ª séries, efetuados desde 1997, e testes de língua portuguesa,
matemática, física, química e biologia para o 3º ano do Ensino Médio.
Já em Minas Gerais, após a interrupção da avaliação em 1999, é criado em 2000 o
Sistema Mineiro de Avaliação da Educação Pública (Simave). Os objetivos principais de
sua criação foram avaliar todos os alunos estaduais da 4ª série, no primeiro ano do
ciclo intermediário, da 8ª série, no segundo ano do ciclo avançado, além do 3º ano do
Ensino Médio por meio do Programa de Avaliação da Rede Pública da Educação Básica
(Proeb). Posteriormente, a partir de 2005, é criado o Pro-Alfa para avaliar as séries
iniciais de alfabetização, os primeiros anos de aprendizagem escolar. O Simave em sua
origem já estabelece como unidade de análise o item do teste cognitivo, incorporando
também a metodologia de análise estatística da TRI com o objetivo de explorar os
resultados obtidos e possibilitar a comparação dos mesmos ao longo dos anos. O
Simave, tanto por meio do Proeb quanto do Pro-Alfa, é aplicado anualmente até os
dias de hoje.
29
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Outro estado que passou por modificações em seu sistema de avaliação foi o
Ceará. A partir de 2001, o Spaece passou a aplicar os testes via internet. Os alunos
incluídos nas amostras por série respondiam aos testes em telessalas equipadas com
computadores. Nos três anos de 2001 a 2003, o programa passou a denominar-se
Spaece-Rede. A partir de 2001, o Spaece é aplicado anualmente até os dias de hoje,
possibilitando uma avaliação padronizada do progresso da Educação básica sem
interrupções. Em 2007, foi criado o Spaece-Alfa para avaliar a aprendizagem dos
alunos nas séries iniciais de alfabetização. O CAEd ficou responsável pela avaliação,
que ocorre anualmente desde então, usando uma metodologia baseada em itens
calibrados.
Em 2000, foi criado o Sistema de Avaliação Educacional de Pernambuco (Saepe),
em parceria entre a Secretaria de Educação de Pernambuco, a Unesco e o Inep, por
meio de um acordo de cooperação técnica. Inicialmente, foram aplicados testes de
leitura para os alunos de 2ª série e língua portuguesa, matemática e ciências para
alunos de 4ª e 8ª séries do Ensino Fundamental. No 3º ano do Ensino Médio, não foi
aplicada a prova de ciências. Também foram aplicados questionários contextuais para
escolas, diretores, professores, alunos e pais. O Saepe foi aplicado novamente em
2002, depois em 2005 e, desde 2008, é aplicado anualmente, pelo modelo CAEd, com
testes padronizados e a utilização da TRI.
Também no ano de 2000, foi criado o Programa de Avaliação da Educação Básica
(Paebes) pela Secretaria de Educação do Espírito Santo com o intuito de avaliar a
qualidade da Educação pública nos níveis fundamental e médio e, com base nos
resultados, implementar políticas e ações educacionais que visem a melhoria dos
processos de ensino-aprendizagem. Em 2004, o Paebes foi aplicado novamente com
nova metodologia pautada em Matrizes de Referência para a construção de itens, a
utilização da Teoria Clássica dos testes e da Teoria de Resposta ao Item (TRI), sendo
disponibilizados relatórios para as escolas e para os pais e um relatório geral. A
terceira avaliação aconteceu em 2008 e desde então o Paebes segue sendo aplicado
anualmente pelo CAEd.
30
© 2011. Fundação Victor Civita. Todos os direitos reservados.
O sistema de avaliação própria do estado do Rio de Janeiro foi criado pela
Secretaria de Educação também em 2000, baseado na implantação do programa Nova
Escola e aplicado em 2000, 2001, 2003, 2004 e 2005. Esse programa avaliava as escolas
se baseando em testes de português e matemática para alunos de 4ª e 8ª séries do
Ensino Fundamental e 3º ano do Ensino Médio. Também eram avaliados o fluxo
escolar dos alunos, em termos de aprovação, reprovação e abandono, e a gestão
escolar, na forma da assiduidade dos profissionais que trabalham na escola, relação
com a comunidade, correção da prestação de contas e a gestão com a matrícula. O
Programa Nova Escola também continha uma política de incentivo salarial para os
professores e demais profissionais da escola por meio de uma gratificação
proporcional aos objetivos alcançados pelas escolas, dentro de uma gradação de cinco
níveis de desempenho, variando de 5 a 25 pontos. A partir de 2008, a Secretaria de
Educação do Rio de Janeiro criou um novo sistema de avaliação, o Sistema de
Avaliação da Educação do Estado do Rio de Janeiro (Saerj), com o intuito de realizar
uma análise do desempenho dos alunos do ensino fundamental e médio, buscando
aprimorar os instrumentos para melhorar a Educação básica no estado. Desde então, o
Saerj é realizado anualmente por meio do modelo CAEd, com a utilização de Matrizes
de Referências, TRI e produção de boletins.
Em 2011, o estado do Rio implantou o Saerjinho, um teste diagnóstico para os
alunos de 5º e 9º anos do Ensino Fundamental e das três séries do Ensino Médio das
escolas estaduais de ensino regular. Os testes de língua portuguesa e de matemática
são aplicados ao final de cada bimestre. O objetivo é acompanhar mais de perto o
rendimento dos estudantes, detectando de maneira mais ágil as dificuldades de
aprendizagem das competências e habilidades propostas no Currículo Mínimo.
Em 2001, Goiás e Alagoas também iniciaram seus próprios sistemas de avaliação.
Em Alagoas, foi criado o Sistema de Avaliação Educacional de Alagoas (Saveal), visando
dar um panorama da realidade educacional do estado, e com base nele construir
indicadores básicos de qualidade que direcionasse as políticas para o fortalecimento
das escolas. A aplicação abrangeu todos os alunos das escolas públicas da 4ª série do
Ensino Fundamental. A segunda aplicação do Saveal ocorre em 2005, com o apoio da
31
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Unesco. Os testes foram aplicados para alunos de 4º e 8º anos do Ensino Fundamental,
com a aplicação de provas de português e matemática. Há a previsão de que o Saveal
se realize este ano. Já a Secretaria de Educação de Goiás implantou o Sistema
Integrado de Avaliação do Estado de Goiás (Saego) para comparar a Educação no
estado com os níveis nacionais, buscando aperfeiçoar a Educação no estado. Foram
aplicados testes de língua portuguesa e matemática aos alunos de 4ª e 8ª séries do
Ensino Fundamental e 3º ano do Ensino Médio de forma censitária. O Saego foi
aplicado novamente em 2002 e 2004.
Em 2003, após a experiência de avaliação em meados da década de 1990, a
Secretaria de Educação do Mato Grosso do Sul, por meio de seu Núcleo de Avaliação
Educacional, implantou o Sistema de Avaliação da Educação do Mato Grosso do Sul
(Saems), tendo o CAEd como agência avaliadora. Os princípios que nortearam o
programa foram: a centralidade da escola, pela produção de indicadores de
desempenho por meio da aplicação de testes a alunos de 4ª, 8ª séries do Ensino
Fundamental e 3º ano do Ensino Médio, produzidos por unidade escolar, oferecendo
diagnóstico do trabalho por elas produzidos; participação, por meio de oficinas de
discussão da elaboração dos instrumentos de avaliação e a posterior produção de
itens; gestão consorciada, por meio da participação compartilhada entre Inep,
Secretaria Estadual de Educação, Universidade Estadual do Mato Grosso do Sul e CAEd
do sistema de avaliação em diferentes níveis; equidade, como ideal de promoção
política; publicidade, por meio da divulgação dos resultados às escolas e comunidades
em geral; e independência, no sentido de especialidade mais técnica sem caráter
político partidário. O Saems foi aplicado também nos anos de 2005, 2007, 2008, 2009 e
há a previsão de que seja aplicado este ano.
O estado do Amazonas também implementou uma avaliação das escolas públicas
em 2003, uma parceria entre a Secretaria Estadual de Educação e o Inep/MEC. A
avaliação foi feita nos moldes do Saeb. Houve treinamento dos professores,
elaboração do banco de itens e produção das provas. Foram avaliados alunos de 2ª, 4ª
e 8ª séries do Ensino Fundamental e 3º ano do Ensino Médio. Contudo a equipe
estadual responsável pela avaliação teve dificuldades de trabalhar com a TRI e optou
32
© 2011. Fundação Victor Civita. Todos os direitos reservados.
pela utilização da teoria clássica dos testes. Em 2008, a Secretaria Estadual de
Educação criou o Sistema de Avaliação do Desempenho da Educação do Amazonas
(Sadeam), com o objetivo de ter um monitoramento contínuo da Educação no estado e
planejar ações para melhorá-la. O Cespe foi responsável pela avaliação no estado.
Foram avaliados alunos de 5º ao 9º anos do Ensino Fundamental, 3º ano do Ensino
Médio e EJA. O Sadeam continua em funcionamento, sendo aplicado anualmente
desde então, utilizando em sua metodologia a Teoria Clássica e a TRI.4
Em 2004, foi implantado o Exame de Avaliação da Educação Básica do Estado do
Sergipe (Exaeb-SE) dentro do Sistema de Avaliação Periódica de Desempenho (Saped).
Houve avaliações em 2004, 2005 e 2006 com um exame aplicado anualmente a alunos
da 5ª à 8ª série do Ensino Fundamental e alunos do Ensino Médio do Ensino Médio das
escolas públicas estaduais. A avaliação foi amostral, mas contemplou todas as
unidades escolares, turmas e disciplinas no estado. Contudo não há muita informação
sobre esse sistema de avaliação, sobre os instrumentos e a metodologia utilizados,
sobre o tratamento de resultados e a divulgação. O que se sabe é que os relatórios
foram devolvidos para as escolas e os diretores (LOPES, 2007).
Após as avaliações externas realizadas em 1996, 1997 e 1998, o Rio Grande do Sul
implantou seu próprio sistema de avaliação em 2005: o Sistema do Rendimento
Escolar do Rio Grande do Sul (Saers), com objetivo de obter dados e informações sobre
o desempenho educacional dos alunos no que concerne ao seu desenvolvimento
cognitivo e, com isso, possibilitar a correção de políticas públicas na área. Foram
avaliados alunos de 2ª e 5ª séries do Ensino Fundamental, em relação à leitura, escrita
e matemática, de forma censitária, em escolas urbanas e rurais de duas
coordenadorias da rede estadual e em escolas municipais de 75 municípios. Também
4
Pela utilização de ambas as teorias na produção de materiais, o estado de Amazonas poderia se tornar
um estudo de caso para testar a hipótese que quando os Estados e municípios convertem suas
metodologias para a TRI, eles perdem uma parte da capacidade de avaliar os processos de
aprendizagem. Pela falta de familiaridade com a noção de proficiência e as conhecidas dificuldades de
fazer uma interpretação das escalas, sugere-se que o avanço técnico da avaliação que traz vantagens em
outras áreas possa também estar associado à perda de compreensão dos resultados.
33
© 2011. Fundação Victor Civita. Todos os direitos reservados.
foram aplicados questionários contextuais a alunos, professores e diretores. Em 2007,
segundo ano de aplicação do Saers, além das séries citadas também foram avaliados
alunos do 1º ano do Ensino Médio. Trabalhou-se, metodologicamente, com a Teoria
Clássica e com a Teoria de Resposta ao Item. O Saers foi aplicado em 2009 e 2010,
sendo interrompido após esse último ano de avaliação depois da mudança de governo.
Em 2008, além da criação do Sadeam, também foram implementados os sistemas
de avaliação do Piauí e do Distrito Federal. A Prova Piauí foi aplicada somente em 2008
até o momento. Desenvolvida pela Secretaria de Educação do Estado, a Prova Piauí
teve como objetivos, além de avaliar o desempenho do aluno no estado e realizar
políticas de intervenção com base no diagnóstico, também minimizar os índices de
evasão e repetência na Educação pública do estado. Os alunos de 3ª, 4ª, 7ª e 8ª séries
do Ensino Fundamental e 2º e 3º anos do Ensino Médio de todas as escolas públicas do
estado foram avaliados em testes de língua portuguesa e matemática.
Já a Secretaria de Educação do Distrito Federal implantou em 2008 a primeira
avaliação do Sistema de Avaliação do Desempenho das Instituições Educacionais do
Sistema de Ensino do Distrito Federal (Siade), ficando ela a cargo da Fundação
Cesgranrio. A proposta é avaliar 2ª, 4ª, 6ª e 8ª séries do Ensino Fundamental em
relação a redação, matemática e ciências e a 3ª série do Ensino Médio, em que a
avaliação de ciências seria substituída por testes de química, física e biologia. Novos
conteúdos, como história, geografia, filosofia e sociologia, também têm previsão de
serem avaliados. Desde 2008, o Siade é realizado anualmente na rede pública e na
rede privada, quando solicitado ou em função do recredenciamento. São
disponibilizados matrizes de referência e guia de itens. A metodologia contempla a
utilização da TRI e o desenvolvimento de índice próprio para monitorar as escolas.
Após as avaliações esparsas de 1999 e 2003, realizadas em parceria com o
Inep/MEC, a Secretaria de Educação do Acre criou em 2009 o Sistema Estadual de
Avaliação da Aprendizagem Escolar (Seape) com o intuito de fazer um diagnóstico do
sistema de ensino estadual e atuar como instrumento de monitoramento das políticas
públicas implementadas pelo estado. O CAEd é o responsável pelo Seape. São
avaliados, anualmente, alunos de 4ª e 8ª séries do Ensino Fundamental e 3º ano do
34
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Ensino Médio das escolas estaduais e municipais do estado. São elaborados e
discutidos os itens da prova e posteriormente analisados com base na TRI. São
disponibilizadas também as matrizes de referência.
Pelo progressivo aumento da cor verde do Quadro 1, mostrando o crescimento
dos sistemas estaduais de avaliação, percebe-se que esses sistemas já se tornaram
aspectos fixos do panorama educacional do país. Os estados que ainda não têm são
minoritários e alguns dos que já tiveram, mas por diferentes motivos suspenderam seu
funcionamento, mostram a intenção de recuperá-los. A reformulação da metodologia
dos sistemas estaduais no princípio da década passada e a incorporação da TRI é o
divisor de águas na evolução recente da avaliação. A partir desse momento, um
número maior de estados se dispõe a experimentar com a criação de sistemas
próprios. No entanto, é só a partir da metade da década passada que os sistemas se
tornam mais permanentes, menos suscetíveis aos reveses políticos dos primeiros anos
da década de 1990 e mais sólidos em termos técnicos e metodológicos. Quase não se
escutam mais as dúvidas expressadas pelos professores e outros profissionais a
respeito da utilidade da avaliação externa. Como relatado por um dos técnicos
responsáveis pela implantação de um dos sistemas mais recentes, o do Distrito
Federal, a aceitação é geral:
...Desde que ele foi constituído, desde que se ouvir falar do Siade, a
expectativa foi muito grande, e desde sua primeira publicação até hoje
todo mundo se interessa, e se interessa de maneira positiva, pais, alunos, a
própria casa, profissionais. Tanto é que a gente trabalha do lado da
ouvidoria e a gente não teve uma reclamação sequer da avaliação em
nenhum aspecto, seja logístico, seja de material, seja da sua aplicação, dos
próprios conteúdos, né? (Técnico: SEE/DF)
Antes que se crie a noção que o avanço da avaliação foi um processo tranquilo,
sem solavancos nem retrocessos, é importante destacar a falta de continuidade das
políticas de avaliação mesmo nos estados com os sistemas mais consolidados. Nisso a
avaliação refletiu as dificuldades evidentes em outras dimensões da política
educacional, incluindo a fragmentação, falta de documentação e descontinuidade por
35
© 2011. Fundação Victor Civita. Todos os direitos reservados.
conta de rivalidades políticas. Devido à tendência de ver a política educacional como
questão partidária e as conhecidas resistências aos processos de avaliação externa por
parte de alguns segmentos dos professores, não foi incomum nas décadas passadas a
paralização dos sistemas de avaliação por certo tempo e até por períodos longos.
Pode-se dizer que a falta de continuidade pela ausência de consensos suprapartidários
sobre os rumos da política educacional prejudicou a evolução da avaliação educacional
e deixou marcas.
Talvez o exemplo mais marcante de um sistema de avaliação que ficou suspenso
em consequência de resistências políticas é o de Paraná. Esse sistema foi paralisado
em 2002 e continua sem previsão de retomada. A recente paralização do Saers, no Rio
Grande do Sul, pode também sinalizar um novo retrocesso caso o novo governo não
recupere a confiança no valor de avaliações estaduais regulares. Por outro lado, o caso
de Minas Gerais parece oferecer exemplo dos benefícios de um sistema que manteve
sua continuidade e que se consolidou justamente pela capacidade de fornecer
informações consistentes e comparáveis, independentemente da coloração partidária
do secretário. Com essa continuidade, uma política educacional que se fundamenta
nos resultados das avaliações e outros produtos do sistema de informações da
Secretaria pôde ser implantada gradativamente, permitindo uma consolidação mais
consensual e segura.
36
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Quadro 1. Sistemas Estaduais de Avaliação Educacional 1992-2011
Região
Estado
NO
AC
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
AC
2002
2003
2004
2005
2006
2007
2008
2010
2011*
SEAPE
AC
AM
AM
2009
SADEAM
PA
RR
*
RO
AP
TO
NE
PAM
MA
AEP
SAD?
AEP
SIMADE?
PROVA
PIAUÍ
PI
*
SPAECE
CE
SPAECE
ALFA
RN
PB
SAEPE
PE
SAVEAL
AL
EXAEB
SE
PAE
BA
CO
MT
MS
SAEMS
NAE
*
SAEGO
GO
SIADE
DF
SE
MG
ES
AVA-MG
SIMAVE
PROALFA
PAEBES
37
© 2011. Fundação Victor Civita. Todos os direitos reservados.
PNE
RJ
SAERJ
SAERJINHO
SU
SP
SARESP
PR
AVA
SC
SAERS
RS
AC - Avaliação Escolas Públicas do Acre (1999 e 2003) Parceria Inep-Mec
AEP - Avaliação Escolas Públicas Cesgranrio
AC - Avaliação Escolas Públicas do Amazonas (2003) Parceria Inep-Mec
AVA - Programa de Avaliação do Sistema Educacional do Paraná
EXAEB-SE – Exame de Avaliação da Educação Básica do Estado de Sergipe
NAE – Núcleo de Avaliação Educacional do Mato Grosso do Sul
PAEBES - Programa de Avaliação da Educação Básica do Espírito Santo
PAE - Projeto de Avaliação Externa
PAM – Projeto de Avaliação do Maranhão
PNE – Programa Nova Escola
PROVA PIAUÍ
SAD – Sistema de Avaliação de Desempenho (dúvida se é nos mesmos moldes dos
outros)
SADEAM – Sistema de Avaliação de Desempenho Educacional do Amazonas
SAEGO – Sistema de Avaliação da Educação de Goiás
SAEMS – Sistema de Avaliação da Educação Básica do Mato Grosso do Sul
SAEPE – Sistema de Avaliação Educacional de Pernambuco
SAERJ – Sistema de Avaliação da Educação do Estado do Rio de Janeiro
SAERS – Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul
SARESP – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo
SAVEAL – Sistema de Avaliação de Alagoas
SEAPE – Sistema Estadual de Avaliação da Aprendizagem Escolar
SIADE – Sistema de Avaliação de Desempenho das Instituições Educacionais do
Distrito Federal
SIMADE – Sistema Maranhense de Avaliação de Desempenho
SIMAVE – Sistema Mineiro de Avaliação (SIMAVE – PROEB DESDE 2000 /
PROALFA DESDE 2005)
SPAECE – Sistema Permanente de Avaliação da Educação Básica do Ceará
* A referência de 2011 é para estados que vão iniciar ou retomar a avaliação educacional neste ano com base em informações não oficiais. Para os estados com sistemas
de avaliação consolidados, supõe-se que haja a continuidade no ano corrente. O estado do Paraná sinaliza com a volta de seu sistema de avaliação no segundo semestre
de 2012.
38
© 2011. Fundação Victor Civita. Todos os direitos reservados.
4.
Accountability e as Avaliações High-Stakes
A ideia de usar a avaliação educacional com o propósito de focar as atenções nos
resultados e, mediante diferentes estímulos ou medidas coercitivas, promover ou
induzir mudanças nos professores e nas escolas não é uma política nova. Em 1863, o
parlamento britânico estabeleceu um sistema de financiamento educacional que
durante quase 30 anos fixava os salários dos professores de acordo com os resultados
dos alunos em provas orais aplicadas pelos inspetores escolares (RAPPLE, 1994).
Portanto, políticas de accountability efetivadas por meio do uso de provas high-stakes
para determinar o pagamento de professores com base nos resultados dos alunos têm
no mínimo 150 anos.
Em tempos modernos, a associação entre resultados e consequências,
principalmente no uso de provas finais para determinar a graduação do Ensino Médio
nos Estados Unidos, data da década de 1970. Porém o uso mais recente de políticas
que responsabilizam as escolas pelos seus resultados, coroado por uma legislação
federal naquele país que no princípio da década passada estipulava metas de
proficiência para todos os grupos e ameaçava fechar escolas que não as alcançavam,
tem levado a prática da accountability a um patamar de exigência nunca antes
experimentado.
O descontentamento público com a qualidade da Educação na década de 1970
nos Estados Unidos se derivava do aparente fracasso dos programas de Educação
compensatórios, das diferenças marcantes nos resultados dos grupos raciais, da falta
de empregabilidade dos jovens e da sensação geral de que o diploma de Ensino Médio,
tradicional símbolo de uma Educação completada, já não estava significando grande
coisa. O que nasceu desse caldo foi o movimento a favor das “competências mínimas”
e a ideia de que todo aluno deveria passar por testes para certificar se efetivamente
satisfazia às exigências mínimas para aquele curso ou ano de estudo. A mudança de
ênfase de insumos escolares para resultados escolares foi acompanhada por uma
política de estabelecer a satisfação das competências mínimas como requisito para
receber o diploma de Ensino Médio e, até 1985, 33 dos 50 estados já estipulavam esse
39
© 2011. Fundação Victor Civita. Todos os direitos reservados.
requisito em lei (HAERTEL; HERMAN, 2005). Para evitar problemas políticos causados
pelo aumento no número de egressos do Ensino Médio sem diploma, o nível de
exigência foi mantido relativamente baixo, e a ênfase em competências mínimas ou
básicas, preservada. Se havia accountability, nesse momento era mais pelas cobranças
feitas aos distritos escolares para que cumprissem as resoluções dos governos
estaduais e aos professores para cumprissem as normas da profissão (ANDERSON,
2005).
Foi a criação de metas de proficiência com consequências para as escolas,
incorporadas em lei no Texas e em outros estados ao longo da década de 1990, que
levou a política de accountability a um patamar ainda desconhecido. O novo sistema
continuou de olho nos resultados das avaliações, mas seguia um raciocínio diferente,
derivado de um clima político que traçava paralelos entre a Educação e o mundo dos
negócios e refletia uma teoria explícita de ação a respeito da melhoria do desempenho
dos alunos que enfatizava a motivação dos professores, alunos e gestores. Apesar de
pesquisadores demonstrarem que o sistema de accountability implantado no Texas
não trazia nenhum benefício para os latinos (VALENZUELA, 2005), era quase inevitável
que se tornasse o modelo para a legislação federal quando o governador George Bush
Jr. se elegeu presidente.
A legislação federal, aprovada pelo congresso em 2001, recebeu o nome de
Nenhuma Criança Deixada para Trás, ou NCLB (sigla em inglês). O NCLB aumentou
significativamente as obrigações dos estados na aplicação de avaliações, estipulou
metas de accountability para escolas, distritos e estados e legislou sobre o “progresso
anual aceitável” para todos os alunos e subgrupos de alunos por nível socioeconômico,
raça, língua materna e necessidade especial (LINN; BAKER; BETEBENNER, 2002). A
avaliação anual foi estendida para entre a 3ª e a 8ª série, juntamente com
recomendações para a formulação de padrões curriculares, e as metas para todos os
alunos alcançarem proficiência até o ano de 2014 foram acompanhadas de uma série
de provisões caso a escola não cumpra a sua tarefa. Essas variavam desde o direito dos
pais de levarem seus filhos para outras escolas até o fechamento e “reconstituição” da
40
© 2011. Fundação Victor Civita. Todos os direitos reservados.
escola que não alcançasse o progresso anual adequado por anos consecutivos
(HAERTEL; HERMAN, 2005).
O objetivo da legislação era de pressionar as escolas públicas, principalmente as
consideradas de desempenho fraco, a melhorar seu rendimento de acordo com
parâmetros padronizados nas diferentes áreas do currículo e para os diferentes
subgrupos de alunos (MALEN; RICE, 2004). Segundo Fuhrman (2005), esse propósito
tinha vários pressupostos: que o desempenho dos alunos nas provas fosse o objetivochave da escola e o sistema de accountability devesse ser construído em torno dele;
que o desempenho pudesse ser medido de forma precisa; que as consequências
motivassem professores e alunos; que o efeito geral pudesse ser um ensino de
qualidade e um nível superior de desempenho; e que os efeitos colaterais e
indesejados fossem mínimos (FUHRMAN, 2003).
Esses pressupostos demonstram o quanto os novos sistemas de accountability
são polêmicos e indicam, portanto, a necessidade de fazer múltiplas perguntas para
poder avaliá-los em todas as suas dimensões. Não é suficiente perguntar se os alunos
estão aprendendo mais. Há a necessidade de determinar se essa aprendizagem
significa progresso educacional para todos (SUNDERMAN, 2008), se os sistemas de
avaliação são válidos e justos e se há formas de melhorá-los para que a aprendizagem
avance mais (FUHRMAN, 2003). E, mesmo quando se toma a aprendizagem como
critério, há de perguntar também se os alunos que estão sendo mudados para outras
escolas por força da legislação estão sendo beneficiados. A esse respeito, uma
pesquisa indica que a proximidade e disponibilidade de escolas de notas altas são
fatores preponderantes na capacidade de os sistemas de accountability e a política de
dar a liberdade de escolha de escola aos pais impactarem os resultados dos alunos,
mas que ainda essas condições não são frequentes (HASTINGS, 2007).
As pesquisas que demonstram que há ganhos na aprendizagem são várias. Jacob
(2002) encontrou ganhos imediatos no desempenho em matemática e leitura logo
após a introdução da política de accountability nas escolas públicas de Chicago, em
comparação com as tendências anteriores e também em comparação com outros
distritos urbanos do Meio-Oeste. Porém os ganhos identificados foram provocados por
41
© 2011. Fundação Victor Civita. Todos os direitos reservados.
melhorias nas habilidades específicas medidas pelos testes e na motivação dos alunos
e não houve ganhos equivalentes em testes estaduais low-stakes, sem consequências
para os alunos (JACOB, 2002). O autor também notou que os professores responderam
estrategicamente aos incentivos, classificando alunos como portadores de
necessidades especiais, retendo alunos na série anterior aos testes e procurando
lecionar em áreas curriculares não sujeitas aos testes.
Esses comportamentos são observados em outras pesquisas que mostram que,
quando há resultados positivos, indicando ganhos aparentes na aprendizagem dos
alunos após a implantação de sistemas de accountability, esses resultados podem
também ser explicados por outros fenômenos. O mais comum dessas explicações
alternativas é fornecido pela exclusão de alunos de desempenho mais baixo que, por
retenção ou por abandono, são removidos da coorte. Se esses alunos tivessem
continuado entre os alunos testados, teriam anulado o ganho médio do grupo
(NICHOLS; GLASS; BERLINER, 2005). Outra explicação é fornecida pelo comportamento
“gaming” dos próprios estados perante as exigências de melhorias anuais. Diversos
autores (LINN; BAKER; BETEBENNER, 2002; CAREY, 2007) encontram evidência de
afrouxamento dos padrões de conteúdos, do rigor dos testes e do nível de exigência
dos estados. Em consequência, o percentual de alunos que alcançam o nível
considerado satisfatório ou proficiente nas avaliações estaduais ao final do Ensino
Médio pode variar de um estado a outro e de um ano a outro sem que isso signifique
uma diferença substantiva na qualidade do ensino.
A diversidade dos parâmetros das avaliações estaduais tem levado muitos
pesquisadores a abandonarem a taxa de graduação do Ensino Médio como uma
medida de progresso na aprendizagem e abraçar como indicador independente os
resultados da Avaliação Nacional de Progresso Educacional – Naep, a maior e mais
conhecida avaliação padronizada de 4ª e 8ª séries. Apesar de alguns não encontrarem
uma relação significativa entre os resultados do Naep e os resultados medidos pelos
testes estaduais high-stakes (AMREIN; BERLINER, 2002), a maior parte da pesquisa
subsequente mostra essa conexão. As pesquisas de Carnoy e Loeb (CARNOY; LOEB,
2002) e de Braun (BRAUN, 2004) são exemplos de como dados transversais parecem
42
© 2011. Fundação Victor Civita. Todos os direitos reservados.
apoiar a conclusão que os testes high-stakes de fato promovem desempenhos
melhores. Essas e outras evidências têm influenciado os formuladores das políticas
educacionais dos estados, como de Nova York:
Exames com consequências atreladas, como a proibição de se graduar da
escola de Ensino Médio, fornecerão os incentivos para os estudantes
estudarem e trabalharem mais para passar. Mesmo não sendo conclusiva,
a grande maioria dos estudos mostra a existência de uma relação e
estamos confiantes em concluir que a existência de exames high-stakes
geralmente leva a um desempenho acadêmico mais alto (NYSED, 2004) (p.
3).
No entanto, outras pesquisas mostram que os avanços medidos pelo Naep
podem também ser ilusórios. Em pesquisa na Flórida para compreender os avanços
dos alunos da 4ª série no teste de matemática do Naep de 2005 em comparação aos
alunos de outros estados, Haney (2006) comprova que o festejado resultado foi reflexo
indireto do aumento na taxa de reprovação em 2003-2004. Além do mais, os alunos
obrigados a repetirem a 3ª série foram desproporcionalmente alunos de grupos
minoritários, o que levou a uma redução igualmente falsa na diferença entre as médias
dos diferentes grupos raciais.
O que causou a queda dramática na diferença entre os grupos raciais nos
resultados Naep na Flórida? A análise da transição entre as séries com base
em informações de matrícula torna bastante clara a resposta [...] as
análises da matrícula por grupo racial (negro, hispânico e branco) deixa
claro que quando a Flórida começou, em 2003-2004, a aumentar a
repetição na 3ª série, eram desproporcionalmente crianças negras e
hispânicas (de 15 a 20% tiveram que repetir), em comparação com crianças
brancas (cerca de 4 a 6% tiveram que repetir a 3ª série. (HANEY, 2006) (p.
6).
Devido à importância atribuída à redução das diferenças entre os grupos raciais
na legislação NCLB e no processo de monitoramento anual do progresso de todos os
43
© 2011. Fundação Victor Civita. Todos os direitos reservados.
grupos em direção à meta comum, chama a atenção a conclusão do pesquisador de
que os resultados baseados em amostras de alunos por série, como da Naep e a
maioria dos testes estaduais, sempre mascararão as desigualdades do sistema.
Enquanto a atenção se concentra nas diferenças de desempenho dos grupos raciais em
determinada série, a verdadeira diferença se revela no progresso dos diferentes
grupos no sistema educacional (HANEY, 2006).
Outra parte significativa da bibliografia mostra que não só não há resultados
positivos mas que também as provas high-stakes chegam a fazer mal ao processo
educativo. Nichols (2005) não encontra a evidência de um efeito positivo de provas
high-stakes, enquanto Malen (2004) demonstra como versões de sistemas de
accountability high-stakes podem diminuir a capacidade das escolas com mais
dificuldades de melhorarem seus resultados, mesmo na presença de recursos
adicionais (MALEN; RICE, 2004; NICHOLS; GLASS; BERLINER, 2005). Outros efeitos
colaterais incluem a redução na criatividade e no entusiasmo dos professores devido
às demandas pouco razoáveis a que estão sujeitos e que os levam a abandonar a
profissão (JOHNSON; JOHNSON, 2002), e a tendência dos professores de ensinar para
o teste, e dessa forma inflar artificialmente os resultados dos alunos, ao mesmo tempo
em que se descuidam das atividades e áreas curriculares não sujeitas ao
monitoramento (VOLANTE, 2004).
Muitos dos estudos acessados concluem que o accountability como política
pública que promete mudanças substanciais fica aquém do prometido (MANNA, 2010)
ou produz resultados superficiais e contraditórios. O termo superficial se refere à
descoberta que, enquanto os testes high-stakes parecem motivar os professores e
gestores a mudarem sua prática, as mudanças tendem a ser antes meros ajustes
superficiais no conteúdo ensinado e no preparo dos alunos para as provas do que
melhorias permanentes na prática de ensino. Ainda mais problemático, a informação
fornecida pelas avaliações em larga escala serve mais para medir o progresso da escola
ou do sistema do que para guiar o ensino, de modo que a política é bem menos
substantiva do que se costuma pensar. Enquanto serve para indicar as fragilidades das
44
© 2011. Fundação Victor Civita. Todos os direitos reservados.
escolas, oferece pouco em termos de informação e orientação para a formulação de
respostas pedagógicas (SUPOVITZ, 2009).
Os resultados também são conflitantes. Em meta-análise de 49 estudos das
relações entre testes high-stakes e práticas docentes, Au (2007) encontra tendências
contraditórias. Os efeitos mais visíveis são a redução do conteúdo para os tópicos dos
testes, a fragmentação dos conhecimentos em pedaços relacionados aos testes e o
aumento nas práticas de ensino centradas no professor. Por outro lado, em
determinados momentos, os testes high-stakes têm levado a uma expansão no
currículo, à integração de diferentes áreas curriculares e ao uso de estilos de ensino
mais cooperativos, centrados nos alunos. Os achados contraditórios da pesquisa
sugerem que o impacto da política de testes high-stakes sobre a prática do professor
esteja condicionado pela própria natureza dos testes e pela relação deles com o
currículo (AU, 2007).
Talvez por esse motivo existam autores que pensam que os sistemas de
accountability como o NCLB possam ainda promover mudanças positivas. Anderson
(2005) argumenta que, para um sistema de accountability produzir resultados de
aprendizagem ao mesmo tempo em que atende às necessidades legais e profissionais
do corpo docente, ele precisa satisfazer alguns requisitos, entre os quais a necessidade
de expressar uma completa harmonia de propósitos e instrumentos (ANDERSON,
2005). Para esse e outros autores, a conceito usado é o do alinhamento dos objetivos,
do currículo, do ensino, dos recursos e das avaliações. Sem esse alinhamento, que
começa com um consenso em torno de um currículo-padrão e se estende para dentro
da sala de aula por meio do currículo ensinado, não há sistema de avaliação que possa
oferecer alguma orientação para a prática do professor ou fornecer as bases para uma
distribuição justa de prêmios.
4.1 Sistemas de Incentivos
Outro assunto levantado pelos novos sistemas de accountability diz respeito à
própria teoria dos incentivos e seu impacto no comportamento dos professores. Por
45
© 2011. Fundação Victor Civita. Todos os direitos reservados.
causa da polêmica sobre os novos sistemas de “pagamento por resultados” e de
incentivos salariais nos Estados Unidos, existe uma literatura já considerável sobre
esse tópico, que nos ajudará a especular sobre os possíveis efeitos dos sistemas de
incentivos salariais para professores sendo implantados no Brasil e seus impactos no
resultado dos alunos.
Quando a pesquisa se concentra na comparação dos resultados dos alunos de
acordo com a presença ou não de sistemas de pagamento de incentivos, a tendência
nos Estados Unidos e em outros países como Índia e Israel é mostrar que os alunos
têm desempenho superior quando seus professores estão aptos a receberem algum
bônus. Usando dados de um experimento natural em um distrito escolar onde uma
escola de Ensino Médio adotou um sistema de incentivos e outro não, Eberts e colegas
não conseguiram mostrar que houve impacto na média dos alunos, mas constataram
que a proporção de alunos evadidos diminuiu significativamente (EBERTS;
HOLLENBECK; STONE, 2000). Figlio e Kenny (2006), por outro lado, com base na
Pesquisa Longitudinal Nacional sobre Educação (NELS), encontraram resultados
melhores em escolas com sistemas de incentivos, mas pela natureza dos dados não
puderam descartar a possibilidade de esse resultado ter sido causado pela adoção dos
sistemas de incentivos pelas melhores escolas (FIGLIO; KENNY, 2006). Resultados mais
convincentes foram encontrados por Winters em estudo do sistema de incentivos de
Little Rock, Arkansas, onde os alunos dos professores incluídos no programa obtiveram
ganhos substanciais (WINTERS, 2008) e Atkinson, na Inglaterra, onde o ganho equivalia
a aproximadamente 40% de um ano escolar por aluno (ATKINSON, 2009). O estudo de
Lavy de professores de inglês e matemática incluídos em programa de premiação por
aumentos no resultados dos alunos no exame de ingresso ao Ensino Médio mostrou
ganhos na proporção de alunos prestando o exame, nas médias e na taxa de
aprovação, causados por mudanças no ensino, nos cuidados dos professores com os
alunos e o tempo gasto fora do horário escolar (LAVY, 2009). Mesmo representando
somente 3% do salário anual, os incentivos oferecidos no estado indiano de Andra
Pradesh foram suficientes para melhorar os resultados dos alunos em 0,28 e 0,16
46
© 2011. Fundação Victor Civita. Todos os direitos reservados.
desvios-padrão
em
matemática
e
língua
após
dois
anos
do
programa
(MURALIDHARAN; SUNDARARAMAN, 2009).
Outros autores são menos otimistas e enfatizam possíveis efeitos negativos dos
sistemas de incentivos, incluindo a erosão da motivação intrínseca inerente à docência
pela motivação extrínseca mais instrumental. Springer (2009) menciona a perda do
ambiente colaborativo e a instalação de interesses mais competitivos ao mesmo
tempo em que critica a incapacidade dos testes de retratar a complexidade multitarefa
do trabalho do professor (SPRINGER, 2009). Relatório da Corporação Rand também
fala da possibilidade de efeitos negativos na moral dos professores, no espírito de
colaboração entre membros da equipe e no desempenho dos alunos (RAND, 2009). Os
trabalhos que não detectam ganhos entre os alunos de professores incluídos em
programas de incentivos observam o efeito de pequenas variações no próprio desenho
dos programas e a necessidade de envolver os interessados no processo de
formulação (PRINCE, 2008 ).
Quando a pesquisa faz a distinção entre sistemas de incentivos individuais e
sistemas de incentivos coletivos, pagos a todos os integrantes da equipe escolar
independentemente se foram ou não os professores dos alunos testados, os
resultados se tornam mais relevantes para a situação brasileira. Com a exceção do
prêmio para os professores alfabetizadores de Sobral, os incentivos brasileiros são
coletivos, pagos, mediante fórmulas diversas, à coletividade escolar com justificativas
que geralmente explicitam o propósito de motivar a equipe inteira e evitar possíveis
divisões causadas pelos incentivos individuais. Os motivos também são práticos. Como
detalhado por Ahn e Vigdor, pela concentração da avaliação em poucas áreas
curriculares e em só algumas séries escolares geralmente são poucos os professores
cujos alunos são efetivamente testados, mesmo nos Estados Unidos, (AHN; VIGDOR,
2010). Outro problema é a distribuição não aleatória de alunos entre as turmas e a
consequente distribuição enviesada de resultados e incentivos entre os professores. O
terceiro problema, a ser discutido em relação ao uso de novas metodologias de valor
agregado para a avaliação docente, é que os instrumentos de avaliação e os métodos
estatísticos para determinar a relação entre os resultados dos alunos e o trabalho do
47
© 2011. Fundação Victor Civita. Todos os direitos reservados.
professor ainda sofrem de flutuações aleatórias e outras imprecisões que dificultam
seu uso para incentivos individuais.
Apesar das aparentes vantagens do incentivo coletivo, a pesquisa não
demonstra o mesmo impacto. Muralidharan mostra que, enquanto as duas
modalidades de incentivo produziram impactos similares no primeiro ano, a partir do
segundo ano os incentivos individuais superaram os outros (MURALIDHARAN;
SUNDARARAMAN, 2009). Goodman e Turner, por outro lado, mostram pouco impacto
para incentivos de grupo pagos de acordo com o cumprimento de metas pela escola.
Em pesquisa conduzida no sistema público de Nova York, foram criadas diversas
medidas de resultados, incluindo esforço docente, desempenho dos alunos em
matemática e leitura e práticas de sala de aula. Foi detectada a prática de free-riding,
em que os professores cujos alunos não foram testados beneficiaram-se do trabalho
dos outros, mas sem esforço próprio, o que reduziu significativamente o efeito dos
incentivos do programa. Em escolas com um número menor de professores, os
incentivos levaram a uma melhora significativa na frequência dos professores, mas
essa mudança não se traduziu em ganhos nos resultados dos alunos (GOODMAN;
TURNER, 2010).
Talvez não seja tão difícil entender esses resultados. No caso dos incentivos
individuais, o professor que não ganha o bônus terá condição de modificar seu
comportamento com base no modelo oferecido por outros professores da mesma
escola que receberam o incentivo. Nesse caso, há uma conexão possível entre o
sistema de incentivos e a mudança pretendida na prática dos professores menos
produtivos. No caso do incentivo de grupo, essa conexão não existe. O professor que
pertence a uma escola que não recebe o bônus não tem em quem se modelar para
produzir um comportamento ou prática docente diferente. Da mesma forma, a escola
que ganha o bônus coletivo não recebe indicação das práticas consideradas bemsucedidas e deve encarar o pagamento mais como um adicional ou um 13º salário do
que propriamente um incentivo para o aprimoramento do ensino da escola.
O resultado de que o incentivo de grupo talvez tenha impactado a motivação do
professor, medida por sua frequência ou assiduidade, sugere que os sistemas
48
© 2011. Fundação Victor Civita. Todos os direitos reservados.
brasileiros que condicionam o pagamento do bônus ao cumprimento de um número
mínimo de dias de serviço estejam no caminho certo. Nesses casos, os efeitos das duas
condições, a do cumprimento das metas e a dos dias de serviço, se somam em favor de
um impacto dobrado. Resta saber se no caso brasileiro o efeito da melhoria na
frequência do professor se traduz em avanços na aprendizagem dos alunos. Os
resultados de Nova York não encorajam otimismo a esse respeito.
Publicação recente do Comitê sobre Incentivos e Accountability Baseado em
Testes na Educação Publica, do National Research Council dos Estados Unidos, pode
nos ajudar a concluir essa discussão a propósito dos resultados de pesquisas sobre os
efeitos dos incentivos salariais em outros países (HOUT; ELLIOTT, 2011). Nessa
metapesquisa, que classifica e avalia um número seleto de trabalhos da última década,
os autores estabelecem uma série de critérios para a exclusão de estudos que por
motivos metodológicos não atingem um grau satisfatório de confiabilidade. O primeiro
critério é que os estudos precisam de grupo de controle, para poder provar que os
incentivos são efetivamente a causa das mudanças na aprendizagem. O segundo
critério obriga o uso de um teste independente low-stakes para medir o efeito dos
incentivos sobre a aprendizagem. Pelo conhecido efeito de “inflação” de resultados
nos testes usados para determinar o pagamento de bonificações, os autores insistem
que este mesmo teste não pode ser usado como a medida usada pela pesquisa para
aferir o impacto da política. O terceiro critério exclui os estudos transversais que
comparam os resultados de escolas incluídas e não incluídas em programas de
incentivos que não controlaram pelos critérios de inclusão.
São 11 os estudos que satisfazem os critérios e oferecem uma base para
conclusões confiáveis, cinco dos Estados Unidos e seis de outros países. Nos Estados
Unidos as pesquisas mostram que os programas de incentivos não tem influenciado os
níveis de desempenho dos alunos de forma significativa. O efeito médio varia de -0,02
a 0,06 desvio padrão quando os programas são avaliados pelo uso de testes low-stakes
de controle. Os estudos em outros países, incluindo os estudos já mencionados de
Muralidharan e Sundararaman na Índia e Lavy em Israel, os efeitos são maiores, com
49
© 2011. Fundação Victor Civita. Todos os direitos reservados.
um efeito médio de 0,08 d.p., mas com extremos na Índia, de 0,22 d.p., no caso de
escolas com incentivos individuais, e 0,15 d.p., nas escolas de incentivos coletivos.
Os autores relutam em chegar a conclusões gerais pelo fato de ainda existirem
muitos desenhos de políticas de incentivos ainda sem experimentação e muita
variação entre os desenhos já testados. Mesmo assim, eles acreditam que os
benefícios são bem menores do que o esperado e pouco convincentes perante o
tamanho do desafio para melhorar os resultados das escolas. Observam que os custos
são altos, o que não deveria ser uma razão para deixar de investir em outras políticas
de melhoria, potencialmente mais eficazes.
4.2. Sistemas de Responsabilização na América Latina
Depois das reformas educacionais da década de 1990 e a incorporação dos
sistemas de avaliação padronizada como instrumentos de gestão, a questão do acesso
cedeu lugar à aprendizagem e à melhoria dos resultados escolares como objetivos
principais dos sistemas educacionais da América Latina. Na esteira desse movimento,
grandemente facilitado pelas agências das Nações Unidas e outros órgãos
multilaterais, também foi incorporada a discussão sobre o uso dos resultados dos
sistemas de avaliação para induzir mudanças no mesmo sentido que os sistemas de
accountability nos Estados Unidos.
A primeira barreira a superar era a tradução correta da palavra accountability. Em
inglês, a palavra expressa dois conceitos, um relacionado com a prestação de contas e
a outra com a ideia da responsabilização. Quando aplicada especificamente à escola, a
noção de prestação de contas significa a cobrança legítima de um serviço público de
qualidade em troca da manutenção da escola com recursos públicos oriundos dos
impostos pagos pela população. Em jogo está o direito do cidadão de esperar bons
serviços, medidos em termos da aprendizagem dos alunos, se esses são sustentados
pelos dólares ou reais dos contribuintes. O segundo significado da palavra é
inseparável e consequência do outro, mas expressa a ideia que o público tem o direito
de demandar que a escola assuma sua responsabilidade direta pelos resultados de
50
© 2011. Fundação Victor Civita. Todos os direitos reservados.
seus alunos. Accountability, portanto, significa uma cobrança por bons resultados e a
demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na
produção desses resultados (BROOKE, 2006; CORVALÁN; MCMEEKIN, 2006; FERRER,
2006; MCMEEKIN, 2006).
No contexto latino-americano, em que a consciência do contribuinte é menos
cultivada e não há o mesmo rigor ou sentimento de posse em relação a tudo o que é
público, foi o elemento da responsabilização que tomou precedência na hora de
esboçar uma tradução (BROOKE, 2006; BROOKE, 2008). A própria discussão da política
pública pode ter sido prejudicada pela precipitação dos autores em optar por uma
tradução incompleta, mas não há alternativa prática à vista. Entre os dois significados,
parece que a responsabilização é o termo que mais exprime o sentimento de que a
escola precisa ser lembrada das suas responsabilidades.
O pioneiro da responsabilização na América Latina é o Chile. O Sistema Nacional
de Avaliação dos Estabelecimentos Subvencionadas (Sned) desse país é acionado a
cada dois anos, desde 1996, para distribuir prêmios às escolas com os melhores
resultados no Simce e dessa forma estabelecer consequências para o trabalho dos
professores. Segundo Mizala e Romaguera (2003, 2005), essa política, dirigida a todas
as escolas que recebem financiamento público com o objetivo explícito de aumentar a
motivação dos professores, oferece prêmios às escolas com as médias mais altas na
avaliação bianual do Simce, em comparação a escolas de características e nível
socioeconômico similares. Adicionalmente, o sistema de premiação se transforma em
orientação para os pais ao entregar informação à comunidade escolar sobre a
qualidade das escolas mediante comparações em diversas dimensões do ensino
(MIZALA; ROMAGUERA, 2003). Em cada região, as melhores escolas são premiadas até
alcançar 25% dos alunos matriculados, o que na prática significa aproximadamente
20% das escolas e 27% dos professores. A lei estipula que 90% do montante recebido
seja distribuído entre os professores e o restante distribuído de acordo com as
prioridades de cada escola. Em 2005, o valor distribuído para cada professor equivalia
entre 5 e 7% do salário anual, mas a legislação mais recente efetivamente duplica esse
valor, além de aumentar a proporção da matrícula regional que será coberta pelos
51
© 2011. Fundação Victor Civita. Todos os direitos reservados.
“prêmios de excelência” de 25 para 35% (MIZALA; ROMAGUERA, 2005; VEGAS;
UMANSKY, 2005). Apesar de existirem sistemas de incentivos em outros países da
América Latina, como Bolívia e El Salvador, o Sned do Chile era o único que enfatizava
principalmente os resultados dos alunos no cálculo do indicador final de desempenho,
juntamente com alguns indicadores de processo e de igualdade de oportunidades.
Novos sistemas de responsabilização no Brasil, a serem discutidos logo a seguir,
alteram esse panorama regional.
A pesquisa sobre o impacto do Sned é dificultada pela ausência de um grupo de
comparação, já que todas as escolas com financiamento público competem pelos
prêmios, e pelo problema de endogenia sofrido pelas avaliações de impacto do Sned
que precisam usar como indicador o mesmo resultado usado pelo Sned no cálculo do
índice de desempenho da escola. A solução encontrada por Mizala e Romaguera
(2005) foi empregar um modelo de efeitos fixos, o que permitiu modelar a
heterogeneidade de cada escola e criar uma função de produção para ver o efeito do
Sned no desempenho dos alunos. Com esse método, os autores fornecem evidências
preliminares de que, quando os dados das diferentes aplicações do Sned são
comparados, há a evidência de que o incentivo tem um efeito cumulativo e positivo no
desempenho dos alunos para aquelas escolas que possuem boas chances de ganhar o
prêmio (MIZALA; ROMAGUERA, 2005). Não há efeito para a quase metade das escolas
que nunca foram premiadas.
Vegas e Umansky (2005) interpretam esses resultados como a indicação de um
problema no desenho da política. As falhas consideradas mais prováveis são: 1) que
somente uma pequena proporção dos professores sente o efeito do incentivo para
melhorar a aprendizagem dos alunos, já que a maioria ou recebe o prêmio
automaticamente ou não tem nem chance de recebê-lo; 2) que o tamanho do prêmio
é tão pequeno que os professores sentem que o esforço para melhorar o desempenho
de seus alunos não vale a pena; e 3) que o prêmio pode não estar suficientemente
ligado ao trabalho do professor (VEGAS; UMANSKY, 2005). Carnoy et al. (2004)
também levantam dúvidas a respeito da eficácia do sistema de incentivo pelo fato de
estar baseado, em parte, na diferença entre os resultados dos alunos de 4ª e 8ª séries,
52
© 2011. Fundação Victor Civita. Todos os direitos reservados.
ou seja, mediante comparações entre alunos de grupos ou coortes diferentes, em vez
de medir os ganhos intracoorte na aprendizagem dos mesmo alunos ao longo do
tempo passado na mesma escola entre a 4ª e a 8ª série (CARNOY et al., 2004). Os
autores argumentam que existe pouca evidência empírica de que os professores
respondam sistematicamente a incentivos intercoorte de 4ª e 8ª séries e que a
diferença nos resultados desses testes dependem mais de variações naturais entre as
coortes e outras flutuações aleatórias do que do nível de esforço dos professores. Os
resultados desses pesquisadores mostram que há uma relação entre as duas medidas,
mas que muitas das escolas que receberam prêmios não mostraram o mesmo
desempenho nas medidas intracoorte. Em conclusão, os autores sugerem que a
melhor estratégia da escola é concentrar-se na produção de bons resultados na 4ª e 8ª
séries nos anos dos testes do Simce, antes de se preocupar com a aprendizagem dos
alunos ao longo de seus anos na escola.
O quadro a seguir resume aspectos importantes do Sned desde a sua criação.
Observa-se que o número de escolas e professores beneficiados aumentou a partir de
2006 com a legislação que ampliou o cálculo de estabelecimentos premiados em cada
região até abranger 35% da matricula. No mesmo período, o valor por professor
premiado quase triplicou, elevando o gasto anual com a política de premiação. Em
relação à proporção do total dos gastos do Ministério da Educação com as escolas que
recebem recursos públicos, o programa de premiação aumentou 80% no período, após
a incorporação dos professores assistentes alocados nas escolas premiadas a partir de
2008. Tanto a continuidade como o aumento significativo nos gastos com o programa
indica o sucesso da política aos olhos do Ministério e do público. A definição de todas
as variáveis consideradas, a metodologia do cálculo e a lista das escolas beneficiadas
por região são divulgadas abertamente no site do Sned juntamente com a explicação
dos benefícios esperados da Subvención por Desempeño de Excelencia em termos da
motivação dos professores e a superação das escolas (CHILE, 2010).
53
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Quadro 2 . Beneficiários e Recursos: SNED, 1996-2010
SNED
19961997
Estabelecimentos
selecionados
Docentes
beneficiados
Premiação por aluno/
docentes ($)
Monto anual por
docente ($)
Gasto
anual
premiação
para
docentes (Milhões de
Pesos)
Professores
assistentes
beneficiados
% Gasto SNED/Gasto
total premiações
SNED
19981999
SNED
20002001
SNED
20022003
SNED
20042005
SNED
20062007
SNED
20082009
SNED
20102011
2.274
1.815
1.699
1.863
1.829
2.236
2.597
2.656
30.600
31.400
32.600
34.400
34.380
51.600
57.700
58.597
1.015
1.050
1.217
1.246
1.779
2.917
3.205
3.640
272.622
287.777
334.919
339.493
490.630
559.734
634.161
744.833
8.342
9.036
10.918
11.678
16.867
28.883
37.807
43.645
27.000
28.455
1,8
1,85
1,02
0,87
0,9
0,84
1,03
1,62
Fonte: Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales
Subvencionados y de los Regidos por el Decreto Ley Nº 3166. 2010-2011. Hacia la Excelência Académica.
Ministério de Educación. http://www.sned.cl/mineduc/sned/documentos/tecnicos/FolletoDifusionSNED.pdf
54
© 2011. Fundação Victor Civita. Todos os direitos reservados.
5.
Sistema Classificatório para os Diferentes Usos da Avaliação Educacional
Em pesquisa comparativa realizada em 2006 sobre os sistemas de avaliação de
cinco estados brasileiros, os pesquisadores Sousa e Oliveira (2007) concluíram que
houve melhoras significativas no desenho técnico dos instrumentos e na confiabilidade
dos resultados. Entretanto, os pesquisadores observaram que o uso que as Secretarias
de Educação faziam dos resultados para a formulação de políticas de gestão ainda era
incipiente:
Apesar de constar dos objetivos dos sistemas de avaliação, o uso de seus
resultados por parte dos gestores é tênue ou inexistente. Nesse nível,
observa-se a tendência de que tais resultados sejam compreendidos como
apenas um indicador (a ser justaposto a outros, tais como evasão,
repetência etc.), não informando políticas específicas. O gerenciamento do
sistema apoia-se nas estruturas burocráticas não se orientando pelos
resultados de desempenho escolares. O investimento maior – humano e
recursos financeiros - é na direção da produção de informações e não em
sistemáticas que estimulem e apoiem o uso dos resultados. A noção de
accountability – tanto em seu sentido de prestação de contas à sociedade
quanto no de responsabilização – ainda é pouco explorada. (SOUSA;
OLIVEIRA, 2007)(p. 197).
Em documento de 2005, o próprio Consed parecia confirmar esta conclusão ao
afirmar que o principal uso dos resultados das avaliações externas era para a
orientação da formação continuada de professores e destacou como desafio para os
próximos anos o “melhor aproveitamento da avaliação em larga escala” (CONSED,
2005).
As explicações mais correntes pela aparente incipiência de políticas de gestão
calcadas em informações sobre o desempenho dos alunos eram três: as Secretarias
ainda não percebiam o potencial dessas informações para a formulação de políticas de
gestão de recursos e pessoal; as Secretarias estavam constrangidas de formular novas
políticas de gestão pelas resistências encontradas entre os professores; e os
55
© 2011. Fundação Victor Civita. Todos os direitos reservados.
instrumentos de avaliação usados pelas Secretarias nem sempre correspondiam aos
usos almejados pelos gestores.
Os levantamentos feitos pelos pesquisadores no ano de 2010 sobre os diferentes
usos dos sistemas estaduais de avaliação mostram que essas conclusões estão
desatualizadas. Pela expansão no número e sofisticação dos sistemas de avaliação
durante os últimos anos e pela exploração de novas formas de aproveitar as
informações geradas, constata-se a diversificação nas práticas de gestão educacional
com base nos resultados dos alunos. De forma isolada ou em conjunto com outras
informações, os resultados gerados pelos sistemas estaduais de avaliação educacional
estão sendo usados para finalidades que variam entre a criação de indicadores
estaduais de desenvolvimento educacional até a avaliação de desempenho de
diretores escolares. As Secretarias não estão sentindo os mesmos constrangimentos
do passado e estão aproveitando de diversas formas as informações geradas pelos
instrumentos e análises cada vez mais sofisticadas de uma nova geração de políticas de
avaliação. Se ainda há alguma dificuldade no uso dos instrumentos para orientar as
práticas dos professores, chamadas genericamente aqui de políticas de gestão
pedagógica, ela não tem impedido avanços na aplicação dos resultados em outras
áreas. Na maioria das vezes, essas outras áreas envolvem a classificação das escolas do
sistema com base nos resultados de português e matemática dos alunos do 5º e 9º
anos e do 3º ano do Ensino Médio. Mesmo não sendo propriamente uma avaliação da
escola, por não testar todos os alunos em todas as disciplinas e anos, as Secretarias
presumem que os resultados das disciplinas básicas nos anos finais de cada ciclo de
estudos possam oferecer uma amostra das atividades da escola que sirva de indicador
do desempenho geral da instituição. Há alguma evidência na literatura que esse
pressuposto seja valido pela alta correlação entre diferentes medidas de desempenho
acadêmico dos alunos (RUTTER et al., 1979; MORTIMORE et al., 1988).
Tanto a diversificação das políticas de gestão como a necessidade de fazer
distinções entre as novas áreas de uso das avaliações nos obrigam a procurar um
sistema classificatório que dê conta da variedade. Essa tarefa representa um desafio
pelo fato de as classificações tradicionais se ocuparem principalmente não dos
56
© 2011. Fundação Victor Civita. Todos os direitos reservados.
diferentes usos da informação, mas dos propósitos genéricos dos sistemas de
avaliação. Por exemplo, é comum a distinção entre a avaliação formativa e somativa,
sobretudo na descrição das avaliações de sala de aula, e entre a avaliação diagnóstica
e certificatória. Na avaliação formativa, procuram-se elementos para adequar o
processo de ensino ao grupo ou aos alunos que apresentam dificuldades, tendo em
vista o alcance dos objetivos propostos, enquanto a somativa é a avaliação final para
determinar em que medida as metas foram alcançadas e para classificar, selecionar,
aprovar ou reprovar. No caso da avaliação diagnóstica, conforme Ravela (2008), o
propósito explícito é o de enriquecer a qualidade das percepções e decisões sobre os
diversos atores dos sistemas (RAVELA, 2008). Nesse cenário, o nível de aprendizagem é
empregado como indicador da saúde do sistema e não traz consequências imediatas
para os alunos. A avaliação certificatória, por outro lado, tem o objetivo de estabelecer
quais dos alunos alcançaram os conhecimentos e competências considerados
necessários para serem aprovados em determinado curso ou período de estudo e
receberem o diploma ou certificado correspondente.
Em ambos os casos, é a natureza da tarefa que vai determinar a forma da
avaliação. Ou seja, o desenho do instrumento é definido pelo tipo de informação que
se precisa produzir de forma que, grosso modo, o uso da informação já é dado pela
natureza e propósito do instrumento. No caso do instrumento diagnóstico, por
exemplo, talvez nem seja necessário aplicar os testes à totalidade dos alunos nem
colocar todos os itens num único teste vultoso. Basta uma amostra de alunos e versões
paralelas do teste para ter uma radiografia da aprendizagem das diferentes matérias.
Esse é o modelo de avaliação seguido pelo Saeb. O instrumento certificatório, por
outro lado, precisa ser aplicado a todos os alunos que querem a certificação e cada
teste precisa dar conta da matéria inteira para oferecer uma medida fidedigna da
aprendizagem de cada aluno. Ravela admite que uma avaliação pode ter mais de uma
finalidade e que as diferentes finalidades não são necessariamente exclusivas, mas
lembra que “cada opção requer um determinado desenho e tem diferentes exigências
técnicas e custos” (RAVELA, 2008) (p. 12).
57
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Outro tipo de classificação que reconhece a multidimensionalidade da avaliação
procura encontrar as categorias que descrevem os diferentes tipos de informação
gerada. Shulha e Cousin, por exemplo, em estudo que resumia os usos da avaliação
nos Estados Unidos no período entre 1986 e 1996, empregaram três categorias de
informação: instrumental, conceitual e simbólica (SHULHA; COUSIN, 1997). Em
esquema parecido, descrito por Soares (2002), encontramos uma tipologia que fala
das três funções genéricas dos sistemas de avaliação. A primeira é a função métrica,
de medir onde se situam os sistemas de Educação em comparação com algum
parâmetro para responder perguntas sobre possíveis avanços. A segunda função é a
analítica, ou seja, oferecer subsídios aos pesquisadores e gestores no seu trabalho de
investigar o funcionamento do sistema. A terceira, considerada a mais difícil, é a
função pedagógica, que trata do uso da avaliação como instrumento para a melhoria
do ensino (SOARES, 2002).
No caso brasileiro, fica evidente que os mesmos instrumentos estão sendo usados
com objetivos diversos de modo que a finalidade precípua ou original do instrumento
pouco esclarece sobre seus desdobramentos posteriores. Também fica evidente pelas
declarações das autoridades que as finalidades dadas como razão pela criação dos
sistemas de avaliação são muito abrangentes e, às vezes, até ultrapassam a própria
capacidade da avaliação educacional. Essas declarações incluem, por exemplo, a
finalidade de “melhorar a qualidade da Educação” ou, no caso do Saeb, “reverter o
quadro de baixa qualidade e produtividade do ensino caracterizado, essencialmente,
pelos índices de repetência e evasão escolar” (SOUSA, 2003). A classificação com base
nas finalidades oferecidas pelas autoridades como justificativas deixaria de captar as
especificidades dos diferentes usos ao mesmo tempo em que obrigaria a inclusão de
categorias fora do escopo real da avaliação.
Nesse cenário, a nossa classificação dos usos dos sistemas precisa partir de outra
lógica, a das diferentes políticas efetivamente implementadas pelas autoridades uma
vez construídas e aplicadas as diversas formas de avaliação em larga escala. Ao fazer
essa distinção, estaríamos concordando com a diferença entre finalidade e utilidade
explicitada no trabalho de Dantas sobre o uso para efeitos pedagógicos dos resultados
58
© 2011. Fundação Victor Civita. Todos os direitos reservados.
do sistema de avaliação do estado da Bahia (DANTAS, 2009). Para essa autora, a
finalidade é o objetivo expresso, enquanto a utilidade relaciona-se com a demanda de
informações por parte dos stakeholders do sistema.
Encontramos uma classificação de “utilidades” em termos de políticas de gestão
no trabalho de Shepard em que são listados sete propósitos ou políticas
governamentais (SHEPARD, 1977). O autor não objetiva definir quais os propósitos que
podem ser alcançados com os mesmos instrumentos. Pelo contrário, parece
subentendido que cada propósito significaria um instrumento diferente ou no mínimo
um desenho para a avaliação que incorporasse as utilidades previstas. Eles são:
1. Diagnóstico da aprendizagem do aluno
2. Certificação do aluno
3. Avaliação de pessoal docente, diretores e outros
4. Avaliação de programas
5. Alocação de recursos
6. Accountability5
7. Pesquisa
Para as nossas necessidades, essa lista tem dois defeitos. O primeiro reside no
desdobramento desnecessário de pesquisa e avaliação de programas. Em ambos os
casos, os resultados podem ser usados como evidência da existência de efeitos
causados por políticas, programas e até situações quase experimentais, em que há
interesse em medir os impactos de mudanças no funcionamento das escolas e na
aprendizagem dos alunos. As avaliações podem acontecer em nível estadual, municipal
ou escolar e podem ser para efeitos tanto somativos, para determinar as
consequências de determinadas políticas, como formativos, para corrigir os rumos de
programas em andamento.
O segundo defeito reside no uso da categoria accountability para classificar
determinadas avaliações de forma exclusiva. Os autores Klinger, DeLuca e Miller, na
5
A tradução deste conceito é problemática e será objeto de discussão especifica mais adiante.
59
© 2011. Fundação Victor Civita. Todos os direitos reservados.
descrição da evolução da avaliação educacional no Canadá, e Bauer, no caso dos
sistemas nacionais de avaliação na América Latina, incorrem no mesmo erro ao criar
uma distinção entre os objetivos das avaliações relacionados à accountability e os
objetivos relacionados com a seleção, classificação, premiação ou certificação
(KLINGER, 2008; BAUER, 2010). O que tem sido mostrado é que accountability no
contexto educacional significa acima de tudo a associação entre resultados de
aprendizagem e consequências, sejam para o distrito educacional, a escola, os
professores ou os alunos. O nível de influência que a autoridade educacional deseja
aplicar ao processo de indução pode ser calibrado de acordo com o tipo ou a seriedade
das consequências. Nesse contexto, é comum rotular os níveis de indução mais altos
de high stakes e os mais baixos de low stakes, usando a palavra inglesa stakes, que
significa “o valor colocado em jogo pelo apostador”. Por isso, pode haver uma política
de gestão com utilidade única, mas cujas consequências são variáveis de acordo com o
contexto e as intenções das autoridades. Dependendo desses condicionantes, as
consequências de resultados de aprendizagem baixos podem ser insignificantes ou
nulas ou podem ser extremamente prejudiciais à vida futura do aluno ou da escola.
Para dar conta dessas diferentes realidades, em que o objetivo da avaliação pode estar
associado ou não a diferentes medidas de accountability, observa-se a necessidade de
conceituar a accountability como se fosse a segunda dimensão de um sistema
classificatório bidimensional. Com isso, para todas as utilidades da avaliação,
potencialmente existe a possibilidade de agregar consequências de impacto maior ou
menor.
Uma terceira característica do esquema de Shepard, que não chega a ser um
defeito, é a inclusão do propósito “certificação de alunos”. Diferentemente de outros
sistemas, como dos Estados Unidos, os sistemas brasileiros de avaliação nunca foram
usados para determinar a aprovação dos alunos do ensino básico, salvo uma breve e
polêmica experiência no estado de São Paulo em 2001, quando o Saresp foi usado para
definir a aprovação ou reprovação de alunos ao final dos ciclos do ensino fundamental
(4ª e 8ª séries). A criação do Enem, que aos poucos assume as características de um
exame certificatório de saída do Ensino Médio na medida em que se torna requisito e
60
© 2011. Fundação Victor Civita. Todos os direitos reservados.
critério para o ingresso à universidade, alterou o panorama da avaliação federal, mas
ainda não há sinal de interesse nem a cobertura legal para a criação de avaliações
certificatórias equivalentes por parte dos estados.
No entanto, a função certificatória não pode ser eliminada do esquema
classificatório devido à possiblidade do uso dos resultados da avaliação na função
supervisora que pode exercer a Secretaria de Educação em relação às escolas de
outras redes. Nesses casos, a Secretaria pode usar os resultados da escola como
critério para autorizar ou reautorizar seu funcionamento. Para todos os efeitos, esse
uso da avaliação, mesmo pouco usual, seria de certificação.
Com as modificações sugeridas, e a inclusão de três categorias novas que logo
serão explicadas, chega-se a uma nova matriz classificatória para a tarefa de
categorizar todas as políticas dos estados que fazem uso das informações geradas
pelos seus sistemas próprios de avaliação padronizada. Chamada A Avaliação Externa
como Instrumento da Gestão Educacional: Classificação, esse sistema classificatório é
apresentado a seguir, juntamente com a definição de cada categoria:
Quadro 3. A Avaliação Externa como Instrumento da Gestão Educacional:
Classificação
Uso dos resultados da avaliação
(Política de gestão)
1
Avaliação
de
programas,
monitoramento, planejamento e
pesquisa
Sem consequências ou
consequências menores (low
stakes)
• Edurural (MEC)
• Avaliação PDE (Ceará)
• Avaliação Escolas de Referência
(PE)
Com consequências
importantes (high stakes)
• Continuidade de Head Start,
Title 1, etc. (EEUU)
• PAR (MEC)
• Prog. Escolas - Padrão (SP)
• Idedsp; Idepe; Ideam; IDE-Rio
etc.
• Gestão para resultados (MG)
2
3
Para informar as escolas sobre a
aprendizagem dos alunos e definir
as
estratégias
de
formação
continuada.
• Boletim de Resultados (PE)
Para informar ao público
• Boletim da escola (Paraná)
• Relatório Pedagógico (DF)
• Relatórios
comparativos
(Reino Unido)
• PIP (MG)
• School-choice (Chile)
• Propaganda política (MG)
4
Para a alocação de recursos
• P-900 (Chile)
• Escola Nota 10 (CE)
61
© 2011. Fundação Victor Civita. Todos os direitos reservados.
• Aprender Mais (PE)
• Escola Referência (MG)
5
Para políticas de incentivos salariais
• Índice
Municipal
de
Qualidade Educacional (CE)
• Acordo de Resultados (MG)
• Escola Nota 10 (CE)
• Bonificação
Desempenho (SP)
por
6
Como componente da política de
avaliação docente
• ADI (MG)
• Recondução
(DF)
7
Para a certificação de alunos e
escolas
• Promoção de alunos de 4ª e
8ª series. 2001. (SP)
• Aprovação
de
funcionamento de escolas
(DF)
de
diretores
1. Avaliação de programas, monitoramento, planejamento e pesquisa. A primeira
categoria do sistema classificatório reflete os objetivos explicitados pelos documentos
oficiais de todos os sistemas estaduais de avaliação em existência no Brasil. Esse uso
precípuo dos sistemas de avaliação para a avaliação de políticas e o monitoramento de
resultados é dado pelo nível de organização e abrangência dos sistemas de avaliação,
que pressupõe uma função de controle e acompanhamento. Ele também é dado pela
natureza dos instrumentos dos sistemas estaduais, derivados do padrão estabelecido
pelo Saeb. Esse sistema nacional, criado de experiências iniciais no final da década de
1980 e consolidado por meio de mudanças metodológicas em 1995, é regionalmente
reconhecido como um dos sistemas mais completos e tecnicamente sofisticados do
seu tipo. Semelhante ao sistema norte-americano Naep6, no qual foi modelado, o
Saeb coleta informação sobre o desempenho e características dos alunos nos três
pontos principais de transição do sistema de ensino básico, além de informações
contextuais de alunos, professores e diretores, de uma amostra nacional estratificada
6
O governo federal dos Estados Unidos criou a National Assessment of Educational Progress – Naep
(Avaliação Nacional do Progresso Educacional), no final dos anos 1960. A avaliação testa uma amostra
dos estudantes aos 9, 13 e 17 anos de idade em inglês e matemática. Conhecido como o Boletim Escolar
da Nação, a Naep é usado da mesma forma que o Saeb , ou seja, como parâmetro para comparar o
avanço ou retrocesso no nível de aprendizagem dos estados e dos diferentes grupos de alunos ao longo
dos anos.
62
© 2011. Fundação Victor Civita. Todos os direitos reservados.
de escolas públicas e privadas. Pela estrutura da amostra e a natureza dos dados
coletados, o Saeb e os sistemas estaduais que o imitam têm a nítida função de
radiografar o sistema e acompanhar a sua evolução ao longo do tempo. Essa segunda
atribuição foi melhorada significativamente em 1995, com a incorporação da Teoria de
Resposta ao Item na organização das provas e análise dos dados e na criação de uma
escala única de desempenho. Pela localização das proficiências dos alunos de
diferentes séries e diferentes anos de aplicação nessa mesma escala, é possível
acompanhar a evolução da aprendizagem nos diferentes níveis do sistema e ao longo
dos anos.
O uso dessa escala de resultados para efeitos de planejamento já foi realçado na
discussão sobre a implantação da gestão por resultados em muitos governos
estaduais. Uma vez estabelecida a escala para a interpretação do desempenho dos
alunos, fica evidente que as Secretarias podem estipular os avanços esperados ao
longo dos anos, por série e disciplina. A partir da criação do Ideb e a fixação de metas
para escolas, municípios e estados, a utilidade da Prova Brasil e do Saeb para efeitos
de planejamento e monitoramento foi elevada a outro patamar de qualidade. As
iniciativas dos estados de formularem indicadores próprios similares deverão ser
registradas nessa categoria.
A pesquisa do sistema pode significar o uso dos resultados das avaliações para a
análise das relações entre as características das escolas e seu desempenho em estudos
chamados de “fatores associados” ou “efeito escola”. Essa modalidade de pesquisa,
relativamente recente, foi muito influenciada pela tradição de pesquisa em eficácia
escolar e faz uso tanto dos resultados dos alunos como das informações coletados por
meio dos questionários contextuais aplicados aos professores, diretores e alunos. O
uso dos resultados para outros tipos de pesquisa, incluindo a avaliação de políticas e
programas, também pode ser incentivado pelos estados da mesma forma que o Inep
procura incentivar o uso por pesquisadores das bases de dados dos sistemas nacionais
de avaliação.
63
© 2011. Fundação Victor Civita. Todos os direitos reservados.
2. Para informar as escolas sobre a aprendizagem dos alunos e as estratégias de
formação continuada. A preocupação dos gestores com a qualidade da Educação, e o
interesse em colocar os sistemas de avaliação a serviço dos esforços de melhoria do
ensino, aflui para uma variedade de diferentes políticas pedagógicas. Essas têm em
comum a necessidade de devolver os resultados da avaliação para as escolas, em
processo comumente chamado de “devolutivo”, de modo que a instituição e seus
professores possam compreender as variações no desempenho dos alunos e perceber
formas de influenciar futuros resultados mediante mudanças nas suas práticas
pedagógicas.
Na maioria das vezes, essa política de gestão pedagógica se expressa na forma de
boletins escolares ou outros informativos contendo os resultados dos alunos para cada
ano e área curricular em estudo. A produção e a devolução dos boletins podem estar
acompanhadas de atividades estruturadas para facilitar a compreensão dos resultados
e a incorporação deles em processos autônomos de autoavaliação e planejamento
pedagógico.
A incorporação de informações aos boletins sobre outras escolas da região ou do
sistema é um aspecto relevante, na medida em que possa agregar ao processo
devolutivo um elemento de accountability. A comparação com outras escolas toca no
espírito competitivo das pessoas e sinaliza, mesmo em grau menor, que as escolas têm
alguma responsabilidade pelos resultados dos alunos. Essa conclusão deriva da
seguinte lógica: a comparação pressupõe a comparabilidade, que por sua vez
pressupõe que as escolas estejam sujeitas às mesmas condições. Sendo assim, as
diferenças entre elas não podem ser explicadas com base no que elas têm em comum,
senão nas suas características individuais, que estão sujeitas à ação dos membros das
equipes escolares. Por causa dessa lógica, torna-se importante distinguir entre os
boletins em relação às metodologias empregadas na comparação de escolas.
Outra vertente das políticas de gestão pedagógica baseadas nas avaliações
envolve a interpretação dos resultados por especialistas e membros dos serviços de
supervisão com o propósito de oferecer oportunidades de formação continuada aos
professores para tratar as dificuldades evidenciadas. Nesse caso, há o pressuposto de
64
© 2011. Fundação Victor Civita. Todos os direitos reservados.
que as dificuldades ou lacunas identificadas sejam comuns a grupos ou à totalidade
dos professores, de modo que a sua solução não resida em nível da escola.
A variedade de alternativas em termos dos objetivos, conteúdos, métodos,
logística e abrangência dessas políticas é tão grande quanto todo o panorama da
formação continuada de cada órgão. Vale a pena destacar, no entanto, que a maioria
desses esforços se concentra em questões curriculares, seja na discussão de conteúdos
já definidos, seja no debate que acompanha a reforma e a redefinição desses
conteúdos. Essa discussão se torna cada vez mais exigente na medida em que as
autoridades se convençam da necessidade de estreitar o vínculo entre o currículo
oficial, o currículo ensinado e as matrizes de referência dos instrumentos de avaliação.
3. Para informar ao público. A preparação dos boletins escolares representa uma
dimensão importante da política de divulgação dos resultados da avaliação. No
entanto, há outras dimensões que indicam a presença de outras preocupações além
da pedagógica. A divulgação junto à sociedade pode ser para efeitos de publicização
do sistema de avaliação, com o intuito de disseminar a preocupação com a qualidade e
os resultados alcançados e de angariar apoios genéricos a favor da condução da
política educacional. Mais perto das eleições, essa divulgação se torna claramente
eleitoral, indicando a relevância dos resultados do sistema educacional para a
população e a probabilidade de serem relevantes para o julgamento da eficácia do
governo. Pode-se encontrar também exemplos de disseminação menos interessada
que enxergam na divulgação uma oportunidade de democratização da informação no
cumprimento do preceito da transparência.
A política de divulgação que mais nos interessa nesse contexto é aquela
direcionada especificamente aos pais dos alunos e a outros membros da comunidade
próximos à escola. No entanto, os propósitos por trás da intenção de informar os pais
sobre os resultados das escolas de seus filhos precisam ser diferenciados. O gestor
pode querer simplesmente motivar a participação da comunidade dos pais nas
atividades da escola. Mais provável, porém, é o desejo do gestor que os pais exerçam
65
© 2011. Fundação Victor Civita. Todos os direitos reservados.
alguma influência sobre a escola com base no conhecimento detalhado dos seus
resultados.
Esse objetivo se torna ainda mais claro na presença de dados comparativos, que
estabelecem a posição exata da escola mediante algum tipo de ranqueamento ou que
fornecem informações suficientes para o usuário chegar a suas próprias conclusões
sobre o nível de desempenho dela. Esse tipo de divulgação orientada se tornou
bastante comum no Chile, nos Estados Unidos e na Inglaterra por causa da criação de
políticas de gestão que fomentam o uso de critérios de livre mercado na escolha da
escola dos filhos. De novo, há a necessidade de distinguir entre as informações
divulgadas de acordo com as metodologias empregadas na comparação das escolas.
4. Para a alocação de recursos. O emprego dos resultados dos alunos como um
dos critérios para a inclusão das escolas em programas governamentais voltados para
a melhoria ou como indicador para a simples distribuição de recursos talvez seja a
política que mais bem expressa a relação entre a avaliação e a gestão educacional.
Nesses casos, não há necessariamente propósitos de responsabilização, mas a sua
execução, na prática, pode criar dificuldades. Nos Estados Unidos, houve resistência à
prática dos estados de beneficiarem com recursos adicionais distritos mais atrasados
em termos dos resultados dos alunos por ser uma política de “premiação do fracasso”.
O contrário dessa medida, ou seja, beneficiar escolas que mais progridem, pode ser
uma alternativa, mas também sofre criticas por questões de equidade.
No caso brasileiro, pela existência de um sistema de distribuição de receitas
fiscais entre os entes federados, pode-se prever a existência de políticas de alocação
de recursos entre as instâncias governamentais de acordo com critérios que procuram
avançar a política educacional.
5. Para políticas de incentivos salariais. Essa é a categoria que contém as políticas
mais polêmicas, por reunir as iniciativas recentes de usar a avaliação padronizada
como um instrumento da reforma educacional. A lógica das políticas de gestão nessa
66
© 2011. Fundação Victor Civita. Todos os direitos reservados.
área é que o próprio sistema de avaliação pode ser colocado a serviço da mudança por
causa de uma conhecida propriedade das provas chamada em inglês de backwash.
Essa palavra descreve a capacidade da prova de sinalizar para os professores todo um
conjunto de preferências em termos de conteúdos e, pela natureza das questões, de
métodos de ensino também. Dessa forma, a prova é o mensageiro do currículo
desejado e do tipo de ensino a ser favorecido. Além disso, a prova também sinaliza o
nível de domínio esperado do aluno em termos do patamar de competência a ser
atingido. Quando a prova escolhe aleatoriamente seus elementos curriculares e testa
somente a capacidade de memorização do aluno, o backwash, com toda a
probabilidade, será negativo. Quando a matriz de referência da prova representa um
currículo oficial e os itens procuram testar competências cognitivas mais avançadas, o
efeito da prova será bem mais benéfico ao levar os professores a abraçarem o
currículo oficial e buscarem desenvolver essas mesmas competências entre os seus
alunos.
Para o gestor, o importante é a capacidade da avaliação de instigar o professor
a se preocupar com os resultados. Por mais bem pensada que seja a prova em termos
das suas características técnicas, ela provocará pouco interesse nos resultados e pouca
mudança no comportamento do professor se não tiver alguma consequência. As
provas certificatórias e outras que influenciam o futuro do aluno, seja a aprovação no
final do ano ou no final do curso, já por definição trazem consequências para os alunos
e também para os professores que se preocupam com o destino deles. Essas provas
são high-stakes, o que, na expressão inglesa, significa que há bastante a ganhar ou
perder dependendo do resultado da prova.
As autoridades podem aumentar as consequências dessas provas por meio da
fixação de metas, definição de percentuais de alunos que precisam passar ou qualquer
outra medida que tornem mais significativos os resultados da avaliação. Seriam
incluídos aqui sistemas de bonificação, premiação e também medidas administrativas
para ajudar ou fechar escolas com níveis de desempenho considerados insuficientes.
Por aumentarem o nível de responsabilidade dos professores, essas políticas
costumam ser chamadas de accountability, ou responsabilização. Seu objetivo é elevar
67
© 2011. Fundação Victor Civita. Todos os direitos reservados.
o grau de relevância dos resultados para que o ensino se beneficie do aumento no
interesse dos professores e dos efeitos backwash positivos.
As políticas de responsabilização podem ser direcionadas para os alunos, para
os professores e para as escolas. As políticas introduzidas nos Estados Unidos a partir
da década de 1980, já discutidas, mostram a tendência de se preocupar com a
disseminação de padrões curriculares mais exigentes para a graduação do Ensino
Médio. Por esse motivo, entende-se que a avaliação esteve a serviço da reforma
curricular do Ensino Médio naquele país. No caso brasileiro, as políticas de
responsabilização por meio de incentivos salariais têm outros objetivos, mas
perseguem a mesma lógica em termos da conexão entre as provas, o comportamento
dos professores e a melhoria do ensino e são desenhados para atingir o sistema como
um todo. Por isso, as políticas desse tipo não são categorizadas junto com as práticas
de gestão pedagógica. Seu raio de ação é maior e tem como alvo o padrão de
qualidade de todas as escolas do sistema.
6. Como componente da avaliação docente. Ainda mais polêmica, existe a
possibilidade de o gestor empregar os resultados dos alunos como componente da
avaliação do professor como profissional. Essa política, incomum fora dos Estados
Unidos, não faz parte da categoria anterior pelas diferenças entre a avaliação de
escolas, para efeitos do cálculo de bonificações ou qualquer outra medida temporária
para beneficiar as escolas e suas equipes, e a avaliação docente que é um processo
individual destinado a determinar mudanças permanentes na situação funcional do
professor, tipicamente promoções ou avanços salariais.
Tipicamente os sistemas de avaliação docente têm três finalidades, de reconhecer
os docentes mais qualificados e identificar os que mais precisam de ajuda, de premiar
docentes com atuação mais destacada para estabelecer novos padrões de excelência
e, finalmente, para efeitos de certificação profissional, para sinalizar os requisitos
mínimos necessários e assegurar a qualidade profissional básica antes que o professor
se torne estável. Em nenhum desses casos, o nível de desempenho dos alunos do
68
© 2011. Fundação Victor Civita. Todos os direitos reservados.
professor é um elemento indispensável no conjunto de informações utilizadas. Mesmo
assim, a discussão bastante disseminada sobre a possibilidade de inclusão dessas
informações sugere que tal tipo de política possa surgir no nosso meio a qualquer
momento (DANTAS, 2009).
7. Para a certificação de alunos e escolas.
Mesmo incomum no contexto
brasileiro, o uso dos resultados da avaliação externa para determinar se os alunos
estão aptos para receber seus diplomas/passar de ano ou se escolas são credenciadas
para o funcionamento deve constar de um sistema classificatório que pretende
esgotar todas as possíveis utilidades dessa informação para a gestão educacional.
69
© 2011. Fundação Victor Civita. Todos os direitos reservados.
6.
O Uso da Avaliação na Gestão da Educação nos Estados
Esta seção está dividida em sete partes, correspondentes às sete categorias
definidas pelo sistema classificatório. Cada parte se inicia com o levantamento
bibliográfico realizado pelos pesquisadores para descrever os diferentes tipos de
política e para extrair das pesquisas nacionais e internacionais possíveis indicações das
consequências de cada política. A seguir, abre-se a discussão para as informações
coletadas que fornecem exemplos concretos de como os estados e alguns municípios
de porte maior efetivamente utilizam os produtos de seus sistemas de avaliação.
No caso de existirem exemplos de políticas high-stakes, com base na associação
entre a política de uso dos resultados da avaliação e consequências para os envolvidos,
sejam alunos, professores ou a própria instituição escolar, o texto dará destaque ao
fato.
6.1 Avaliação de Programas, Monitoramento, Planejamento e Pesquisa
6.1.1 Avaliação de Programas. A história da consolidação da avaliação
educacional nos Estados Unidos nas décadas de 1950 e 60 está calcada na sua função
de instrumento de avaliação de programas. A demanda por instrumentos
padronizados nasceu da necessidade de avaliar os novos currículos escolares que
surgiram sob a coordenação da Fundação Nacional de Ciência após o lançamento do
Sputnik e a decisão daquele país de recuperar a qualquer custo a liderança mundial em
ciência e tecnologia. Poucos anos depois, com a Guerra contra a Pobreza, do
presidente Lyndon Johnson, foi aprovada a Lei de Educação Elementar e Secundária,
que no seu primeiro capítulo (Title 1) estabeleceu uma linha volumosa de
financiamento
para
os
estados
para
o
desenvolvimento
de
programas
“compensatórios” de apoio às crianças de famílias de baixa renda. Entre os diversos
mecanismos para garantir o uso adequado dos recursos, figurava a avaliação dos
resultados alcançados. A avaliação não era um assunto novo, mas o uso de testes
padronizados para medir o impacto das políticas públicas de combate à pobreza
70
© 2011. Fundação Victor Civita. Todos os direitos reservados.
combinava bem com a racionalidade dos novos métodos da administração pública em
processo de assimilação pelo governo Johnson (HERMAN; HAERTEL, 2005).
Só resta registrar que, na maioria dos casos, as avaliações dos programas
compensatórios, como Head Start e o chamado Title 1, não encontraram evidências de
que os investimentos em professores adicionais, equipamentos, ambientes escolares e
enriquecimento curricular produzissem ganhos significativos na aprendizagem dos
alunos. Para alguns autores, esse conjunto de dados apresentava “uma visão bastante
pessimista” e uma base “para a rejeição das crenças tradicionais sobre a eficácia da
escola” (MADAUS; AIRASIAN; KELLAGHAN, 1980) (p. 27). Uma possível explicação do
aparente fracasso fornece uma importante lição em relação aos riscos de usarem os
resultados das avaliações para finalidades inapropriadas. Os testes padronizados
disponíveis à época foram criados e normatizados para produzir medidas e
ranqueamentos para crianças de habilidade média. Às vezes, eram difíceis demais para
alunos de famílias mais pobres, tendo sido baseados em objetivos de aprendizagem
bem diferentes daqueles dos programas compensatórios. E, como medidas de
habilidade, não eram sensíveis aos efeitos de curto prazo de mudanças nos métodos
de ensino (MADAUS; STUFFLEBEAM; SCRIVEN, 1983).
Da mesma forma que nos Estados Unidos, a história do desenvolvimento das
avaliações padronizadas em larga escala no Brasil está associada à avaliação de
programas educacionais com financiamento federal. No caso brasileiro, foi o Projeto
Edurural, que se desenvolvia em todos os estados do Nordeste, que foi objeto da
primeira avaliação com base em testes padronizados. Usando instrumentos criados
sob medida baseados em exemplos de exercícios e trabalhos de sala de aula colhidos
nas escolas dos três estados onde a avaliação se desenvolvia – Piauí, Ceará e
Pernambuco –, a avaliação acompanhou a implementação e o desenvolvimento do
projeto de 1982 a 1986, medindo o rendimento dos alunos e analisando as formas de
gerenciamento do projeto, professores, organizações municipais de ensino, alunos e
famílias. A avaliação do Edurural se tornou um marco justamente por ela fornecer as
bases técnicas e mostrar a relevância da avaliação educacional em larga escala para a
71
© 2011. Fundação Victor Civita. Todos os direitos reservados.
identificação mais nítida dos problemas das escolas. Até o final da mesma década, os
alicerces de um sistema nacional de avaliação já haviam sido criados (GATTI, 2002 ).
Apesar da conexão histórica entre a avaliação de políticas e programas
governamentais e a avaliação educacional, os exemplos de uso dos resultados dos
sistemas estaduais brasileiros para essa finalidade são limitados. Introduzir a
aprendizagem dos alunos como uma variável dependente em um modelo controlado
de pesquisa para medir os resultados ou impacto de determinada política ou programa
de intervenção estadual ainda é incomum em comparação com os estudos, muito mais
frequentes, dos métodos e processos de implantação desses mesmos programas. A
explicação está dada em estudo sobre a avaliação de programas em que Kirkpatrick
descreve as perguntas apropriadas para a avaliação das quatro fases de programas de
treinamento, como seria o caso dos cursos de formação continuada para professores
(KIRKPATRICK, 1994). As questões correspondentes às primeiras três fases, sobre a
reação dos participantes, sobre a aprendizagem alcançada pelos participantes e sobre
o quanto os participantes estão aplicando seus novos conhecimentos ao trabalho,
podem ser todas respondidas mediante o levantamento de opiniões e expectativas e
analisadas de forma qualitativa, o que explicaria a relativa frequência dessa
modalidade de avaliação.
Conforme os cânones da pesquisa científica, a quarta e última fase na avaliação de
um
programa
educacional,
envolvendo
primordialmente
os
resultados
de
aprendizagem dos alunos, requer a utilização de informações quantitativas
“contrafactuais” para poder mostrar o que teria acontecido se os alunos e as escolas
não tivessem participado do programa. Para cumprir essa condição e garantir a
fidedignidade da pesquisa, a avaliação de programas precisa formar um grupo de
controle composto de alunos e escolas não participantes com as mesmas
características e condições que os alunos e as escolas que participaram do programa
em estudo. Essa condição se torna quase impossível quando os programas em estudo
são políticas educacionais que se estendem para todos os alunos e escolas da rede.
Quando o programa se estende a um grupo menor de escolas, selecionadas com base
em determinadas características, o problema do avaliador consiste em encontrar
72
© 2011. Fundação Victor Civita. Todos os direitos reservados.
escolas de controle que tenham as mesmas características que as escolas do
programa, mas que mesmo assim não tenham sido contempladas.
A dificuldade em formar grupos de controle para efetuar a comparação entre
alunos e escolas que foram expostos aos efeitos da política e outras que não foram
pode explicar a reticência das Secretarias em embarcar em estudos avaliativos de suas
políticas. Outros motivos podem incluir a complexidade da pesquisa quantitativa
envolvendo grandes bases de dados, a falta de interesse político em submeter as ações
da Secretaria ao escrutínio dos pesquisadores e dos meios de divulgação e a falta de
continuidade de muitas das políticas por um período de tempo suficiente que
justifique o emprego dos recursos e esforços da avaliação ou que permita que os
resultados da avaliação tenham algum proveito prático. Em pesquisa recente, Bauer
sugere outra hipótese relacionada à falta de accountability governamental e o pouco
costume da sociedade brasileira em exigir uma prestação de contas aos governantes
em termos da eficácia e custo/beneficio das políticas financiadas com recursos do
contribuinte (BAUER, 2011). Independentemente dos motivos, a consequência é que a
avaliação do impacto de programas e políticas educacionais constitui um campo de
trabalho ainda muito incipiente com poucos exemplos de avaliações de envergadura
que contaram com o apoio das Secretarias da Educação. Apesar da importância
atribuída à função de “avaliação de políticas públicas” na explicitação oficial dos
objetivos dos sistemas estaduais de avaliação, pouco se realiza no cumprimento desse
papel.
Uma exceção recente é o trabalho da Secretaria de Educação do Ceará, em que
foram usados indicadores baseados nos resultados do Spaece para avaliar três
programas, o Prêmio Escola Nota 10, o Plano de Desenvolvimento da Educação (PDE) e
o Prêmio Aprender pra Valer. As avaliações do primeiro e do terceiro programa serão
discutidas mais adiante, juntamente com outras iniciativas do mesmo tipo, por se
tratarem de políticas estruturadas com base no próprio Spaece e que usam os
resultados desse sistema para a distribuição de prêmios e incentivos. No caso da
avaliação do PDE, a análise teve como propósito verificar se as escolas estaduais do
ensino fundamental que aderiram ao PDE apresentariam níveis diferenciados de
73
© 2011. Fundação Victor Civita. Todos os direitos reservados.
proficiência no 5º ano do Ensino Fundamental entre 2008 e 2009, quando comparadas
com as demais escolas da rede estaduais e da rede municipal (CEARÁ, s.d.). Em
contrapartida, outros dois estudos pela mesma Secretaria, um sobre a Gestão
Integrada da Escola – Gide, e outro fazendo uma avaliação de impacto do Projeto
Escola do Novo Milênio – Penm, não usaram dados produzido pelo Spaece, apesar de
estabelecer como critério para o sucesso desses programas a sua contribuição “para a
melhoria efetiva dos indicadores de rendimento escolar e desempenho acadêmico”
(ECOSTRAT, 2008).
De modo geral, as avaliações de impacto de programas mediante a comparação da
aprendizagem de alunos de um grupo de controle com o grupo de alunos atingidos
pelo programa, o “grupo de tratamento”, são trabalhos de pesquisa de alunos de pósgraduação que contaram com algum grau de colaboração dos órgãos oficiais para
poder acessar os dados das avaliações educacionais. Um exemplo é a pesquisa de
dissertação de Corrêa (2007) em Minas Gerais, que empregou um desenho quase
experimental para realizar uma análise comparativa dos resultados de escolas antes e
depois da implantação do projeto Escola Viva Comunidade Ativa, criado pela Secretaria
de Educação para combater a violência escolar. A avaliação usou dados de
desempenho do Simave para os anos de 2005 e 2006 a fim de comparar as escolas de
dois grupos de pesquisa: um grupo formado pelas 79 escolas estaduais de Belo
Horizonte participantes da 1ª fase de implantação do projeto e um grupo de controle,
contendo 21 escolas estaduais não submetidas ao projeto, mas similares às escolas do
projeto em termos de nível de ensino, tamanho e nível socioeconômico dos alunos
(CORRÊA, 2007). A avaliação recente da política de formação continuada de
professores alfabetizadores Letra e Vida, da Secretaria de Educação de São Paulo, é
outro exemplo. Em tese de doutorado, Bauer (2011) emprega análises de regressão
para determinar a importância da Letra e Vida na explicação das variações no
rendimento dos alunos da 1ª série, tanto em termos da média no Saresp de 2007
como em termos do percentual de alunos da 1ª série no nível 6 de proficiência. Os
resultados das análises são tênues e mostram que o impacto do curso Letra e Vida
depende da presença de outras variáveis do contexto escolar. No entanto, quando a
74
© 2011. Fundação Victor Civita. Todos os direitos reservados.
pesquisadora compara o desempenho no Saresp de alunos de escolas em que todos os
professores passaram pelo curso de um ano de duração com alunos de escolas cujos
professores não fizeram o curso, os resultados são mais claros. Quando há um número
de casos suficientes para fazer a comparação entre os grupos de tratamento e
controle, a vantagem dos alunos cujos professores fizeram o curso é mais clara,
sobretudo em escolas do interior do estado (BAUER, 2011).
Em estudo similar, Fontanive mediu o impacto de um processo de formação em
serviço organizado pelo Cesgranrio chamado Projeto de Capacitação dos Professores
do Tocantins para os professores da rede estadual de ensino desse estado. O estudo
procurou identificar se nas escolas com professores que apresentavam um alto grau de
participação nas atividades de capacitação houve o aumento das médias de
proficiências dos alunos em matemática e língua portuguesa, medidas no ano de 2001
pelo sistema estadual de avaliação organizado pela Fundação Cesgranrio e em 2007
pela Prova Brasil. Apesar da rotatividade de professores, a falta de contato direto entre
formadores e professores e a falta de acompanhamento e de continuidade nos
treinamentos, as análises realizadas indicam uma relação entre a participação no
Programa de Capacitação e no uso do material didático fornecido e a melhoria de
desempenho dos alunos da 8ª série (9º ano) na disciplina de matemática, pelo menos
no caso dos professores que responderam aos questionários. O estudo se destaca pela
engenhosidade da metodologia e sofisticação da análise, impelidas pelas mudanças
sofridas pelo próprio projeto de capacitação e a perda de professores ao longo dos
anos, e demonstra as dificuldades reais para realizar pesquisas de avaliação de
impacto com grupos de controle (FONTANIVE; KLEIN, 2010). Medir e atribuir mudanças
nos resultados do sistema educacional a determinado programa, com base em
raciocínio de causalidade, é um grande desafio metodológico mesmo quando
disponibilizadas todas as informações sobre o desempenho dos alunos.
Em nenhum dos casos de avaliação de programas baseada nos dados dos sistemas
estaduais de avaliação, encontramos o uso das informações para determinar a
mudança ou a continuidade do programa em questão. Caso houvesse esse tipo de
consequência, poderíamos fazer um paralelo com as avaliações dos programas
75
© 2011. Fundação Victor Civita. Todos os direitos reservados.
compensatórios dos Estados Unidos, onde a continuidade do financiamento dependia
de resultados satisfatórios. Nesses casos, pode-se dizer que a avaliação de programas
é high stakes e desenhada para responsabilizar as autoridades educacionais e as
equipes escolares pelos resultados dos alunos participantes.
O que achamos foram exemplos de um tipo de avaliação de políticas e programas
mais caseira, tipicamente com base em apreciações informais, mesmo usando dados
objetivos. Esses julgamentos, feitos pelos próprios gestores, parecem fazer parte do
dia a dia do trabalho da gestão educacional:
Então esse uso [da avaliação] de orientar políticas, ele é mais antigo, né? E
em alguma medida ele é um uso genérico. Mesmo quando eu faço
derivações para usar como sistema de incentivo de professores, [...] ou para
estratégias de ensino, na verdade eu estou sempre reorientando políticas e
programas. Vamos dizer assim, esse é o uso primeiro e mais preciso da
avaliação, né? (Gestor: SEE/CE)
Em outros casos, como na avaliação das novas Escolas de Referência de Ensino
Médio sendo implantadas no estado de Pernambuco, o uso do indicador de qualidade
daquele estado como parâmetro mostra o uso de dados objetivos:
Em 2014 nós vamos ter Escolas de Referência nesse modelo em quantidade
suficiente pra atender todos os egressos de 8ª série das escolas municipal e
estadual. [...] No primeiro ano em que implanta, o Idepe delas já vai pra 4 a
4,5. Nós tivemos 20 avaliadas já em 2009, e 10 atingiram mais de 5 [...]
Quando comparada a média nossa de Ensino Médio, que chega a 3, é
excepcional nesse caso. (Gestora: SEE/PE)
No caso de Minas Gerais, o gestor entrevistado tinha usado a avaliação do Ensino
Médio para distinguir os efeitos de diferentes políticas para essa faixa etária:
Como você implementa várias coisas ao mesmo tempo, você tem que ter o
efeito de uma ação sobre a outra também. [...] Por exemplo, como a
política de EJA interfere no desenvolvimento do Ensino Médio, [...] como é
que a Educação profissional altera os indicadores e o desempenho dos
76
© 2011. Fundação Victor Civita. Todos os direitos reservados.
alunos no Ensino Médio e assim por diante. Tem os cruzamentos das
políticas e às vezes o efeito de um é contrário sobre o outro. Por exemplo,
[...] como a política foi muito forte no aumento de vagas e de oportunidade
de EJA, a taxa de conclusão do Ensino Médio diminuía. [...] os meninos
estão indo para a EJA? Então, analisar esses efeitos e ver também o efeito
sobre quem foi para a EJA. O desempenho melhorou ou piorou? Tá certo.
Tudo bem, aumentou a taxa de conclusão. Então não seria possível você
estar permanentemente fazendo essa adequação, ajustando as ações que
você estava implementando a cada ano, se você não tivesse uma
informação muito precisa sobre o que andava acontecendo. (Gestor:
SEE/MG)
6.1.2 Monitoramento. Além da avaliação de políticas e programas, os
sistemas estaduais costumam explicitar o objetivo de monitoramento ou
acompanhamento da evolução do sistema ao longo do tempo. Essa foi a razão
fornecida pela criação do Saeb em princípios da década de 1990 e reafirmada na
portaria 931/2005, que reformulou o sistema de avaliação com base na criação da
Prova Brasil. Nessa legislação, o Saeb tem o objetivo de avaliar a qualidade, equidade e
eficiência da Educação brasileira, ao mesmo tempo em que fornece “subsídios para a
formulação de políticas públicas” ao buscar “comparabilidade entre anos e entre séries
escolares, permitindo assim a construção de séries históricas”. Nessas frases, fica
explicitada a ideia central do monitoramento, ou seja, produzir informações
comparáveis ao longo do tempo para servir de parâmetro para medir a evolução e
distribuição da aprendizagem, entendidas como indicadores da qualidade e equidade
da Educação e, ao mesmo tempo, ajudar na identificação de dificuldades.
Segundo Fontanive e Klein (2000), o Saeb e outros sistemas de avaliação nacionais
têm caráter diagnóstico:
Eles são mais bem definidos como sistemas de informação do que como
programa de testagem e visam, sobretudo, a construir sistemas de
77
© 2011. Fundação Victor Civita. Todos os direitos reservados.
informações consistentes, confiáveis, válidos e comparáveis para
responder basicamente a duas questões: Qual é a qualidade da Educação
oferecida no país? Em que condições ela se realiza? Além de um programa
de testes, as avaliações em larga escala coletam informações para analisar
o contexto no qual se dá a aprendizagem dos alunos - essencial para
qualquer proposta de melhoria de qualidade. (FONTANIVE; KLEIN, 2000) (p.
411)
No desempenho desse papel, o Saeb aplica um grande número de itens – cerca de
130 a 170 itens por série e disciplina –, em vez de usar provas únicas compostas,
tipicamente, de 20 a 30 questões. A cobertura de todos os aspectos do currículo para
determinada área e fase visa alcançar uma validade curricular maior. Isso significa
poder identificar com maior propriedade o nível de aprendizagem efetivamente
alcançado pelos alunos em todos os componentes e identificar com maior facilidade os
aspectos curriculares deficitários. Haverá a necessidade de voltar a essa questão
quando da discussão da adoção do modelo Saeb pelos estados e o uso dos resultados
para fins pedagógicos.
O uso das avaliações estaduais para fins de monitoramento é evidenciado pela
criação recente de indicadores que tentam captar em um único número uma medida
da qualidade de cada fase de Educação em cada escola. Influenciados e incentivados
pela criação do Ideb em nível nacional, alguns estados, incluindo Pernambuco (Idepe),
Amazonas (Ideam), São Paulo (Idesp), Ceará (IDE-Alfa), Rio de Janeiro (Iderj), e o
município do Rio de Janeiro (IDE-Rio) e o Distrito Federal (IDDF) já criaram indicadores
desse tipo. Porém o tema ainda não se tornou assunto de discussão acadêmica. Com
poucas exceções, as discussões sobre os propósitos e as metodologias para a
confecção dos indicadores têm sido mantidos no âmbito das Secretarias. Uma exceção
é a discussão do indicador de São Paulo – Saresp. Seguindo uma metodologia mais
completa que o Ideb, o indicador de São Paulo capta também a equidade das
estratégias educacionais usadas naquele sistema pela inclusão de uma medida da
distribuição dos alunos por faixa ou categoria de desempenho (SOARES, 2009). Ao
incentivar a progressão de todos os alunos, e não somente a melhoria da média, o
78
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Saresp consegue corrigir uma falha do Ideb e promover uma equidade maior nas
estratégias de melhoria das escolas.
O indicador de Pernambuco, chamado Idepe, também utiliza uma fórmula análoga
à do Ideb, multiplicando as proficiências médias de português e matemática por uma
medida de fluxo escolar para produzir um índice de desempenho para cada
disciplina/série entre 0 e 10. Diferentemente do Idesp, no entanto, o índice não cria
categorias de desempenho e, ao empregar a nota média das provas, não gera
incentivos para a escola procurar melhorar o desempenho somente daqueles alunos
com notas próximas à linha de corte das categorias, como no caso do Idesp (FERRAZ,
2009).
Uma das responsáveis pela implantação do Idepe reconhece a importância da
liderança do MEC, mas mostra a necessidade de o estado ter um indicador próprio:
Nossa primeira preocupação foi ter um índice estadual. Embora nós
reconheçamos que o MEC tem realmente um trabalho muito consistente,
nós pensamos o seguinte: nós não pudemos pensar em implementar uma
política educacional com o nível de mudança que nós estamos
pretendendo, sem ter segurança de um índice estadual que não estivesse a
mercê de alterações. Então com isso nós decidimos. Foi uma decisão do
governador, do secretário na época e nossa, da equipe, de que era
importante ter um índice de desenvolvimento de Educação em Pernambuco
com periodicidade anual e que tivesse a mesma metodologia para ser
comparado ao índice do MEC. E aí em 2009 coincidiu que nós tivemos o
nosso índice e o MEC teve o dele, o IDEB. E o nosso IDEPE foi
metodologicamente validado. Nós tivemos lá praticamente o mesmo
resultado. (Gestora: SEE/PE)
No caso do Ideam, do estado de Amazonas, observa-se em documento da
Secretaria de Planejamento uma explicitação da esperança que a própria criação do
indicador possa contribuir para a melhoria dos resultados do sistema:
79
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Na busca pela melhoria dos indicadores da Educação, o Governo do Estado
do Amazonas implantou em 2008 o Sistema de Avaliação do Desempenho
da Educação do Amazonas - SADEAM, que objetiva ter um contínuo
monitoramento do sistema educacional, bem como subsidiar a gestão
institucional no que se refere às definições de políticas educacionais para
possíveis correções de distorções desse processo. No SADEAM foi
construído o Índice de Desenvolvimento da Educação do Amazonas –
IDEAM com o objetivo de possibilitar uma visão mais integrada do
desenvolvimento educacional do Estado, o qual está em consonância com
o Índice de Desenvolvimento da Educação Básica – IDEB, cujo primeiro
resultado foi apresentado em 2009. (AMAZONAS, 2009)(p. 13)
O IDE-Alfa – Indicador de Desempenho Escolar em Alfabetização criado pela
Secretaria de Educação do Ceará é um pouco diferente dos exemplos anteriores.
Criado para facilitar a divulgação dos resultados do Spaece-Alfa, o indicador leva em
conta a proficiência média dos alunos que possuem desempenho intermediário e
desejável e o percentual de alunos que participaram da avaliação. Esse último critério
é utilizado para evitar que as redes impeçam a participação dos estudantes que têm
dificuldade de aprendizagem. O IDE-Alfa é construído em uma escala de 0 a 10. Os
municípios que possuem IDE-Alfa igual ou maior do que 5 estão no nível intermediário
e aqueles com índice de 7,5 ou mais no padrão desejável. Voltaremos a falar do IDE
quando apresentada a política do governo de Ceará de premiar os municípios com
base nesse indicador.
Independentemente das fórmulas usadas, os indicadores estaduais têm em
comum a dependência de informações produzidas por sistemas estaduais de avaliação
que empregam a Teoria de Resposta ao Item – TRI. Esse detalhe permite que o índice
produzido ao longo do tempo não sofra flutuações aleatórias devido a mudanças na
medida, como no nível de dificuldade dos testes. Essa consistência da medida de
desempenho é tão vital para o processo de monitoramento que sem a TRI dificilmente
um sistema estadual poderia reivindicar esse papel.
80
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Como palavras finais desta seção, oferecemos as falas de representantes de duas
Secretarias. Na primeira um técnico da Secretaria de Educação de Minas Gerais dá a
opinião que o uso da avaliação de desempenho naquele estado para o monitoramento
das escolas está inextricavelmente ligado ao modelo de gestão para resultados e que
não há como separar os efeitos motivadores do monitoramento dos efeitos da
intervenção que decorre dele:
De 2008 pra 2009 sentimos um crescimento importante na alfabetização,
inclusive comparado com as redes municipais que não tiveram esse mesmo
tipo de intervenção que nós. A existência de uma medida, ela desencadeia
um processo. A existência dela associada a uma gestão com foco em
resultado, medição e acompanhamento, ela desencadeou um processo de
monitoramento de intervenção. Sem essa medida poderia até haver
intervenção, mas ela estaria mais desfocada. A gente não conseguiria saber
se houve ou não um crescimento, né. Eu acho que a medida tem que estar
associada a uma gestão, a um tipo de gestão e à intervenção. Por si só eu
acho que [a medida] não produz, mas ter a medida força a gestão a ir lá de
novo para acompanhar, a medir outra vez, a saber, por que. Eu acho que [a
avaliação] é um instrumento de motivação associada ao monitoramento.
Eu entendo a avaliação desse jeito. [...] Então a existência da medida ela
desencadeia um processo, uma mudança de atitude, de comportamento,
de procedimento nos diversos níveis da gestão da Educação. (Técnico:
SEE/MG)
Na segunda fala, que serve de ligação com a próxima seção, a gestora da
Secretaria de Educação de Pernambuco mostra que o monitoramento anda de mãos
dadas também com o planejamento, no modelo de gestão para resultados. A fala
também destaca a resistência à avaliação que ainda existe dentro da universidade:
O governador introduziu aqui o modelo de gestão por resultados em 3
áreas prioritárias em 2007. Ele começou com Educação, saúde, segurança e
receita. [...] quando nós entramos em 2007 o resultado do Ideb de 2005 [...]
deu conta que a rede estadual de ensino de 5ª a 8ª série foi o pior resultado
81
© 2011. Fundação Victor Civita. Todos os direitos reservados.
do Brasil dentre todos os estados. Então houve uma pressão muito grande
para melhoria. [...] Então o que houve na verdade foi uma conjunção de
fatores em que a administração do governador Eduardo Campos
possibilitou a introdução de mudanças muito grandes em pouco tempo.
Porque nós tivemos uma resistência razoável do sindicato com relação ao
bônus, com relação à gestão de resultado, com relação ao monitoramento.
Em algum tempo nós fomos proibidos até de usar a palavra monitoramento
porque as pessoas não aceitavam, pessoas da própria universidade. A
gente tem essa dificuldade ainda de trabalhar, eu acho que no currículo
principalmente da graduação a questão de aferição de resultados na
Educação. Mas acho que houve uma vontade política muito grande que fez
com que isso pegasse, digamos assim. Então hoje é comum. Se você
conversa com as escolas, por exemplo, nós fazemos sempre pesquisa no
final do ano, fazemos levantamento. A gente pergunta para as escolas: o
que foi mais importante durante esses 4 anos? Elas respondem: foi o
monitoramento. (Gestora: SEE/PE)
6.1.3 Planejamento. A utilização dos resultados das avaliações educacionais
como peça central do planejamento estratégico dos estados já foi discutida na
introdução. Além do caso emblemático de Minas Gerais, podem também ser
destacados os casos de Espírito Santo e Pernambuco. No caso de Espírito Santo, o
Plano Estratégico Espírito Santo 2025 reafirmou a prioridade absoluta a ser dada à
Educação pelo governo que tomou posse em 2003. Posteriormente, a parte do plano
que cabia à Secretaria da Educação recebeu um detalhamento para o período 20082011 e assumiu o nome Plano Estratégico Nova Escola. O objetivo maior era “o alcance
de escolas vivas”, com capacidade criativa e inovadora, modernas e atrativas, que na
essência “tenham como resultados de suas ações a aprendizagem dos alunos”,
segundo o Secretário da época, Haroldo Corrêa Rocha (ESPÍRITO SANTO, 2008) (p. 5).
Alinhado com a ênfase nos resultados de aprendizagem, o plano assumiu como sua
Visão de Futuro 2011 um cenário em que o Espírito Santo figuraria entre os estados
82
© 2011. Fundação Victor Civita. Todos os direitos reservados.
mais bem colocados “nas avaliações de resultados” e formulou diversas metas
pensadas para levar o estado a essa posição. Entre as metas assumidas, constam a
elevação das médias do 3º ano do Ensino Médio do Saeb para 350 pontos em
português e 400 em matemática, a elevação do Ideb das séries iniciais e finais do
ensino fundamental de, respectivamente 3,7 e 3,5 em 2005 para 5,9 em 2021, e o Ideb
no Ensino Médio de 3,1 para 4,5. Se o Plano Estratégico Nova Escola ainda não
expressava suas metas em termos dos resultados do seu próprio sistema de avaliação,
Paebes, a inclusão do projeto de “avaliar sistematicamente as condições de
funcionamento das escolas e de desempenho dos alunos visando a obtenção de
melhores resultados da aprendizagem” deixa claro o quanto que o plano oferecia
respaldo às atividades de avaliação educacional e o quanto o espírito da avaliação
estava presente no pensamento dos planejadores.
O planejamento estratégico da Secretaria de Educação de Espírito Santo também
serviu para colocar ordem em um verdadeiro cipoal de projetos e programas que se
multiplicavam sem critério:
Quando eu cheguei aqui a gente foi fazer um inventário de projetos para
identificar todos os projetos que havia na Secretaria e a gente identificou
92 projetos. Impossível de monitorar 92 projetos e totalmente sem foco,
sabe, quase que um delírio das pessoas. O projeto é uma ferramenta para
chegar a algum resultado. Qual é o seu resultado? E aí a gente chegou
numa visão para 2011 e com as metas que a gente tinha fomos fazendo um
teste de aderência [para ver] que projetos que já estavam na rede tinham
mais aderência a onde a gente queria chegar. Aí ficamos com esses 48.
(Técnica: SEE/ES)
No caso do Programa de Modernização da Gestão da Secretaria de Educação do
Estado de Pernambuco, o sistema estadual de avaliação está no centro dos planos. Na
definição da identidade estratégica da Secretaria de Educação, encontra-se como visão
“tornar-se referência nacional em Educação de qualidade até 2011” e como missão
“assegurar, por meio de uma política de Estado, a Educação pública de qualidade,
focada em resultados...”. Entre as diferentes prioridades para o alcance desses
83
© 2011. Fundação Victor Civita. Todos os direitos reservados.
objetivos consta a “Implantação do Modelo de Avaliação”, envolvendo a conjugação
do Sistema de Avaliação da Educação de Pernambuco – Saepe, com periodicidade
anual a partir de 2008, o Termo de Compromisso, o Idepe e o Bônus de
Desenvolvimento Educacional. No material de divulgação sobre os avanços do Idepe
entre 2008 e 2009 encontram-se dados que mostram que 890 ou 94,3% das escolas do
estado com 4ª e/ou 8ª e/ou Ensino Médio consegui elevar seus índices educacionais.
Dessas escolas, 550 atingiram 100% da meta para aquele ano com base no Idepe e
mais 211 alcançaram entre 50 e 99% da meta. Como esses percentuais também foram
usados para o cálculo do Bônus de Desenvolvimento Educacional a ser pago aos
professores, voltaremos a esse tópico mais adiante.
Não obstante a importância do planejamento estratégico, talvez o aspecto mais
inovador da conexão entre a avaliação e o planejamento seja a relação, ainda em
construção, entre os indicadores estaduais de desenvolvimento e a fixação de metas
em nível escolar. Com uma medida confiável do desempenho dos alunos e um índice
que capta a qualidade em um único número compreensível, a tarefa de fixar e cobrar
metas se tornou mais fácil. Isso tem significado o avanço na utilização de metas no
planejamento das atividades das Secretarias e também na formulação de políticas de
incentivos que dependam do cumprimento das metas fixadas, como será discutido em
outra seção.
O Índice de Desenvolvimento da Educação do Distrito Federal se apresenta como
exemplo tanto da necessidade de criar um indicador compreensível como do valor do
indicador como um elemento estruturador dos planos da Secretaria. Na opinião de
técnico da SEE/DF:
O IDDF surgiu por uma necessidade de trazer um número ao DF, um
número à escola. Assim, as pessoas já estavam acostumadas com um
índice, a questão do Ideb, mas no DF não se tinha isso, nada parecido. Às
vezes [a Secretaria] queria utilizar o resultado da avaliação de rendimento
que não tem nada a ver para tentar botar nos jornais. A própria imprensa,
aliás, faz questão de exibir alguma coisa nesse sentindo e nós não tínhamos
e então por decisão do gabinete, para não só satisfazer a opinião publica,
84
© 2011. Fundação Victor Civita. Todos os direitos reservados.
mas também para dar um horizonte e uma visão mais clara, o IDDF foi
criado, se utilizando da avaliação de rendimento, dos resultados, assim
como das taxas de aprovação. (Técnico: SEE/DF)
Segundo o material usado para explicar o IDDF às escolas, o desafio primordial da
SEE/DF é garantir que os alunos aprendam sem desperdiçar tempo com reprovações e
sem abandonar a escola. Para cumprir essa tarefa, a SEE/DF precisa de “indicadores
objetivos” para acompanhar a evolução das escolas e definir “metas individuais para
cada instituição educacional, a serem alcançadas em curto prazo”. O objetivo, em nível
da escola, é que as metas “sirvam como guia para seus gestores e se traduzam em
esforços pedagógicos capazes de elevar o desempenho dos estudantes, garantindo
que uma proporção cada vez maior de alunos domine um sólido conhecimento dos
conteúdos e habilidades esperados para o seu estágio escolar”. Visando esse objetivo,
com base em um indicador que junta os dois critérios para uma avaliação da qualidade
da escola, o IDDF é composto de uma medida da aprendizagem dos alunos, advinda
dos exames do Siade, e de uma medida da movimentação escolar derivada das taxas
de aprovação, em formula análoga ao do Ideb.
Com a formulação do indicador e a fixação de metas para cada escola, a Secretaria
parece ter cumprido a promessa de estabelecer um novo modelo de política
educacional. Em comum com outras Secretarias, esse modelo traz a vantagem de
converter esperanças em objetivos concretos e oferecer um foco legítimo para os
esforços de melhoria.
6.1.4 Pesquisa. A qualidade da pesquisa em Educação no Brasil tem se
beneficiado enormemente pela aplicação e divulgação dos resultados dos sistemas
nacionais de avaliação. Aqui cabe registrar que o uso tem sido tipicamente de dois
tipos. Um tipo de pesquisa se concentra no acompanhamento do desempenho dos
alunos ao longo do tempo. A título de exemplos, temos o trabalho de Alves, que
mostra que cerca da metade da queda observada no desempenho médio no Saeb dos
alunos da 4ª série entre 1995 e 2003 deveu-se à mudança no perfil dos alunos em
85
© 2011. Fundação Victor Civita. Todos os direitos reservados.
decorrência da melhoria do fluxo escolar (ALVES, 2007), e Klein, que mostra que a
proporção de alunos acima dos níveis satisfatórios em matemática decresce com a
série (KLEIN, 2006). O outro tipo de pesquisa que na ausência de dados objetivos sobre
a aprendizagem dos alunos era vedado aos pesquisadores é aquele que propõe
identificar as características da escola e dos professores que mais incidem na produção
de bons e maus resultados. Por exemplo, Franco et alii indicam que no Brasil 39% da
variância na proficiência em matemática encontra-se entre escolas, enquanto, em
países europeus e nos EUA, a variância entre escolas usualmente está em torno de
20%. A alta porcentagem encontrada no Brasil é um indicativo de que nosso sistema
educacional é altamente estratificado, apresentando muita desigualdade entre as
escolas. Os pesquisadores também constatam a importância de algumas
características escolares no desempenho médio dos alunos. Os elementos que indicam
que a escola atribui ênfase especial às questões acadêmicas, como o uso de dever de
casa, bibliotecas na sala de aula e um bom clima disciplinar, apresentam efeitos
positivos no aumento do desempenho médio das escolas (FRANCO et al., 2007).
O uso das bases de dados estaduais para esse tipo de pesquisa é menos comum,
não havendo o mesmo empenho por parte das Secretarias de tornarem públicos os
resultados das avaliações. Uma exceção é a linha de pesquisa desenvolvida pelo CAEd
desde 2002 com base nos dados do sistema mineiro de avaliação – Simave. Em várias
publicações, Soares e colaboradores têm avançado na compreensão de fatores
associados à aprendizagem e ao uso de diferentes modelos estatísticos para o estudo
hierárquico dos fenômenos escolares, mostrando a progressiva sofisticação conceitual
e metodológica da pesquisa em efeito escola (SOARES, 2003; 2005; SOARES; TEIXEIRA,
2006). Estudos equivalentes realizados com base nos resultados do Saresp também
têm contribuído para a criação de um corpo de evidências a respeito das
características da escola eficaz naquele estado.
86
© 2011. Fundação Victor Civita. Todos os direitos reservados.
6.2
Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as
Estratégias de Formação Continuada
A preocupação com a qualidade da Educação básica está no cerne dos programas
subnacionais de avaliação. Apesar de usarem instrumentos descendentes do Saeb, que
são fundamentalmente de monitoramento e não de diagnóstico, todos têm como
objetivo explícito fornecer feedback aos professores de sala de aula e ajudar na busca
de soluções para superar as dificuldades de aprendizagem dos alunos. Do ponto de
vista do grande contingente de educadores envolvidos em todas as fases da avaliação
externa seria de fato impensável não extrair ao máximo as lições sobre as dificuldades
de aprendizagem refletidas nas proficiências para as diferentes séries e matérias. E,
para muitos professores, a avaliação externa só se justifica com base nas informações
fornecidas para melhorar a compreensão da situação dos alunos.
Mas como essa dimensão pedagógica vem sendo trabalhada dentro desses
programas? Quais as estratégias típicas das Secretarias para municiar as escolas e os
professores com as informações que precisam para tornar a avaliação externa um
subsídio para a melhoria da sua prática?
Sem exceção, as Secretarias fundamentam seu apoio pedagógico na produção de
materiais informativos que tentam traçar um diagnóstico do nível de aprendizagem
dos alunos. Esses materiais são apresentados basicamente em duas versões: a)
Boletins Pedagógicos, que seguem um formato próprio para o consumo do professor e
disponibiliza, em meio a informações padronizadas, resultados específicos de cada
escola; e b) Relatórios, os quais resumem de forma mais técnica os resultados da rede
de forma global, destinados, sobretudo aos gestores. Juntamente com essa prática,
observam-se diversas estratégias para a formação continuada de professores com base
nos resultados da avaliação para facilitar a compreensão dos Boletins ou remediar
problemas comuns. Ambas as políticas têm evoluído de forma marcante ao longo dos
anos, de modo que uma das conclusões a que chegamos, após a análise do apoio
pedagógico no âmbito dos programas de avaliação, é que esse apoio tem
acompanhado a sofisticação dos próprios programas.
87
© 2011. Fundação Victor Civita. Todos os direitos reservados.
De início uma produção bastante rudimentar, pouco a pouco o Boletim
Pedagógico passou a ser percebido como um instrumento rico de apoio pedagógico
quando bem construído. Com a aprendizagem acumulada com base no ensaio e erro,
sobretudo no âmbito dos programas pioneiros no Brasil (como os de Minas Gerais, São
Paulo e Ceará), os gestores passaram a dar mais destaque à produção desse material,
tal como percebemos na fala de alguns entrevistados:
A questão da avaliação do rendimento escolar do aluno e sua apropriação
pela escola era uma coisa bem longe do cotidiano das escolas. Tanto que a
gente percebe que a forma de divulgação dos resultados era mais os mapas
dos resultados que eram mandados para as regionais. As regionais
discutiam, as delegacias na época de ensino discutiam com o diretor da
escola, mas numa instância muito técnica e muito distante realmente do
chão da sala de aula. [...] Os boletins eram boletins gerais, além de não se
produzir boletim para cada escola. (Técnico/SEE-CE).
Hoje o objetivo do Boletim Pedagógico parece estar além da simples divulgação,
pois, ao devolver os resultados, ele também espera familiarizar melhor o professor
diante da linguagem mais técnica e objetiva utilizada nesse tipo de material. Nesse
sentido, pode-se dizer que o material contribuiu para aproximar o professor diante dos
dados apresentados:
A partir de 2007, é o CAEd que passa a produzir o nosso material, só que
cada boletim agora vem com a cara da escola, ele vem com o nome dos
alunos da escola. Não vem só com a média da escola, vem com a média de
cada turma, o resultado por turma e o resultado por cada aluno da escola,
além de ser uma tentativa de ler esses resultados à luz de uma escala que
fosse mais associada a cada intervalo. A gente criou a uma descrição
pedagógica desses intervalos que foi [.. ] bem mais objetiva e
compreensível para o professor. (Técnico/SEE-CE).
Uma coisa também que a gente passou a trabalhar muito assim de 2007
pra cá foi essa questão da forma de divulgação dos resultados, quer dizer a
88
© 2011. Fundação Victor Civita. Todos os direitos reservados.
gente não só melhorou o boletim, mas quando o boletim chega, primeiro é
feito uma oficina geral com a empresa que ganhou com todos os
especialistas dos órgãos das regionais. Então todas as regionais mandam
os seus técnicos para cá, e cada município manda 2 técnicos também que
coordenam o programa [...] e a gente apresenta o boletim, faz a primeira
leitura com ele, a primeira compreensão do material que foi produzido,
discute a lógica que está embutida naquele material. (Técnico/SEE-CE).
Não somente o conteúdo do Boletim passou a merecer destaque como também
sua apresentação gráfica:
(...) todos eles sabem pegar o boletim e ler aquele resultado. As cores
ajudaram muito. De longe, quando você coloca o resultado de um
município, eles já percebem logo quantos alunos estão em cada nível,
quantos estão numa situação não alfabetizada, quantos estão numa
alfabetização incompleta. A gente tentou dar ao boletim uma cara mais
objetiva e fácil de ser compreendida pelo professor e pelos técnicos do
município, que têm uma grande deficiência de trabalhar com os indicadores
educacionais. (Técnico/SEE-CE).
Esse material “devolutivo” procura dar uma resposta ao compromisso de fazer dos
sistemas de avaliação um serviço de melhoria do ensino, por meio da devolução dos
resultados da avaliação para as escolas, de modo que esse material possa servir como
um instrumento para melhorar a prática pedagógica nas escolas:
O boletim foi evoluindo (...) a partir de alguns estudos que foram
mostrando que isso era difícil, eles tentam fazer boletins com uma
linguagem mais simplificada para as escolas. Você fazer um boletim
simplificando uma linguagem, explicando melhor, tipo: “Olha, os seus
alunos estão neste nível”, isso não significa que os professores conseguem
se apropriar desses resultados e a partir dele, propor ações. Numa outra
fase eles começam então a dar dicas de ações. (Especialista-Fundação
Carlos Chagas/SP).
89
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Uma parte do crédito pela melhoria progressiva dos materiais “devolutivos”
deve ser atribuída às próprias agencias de avaliação, como o CAEd, Cespe e Cesgranrio.
Incentivadas pelas Secretarias de Educação que são seus clientes, essas organizações
experimentaram diferentes conteúdos e formatos ao longo dos anos e puderam
verificar o grau de acerto das diferentes maneiras de apresentar as informações por
meio dos contatos diretos com professores e técnicos. Quando chamadas para atender
a novos clientes ou a retomar avaliações suspensas temporariamente, tais agências
puderam oferecer um produto que incorporava a aprendizagem de muitos anos,
permitindo que as novas avaliações principiassem em patamares mais sofisticados.
Mesmo com a evolução dos Boletins Pedagógicos, a divulgação dos resultados não
redunda automaticamente na sua apropriação por parte dos professores. A crítica
proveniente principalmente por parte dos professores sugere que os resultados não
são imediatamente consumíveis pela comunidade escolar (Diretores, Supervisores,
Professores etc.), não obstante todo o empenho das Secretarias na apresentação de
um material com cunho mais didático e instrutivo para o professor, distanciando-se do
formato do relatório técnico, geralmente endereçado aos gestores. Além disso, os
Boletins Pedagógicos costumam chegar às escolas com certo atraso em relação às
turmas que acabaram de ser avaliadas, dificultando a conexão entre os resultados
apresentados e o tipo de intervenção necessária:
(...) na avaliação persiste o grande desafio que é a questão da apropriação
do resultado mesmo para o usuário final, que é o professor. Apesar de todo
esse movimento que a gente fez de oficinas de item de um lado, encontros
do outro, seminários para leitura de material, de fazer com que a coleção
chegasse a cada escola, quer dizer, apesar de tudo isso você tem um
depoimento de uma professora [...] a professora não tinha o conhecimento
de que no boletim tinha o nome de todos os alunos. Então isso mostra que
de fato, nós ainda não atingimos o objetivo de fazer com que cada
professor saiba que exista um boletim na escola dele que tem o nome de
cada aluno lá com seu o desempenho. (Técnico/SEE-CE).
90
© 2011. Fundação Victor Civita. Todos os direitos reservados.
A despeito dos problemas levantados, o Boletim está sendo utilizado pela
equipe pedagógica das Secretarias para otimizar pedagogicamente os resultados da
avaliação. Na tentativa de transformar o produto (resultado) em processo (melhores
práticas), os Boletins Pedagógicos parecem colocar em questão o seguinte desafio: o
que fazer e como fazer se baseando na evidência dos resultados?
[...] a primeira decisão que a gente tomou aqui foi a de quem leva e quem
explica o resultado é o pedagógico. Nós não vamos mais, enquanto
gerência de avaliação, ficar levando os resultados para a escola, porque se
o pedagógico não encampa, se o pedagógico não entende, isso aqui não vai
servir para nada. (Gestora/SEE-ES)
Uma faceta da “sofisticação” por que passaram os Boletins Pedagógicos devese à descentralização dessa discussão, que agora sai do âmbito da Gerência de
Avaliação de algumas Secretarias e passa a ser gerida por equipes pedagógicas
incumbidas de avaliar o material produzido e elaborar estratégias para a sua
divulgação, além de monitorar o uso dessa produção no cotidiano da escola por parte
dos professores:
[...] traduzir essa linguagem para que isso possa ser revertido
especificamente nas competências e habilidades que essas crianças estão
demonstrando ou estão deixando de demonstrar, para que [o professor]
possa entender como é que se faz a intervenção pedagógica. Então, a
gerência de avaliação nos mobiliza com relação a esses dados e nos
permite [...] uma compreensão disso em nível central e em nível regional
por parte dos técnicos. Entretanto, mais importante do que isso são as
reuniões que a gente faz com os diretores, professores e pedagogos das
escolas para que eles entendam o que é isso que está chegando lá e de fato
faça sentido e eles possam utilizar pelo caráter diagnóstico que é isso que
nos interessa, para que haja promoção da aprendizagem. (Técnica/SEE-ES).
[...] a chave do sucesso de uma boa apropriação dos Boletins é que ele seja
levado com alguém do pedagógico para dentro da escola, para poder
91
© 2011. Fundação Victor Civita. Todos os direitos reservados.
acompanhar esse uso. Porque se a gente simplesmente colocar isso no site
e entregar o documento na escola, como muita gente faz, não poderíamos
cobrar algum resultado com base nesta avaliação, entendeu? (Técnica/SEEES).
A divulgação de informações sobre as medidas de todas as escolas de uma única
rede poderia ser vista como um elemento de responsabilização, uma vez que tal
informação poderia incitar a comparação entre as escolas, sinalizando a
responsabilidade das mesmas pelos resultados dos alunos. O que ouvimos nos
estados, por outro lado, é que a política das Secretarias de Educação não deve ser
comparar as escolas e que as escolas só podem ser comparadas com elas mesmas.
Essa afirmativa reflete um pouco o espírito dos Boletins, os quais cumprem mais o
papel de divulgar e disponibilizar um material didático que possa ser facilmente
manuseado e compreendido por toda a comunidade educativa. Quando existem
comparações nos Boletins, elas seguem o padrão estabelecido pela Prova Brasil,
mostrando a média da escola ao lado da média do seu município e da sua rede. Essa
informação é o suficiente para a escola se situar, mas sem permitir comparações com
outras instituições específicas.
Em nossa pesquisa, como dissemos, encontramos uma gama de material bem
trabalhado, alguns com mais recursos, inclusive com recursos gráficos mais
sofisticados e agradáveis para o leitor. É o caso, por exemplo, do Espírito Santo, que,
juntamente com Ceará, Pernambuco, Minas Gerais e outros estados, tem seu material
produzido pelo CAEd e disponibilizado em pdf tanto na página do CAEd como em um
link disponível nas páginas de sua Secretaria da Educação.
O estado de São Paulo também chama a atenção pela amplitude e qualidade do
repertório pedagógico disponível: caderno do gestor, caderno do professor, caderno
do aluno. No link da Arquivoteca, estão disponíveis todas as erratas e os materiais
relacionados aos Cadernos. Vale lembrar que os Boletins Pedagógicos do estado de
São Paulo encontram-se disponíveis tanto nos sites da Secretaria como impressos,
bimestralmente.
92
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Grande parte dos Boletins, especialmente aqueles confeccionados pelo CAEd,
produz um material que vai além da divulgação dos resultados: eles analisam formas
de intervenção pedagógica com base na análise da produção do material e apresentam
dados gerais da avaliação, bem como os resultados de proficiência para todas as
séries/anos e disciplinas avaliadas. Apresentam os resultados da escola: resultados de
acordo com a proficiência e a interpretação qualitativa desses por meio da escala de
proficiência. Os Boletins Pedagógicos costumam apresentar também os padrões de
desempenho e a análise pedagógica dos itens dos testes. Para discutir outro aspecto
essencial da dimensão pedagógica, o nível socioeconômico dos alunos, o CAEd criou
outro documento, chamado Boletim Contextual. Ele informa os fatores intra e
extraescolares que interferem nos resultados dos estudantes e o índice da eficácia da
escola, fator que permite entender o resultado do desempenho escolar, controlando o
nível socioeconômico dos estudantes.
Juntamente com a produção desse material de divulgação, percebe-se também
um movimento por parte das Secretarias de Educação e das agências contratadas para
fazer a avaliação, em levar os Boletins Pedagógicos e os resultados até os pais. É o caso
do estado do Amazonas, que tem promovido reuniões sistemáticas entre pais,
professores e alunos em um programa chamado Sábado nas Escolas: aulas de reforço,
oficinas culturais e de redação, cantinho da leitura e experimentos científicos
costumam ser as atrações do programa.
A finalidade do encontro é apresentar aos pais as medidas que vêm sendo
planejadas e desenvolvidas e a classificação da escola de seus filhos. Para atrair esses
pais em um espaço destinado à divulgação dos resultados da avaliação, foram
ofertadas, durante alguns sábados do ano, atividades extraclasse, como aula de
reforço, acompanhamento etc. Essa é uma estratégia não negligenciável que busca
também chamar a atenção dos pais sobre os resultados das escolas de seus filhos, ao
mesmo tempo em que chama a responsabilidade dos pais e da escola para a produção
desses resultados. A estratégia também pode ser eficaz, na medida em que vai além da
produção escrita do material a ser divulgado, cumprindo talvez uma função mais
diretiva.
93
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Outro exemplo interessante de uso do Boletim Pedagógico como uma tentativa
de chamar a atenção dos pais sobre a importância dos resultados de avaliação da
escola e assim criar um canal de comunicação entre escola e família é encontrado no
estado do Espírito Santo. No interior do Boletim Pedagógico, encontra-se um termo de
compromisso que deve ser assinado pelo Conselho da Escola, Diretor, Professor e Pais,
cuja assinatura representa a confirmação do compromisso de cada um desses
responsáveis pelo processo de aprendizagem do aluno:
O professor também assina, o conselho de escola assina, o diretor assina, o
pedagogo assina, todo mundo assina e aí assim, para os professores, como
para mim também, é muito favorável porque ele divide com o grupo de
gestores da escola a responsabilidade pela aprendizagem do aluno.
(Técnica/SEE-ES)
Além desses exemplos de iniciativas chamando a responsabilidade da família
pela aprendizagem do aluno, os Boletins Pedagógicos vêm se sofisticando cada vez
mais, como sugere o exemplo do Distrito Federal, confeccionado pelo Cesgranrio. O
aspecto gráfico não é tão atraente quanto o material produzido pelo CAEd, mas
chamaram a atenção a quantidade e a qualidade de um material pedagógico bem
circunstanciado, com descrições mais detalhadas e também genéricas, por habilidades
e faixa de desempenho dos alunos. Mas mais interessante pareceu-nos a preocupação
em esclarecer e se fazer didático a um leitor pouco familiarizado com os jargões da
avaliação, discutindo heuristicamente o que são os resultados, como utilizá-los, qual a
importância de apropriar-se deles, como explicitado nesta fala:
[...] o que a gente precisa detalhar um pouco mais é que o boletim não vai
sozinho. O boletim ele é uma ferramenta de mostrar o número frio, o
número, o resultado pronto e frio, e é uma distribuição percentual desses
alunos numa escala de proficiência. Agora, o que é que deve vir
acompanhando esses boletins? Os relatórios pedagógicos que, apesar de
não ser algo tão inovador, creio que é o grande diferencial para as escolas
do DF. São cadernos, livros de cada componente curricular avaliado, e para
cada série. (Técnico/SEE-DF)
94
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Em geral, pode-se dizer que as propostas dos Boletins e materiais auxiliares são
muito parecidas, ainda que e o emprego da palavra Boletim seja polissêmico, como
denotam as seguintes expressões utilizadas para o mesmo fim: guia de intervenção,
relatório, boletim, caderno etc.
Mesmo reconhecendo os avanços contidos nessa forma de apoio pedagógico, as
Secretarias de Educação perceberam que a divulgação dos resultados não estava
sendo capaz de promover uma mudança sistêmica por parte dos professores. A
estratégia passa a voltar-se para as Oficinas Pedagógicas, espaços destinados não
somente à apresentação dos resultados, mas como melhor apropriar-se deles.
Assim, quase como uma extensão da divulgação, as Oficinas Pedagógicas
aparecem como espaços de formação, as quais contam com a participação de
especialistas e mesmo a Instituição/Agência contratada pelas Secretarias para a
produção da avaliação. Essa “rotina” acaba servindo para dois propósitos: a) divulgar
os resultados; e b) colaborar para o processo formativo do professor:
[...] a nossa equipe de avaliação também teve que ir a vários municípios
também ministrar oficinas por demandas municipais e de professores da
rede municipal para essa questão de entender melhor os descritores, as
competências que serão avaliadas e a própria leitura do boletim.
(Técnico/SEE-Ceará)
Em nosso mapeamento sobre os usos da avaliação com finalidade
expressamente pedagógica, percebemos o quanto a formação continuada passa cada
vez mais a depender da interpretação dos resultados dos testes de avaliação por
equipes de especialistas que possam refletir sobre as lacunas no processo de ensinoaprendizagem e, com base nas primeiras inferências, oferecer subsídio para tratar das
dificuldades observadas:
Na verdade, isso para nós é o sentido da avaliação. A avaliação só tem
sentido se ela for capaz de mexer na intervenção pedagógica. Aqui, no final
do livro, tem as sequências didáticas, que é uma inspiração [...]. O professor
olha a avaliação e aqui tem uma série de ideias de como ele organiza a
95
© 2011. Fundação Victor Civita. Todos os direitos reservados.
aula dele. Então é um documento pedagógico. (Gestor/SEE-ES)
As Secretarias passam a perceber que informar e familiarizar os professores com
os preceitos da avaliação não é suficiente para melhorar a qualidade das escolas. As
equipes encarregadas pela produção da avaliação nos estados passam a perceber as
inúmeras dificuldades dos professores para entender as matrizes, associá-las aos
conteúdos ministrados e trabalhá-las em sala de aula:
[...] dando muita formação, insistindo sobre o que é a habilidade e onde é
que ele acha isso na matriz e como que ele desenvolve. Eu acho que são
duas coisas. Uma delas é entender o resultado da avaliação, a outra para
mim é didática. (...). É o professor saber ensinar dentro dessa linha porque
ele não foi formado para ensinar a desenvolver habilidade, ele foi formado
para dar conteúdo. (Técnica/SEE-ES)
De maneira mais pontual, alguns estados promovem um dia específico para
divulgar os resultados da avaliação para a comunidade escolar e, ao mesmo tempo,
inseri-los em um processo de formação que leve em consideração os dados fornecidos
pelo sistema de avaliação:
Tem um “Dia D”, para fazer essa discussão [do planejamento]. Manda o
boletim para as escolas e as aulas são suspensas por 2 dias por ano para
isso. No dia D se discute os resultados e se reflete sobre o que é que a
escola vai fazer [..] Não é só uma questão de mandar o boletim. O boletim
virou uma ferramenta importante para esse planejamento que eles sabem,
cada professor sabe na sua turma como é que está a situação de cada
aluno. (Especialista-MG)
As oficinas acabaram cumprindo o papel de formação em vários aspectos:
passaram a trabalhar, com os professores, sobre a importância de ler e saber
interpretar os resultados da avaliação. Com base nessa postura reflexiva, evidenciaram
a importância do planejamento didático, da organização dos conteúdos e da mediação
entre a matriz de referência e a matriz curricular, além do próprio trabalho de
formação presente na elaboração dos itens de avaliação, momento este em que se
96
© 2011. Fundação Victor Civita. Todos os direitos reservados.
oferece aos professores do Ceará a oportunidade de serem sujeitos e partícipes do
processo contido na avaliação.
Com a ampliação dessas oficinas no interior, o ano passado, por exemplo, a
gente capacitou aproximadamente 1.500 professores em todo o Estado
com a elaboração de itens [...] No começo, até o ano 2006, a gente tinha
meio que um pacto com o professor. Ele vinha para essa oficina, ele
produzia itens. A gente não remunerava esse item. A gente investia na
formação desse professor que elaborava itens para o Spaece. Cada
professor elaborava em média 3 itens. Ele recebia o descritor e elaborava 3
itens, eram esses itens que a gente selecionava para fazer a prova.
(Técnico-SEE/CE)
Nesse processo, não só os professores são formados e “informados” de uma nova
cultura escolar. Concomitante à introjeção da chamada “cultura de avaliação”,
percebemos um novo desafio posto a estes profissionais:
Qual é a dificuldade que a gente encontra? A dificuldade é exatamente a
cultura da avaliação, a cultura do contato com a avaliação externa em
especial, de se apropriar de uma linguagem que é feita por gráficos, por
escalas e uma série de coisas que o professor não tem referência e não está
acostumado a lidar com isso. (Técnica/SEE-ES)
Uma constatação parece evidente: a de que o Boletim Pedagógico e as Oficinas
Pedagógicas não conseguem produzir, sozinhos, uma mudança de atitude ou de
prática por parte do profissional docente. O trabalho dos Analistas Educacionais (ANEs)
em Minas Gerais de fazer a mediação entre o trabalho de divulgação do Programa de
Avaliação do Ciclo Inicial da Alfabetização (Proalfa) e a formação dos professores
mostra como as Secretarias começam a oferecer apoio pedagógico individualizado
para ir além dos Boletins e as Oficinas Pedagógicas. O estudo de Carvalho e Macedo
(CARVALHO; MACEDO, 2010) foca o trabalho dos ANEs da Superintendência Regional
de São João Del Rey e mostra como esses especialistas ocupam o papel de mediadores
com base em discussões e reuniões pedagógicas com os professores. O estudo
97
© 2011. Fundação Victor Civita. Todos os direitos reservados.
também oferece uma indicação dos prováveis impactos de um programa de avaliação
sobre a prática dos professores quando acompanhado de apoio pedagógico direto.
O Proalfa é realizado em todas as escolas estaduais de ensino fundamental no
estado de Minas Gerais. Seus resultados são divulgados por meio de Boletins
Pedagógicos, que supõem a interpretação e elaboração de intervenções por parte do
professor com base nos níveis alcançados pelos alunos na escala de proficiência. O
objetivo das ANEs em relação ao trabalho do professor é ajudar a identificar os
aspectos negativos e positivos e, no caso dos aspectos negativos, diagnosticar os
principais problemas.
Para medir o impacto desse trabalho, foi aplicado, entre os responsáveis pelo
acompanhamento pedagógico nas escolas estaduais de São João Del Rey, um
questionário no qual a pergunta central era: “O Proalfa causa alguma espécie de
impacto na prática dos professores das séries iniciais da rede estadual de ensino de
Minas Gerais?” As analistas foram unânimes em reconhecer que a prática da avaliação
oficial, como o Proalfa, impacta o trabalho docente. Em outra pergunta – “Como você
percebe (ou avalia) o tipo de impacto que o Proalfa causa na prática dos professores
das séries iniciais na rede estadual de ensino?” –, das nove analistas educacionais, sete
só apontaram aspectos positivos e duas indicaram também aspectos negativos. Em
relação aos aspectos positivos, destacamos alguns excertos das analistas educacionais:
As avaliações do Proalfa servem como referência para os professores
avaliarem suas práticas de sala de aula, bem como o aprendizado dos
alunos. Muitos, diante do resultado insatisfatório nessa avaliação, vêm
repensando sua prática e modificando-a para melhor. (ANE C)
(...) O impacto é positivo, pois faz com que os professores procurem
mudanças em seu cotidiano. (ANE L)
(...) Acredito que todo professor tem um certo receio do Proalfa, uma vez
que ele reflete também o trabalho desenvolvido pelo professor do ano
letivo em curso. Por isso, nas escolas estaduais às quais atendo, a
proximidade das avaliações do Proalfa 2008 levaram a uma mudança da
98
© 2011. Fundação Victor Civita. Todos os direitos reservados.
prática dos professores no que diz respeito ao planejamento. Os
professores do 3º ano do ensino fundamental realizaram semanas de
“intensivões” dos alunos com questões do Proalfa de anos anteriores. (ANE
A)
É possível perceber a escola elaborando seus planejamentos e preparando
atividades com base na matriz curricular e matriz de referência das
avaliações externas. (ANE R) (CARVALHO; MACEDO, 2010)(p. 266 e 267).
Em relação aos aspectos negativos, as analistas educacionais destacaram os
seguintes fatores:
Há uma espécie de aceleração ou supressão das disciplinas (do plano de
ensino) em decorrência do que é cobrado na prova. Muitos professores
deixam de trabalhar ou intensificam o trabalho com alguns “descritores”,
deixando de lado coisas muitas vezes relevantes para o aprendizado
escolar. (ANE G) [...] em várias escolas os professores ficam ansiosos,
apreensivos e podem “mascarar” os resultados, por exemplo, auxiliando os
alunos na hora da avaliação ou colocando para fazer a prova apenas os
alunos preparados [...]. Além disso, hoje, a política pública do estado
vinculou resultado e remuneração, o que, na minha opinião, foi um
equívoco, pois incentiva, ainda mais, a intenção de mascarar o resultado
final. (ANE H) (CARVALHO; MACEDO, 2010)(p. 268).
Nesses excertos, é possível verificar que um bom Boletim Pedagógico que versa
sobre a análise dos resultados da avaliação acaba sendo uma fonte de apoio
interessante para o professor, que passa a ter uma medida do que está funcionando
ou não na sua prática em sala de aula. A preparação para o dia dos testes também
exige por parte do professor um planejamento do conteúdo que ele está ministrando,
além de contextualizar o que está sendo ensinado com base em um trabalho mais
dialógico entre a matriz curricular e a matriz de referência da avaliação.
Paradoxalmente, o alinhamento excessivo entre a matriz de referência da
avaliação e a matriz curricular é apontado pelas analistas como um aspecto negativo,
99
© 2011. Fundação Victor Civita. Todos os direitos reservados.
uma vez que o professor corre o risco de deixar de lado conteúdos igualmente
importantes para a formação do aluno, mas que, pelo fato de não serem cobrados nos
testes de avaliação, não seriam objeto de atenção por parte dos professores.
Talvez um dos aspectos positivos mais marcantes encontrados na fala das
analistas educacionais sobre o impacto do Proalfa na rotina pedagógica do professor
diga respeito à capacidade de mobilizar as professoras para uma reflexão sobre suas
próprias práticas pedagógicas. Essas mudanças foram percebidas por elas como uma
atitude mais sensível para a importância do planejamento, para o estabelecimento de
planos e metas a serem alcançados com vistas à melhoria no desempenho dos alunos.
Nesse processo, não se pode deixar de desconsiderar a importância que as analistas
educacionais têm na interpretação e divulgação dos resultados, bem como o papel de
mediadoras de um trabalho pedagógico que pode alcançar bons resultados quando
realizado em equipe. Entretanto, parece-nos que é a própria prova a catalizadora de
mudanças, comportamentos e atitudes, uma vez ela traz consigo o diagnóstico e, com
ele, a possibilidade de observar e refletir sobre as possíveis dificuldades a serem
trabalhadas e suplantadas.
Em nossa pesquisa, temos também vários exemplos dos problemas apontados
pelos gestores em Educação a respeito dos materiais pedagógicos de divulgação e
formação. Para a maioria desses gestores, técnicos e especialistas em Educação, o
material pedagógico produzido para a divulgação e formação ainda não consegue
promover uma mudança efetiva na prática diária do professor. Esses casos forneceram
evidências de uma conexão ainda difícil de ser estabelecida entre as políticas de
divulgação e formação implementadas pelas Secretarias e o currículo a ser ensinado, o
que tem feito com que muitas delas reconheçam que, apesar de todos os esforços
nesse sentido, os Boletins Pedagógicos continuam sendo, em certa medida, objeto de
difícil compreensão por parte dos professores.
Não faltaram exemplos das dificuldades manifestas pelos professores em
relacionar os itens usados ao conteúdo ensinado. As oficinas pedagógicas, algumas das
quais preveem a elaboração de itens, refletem mais a tentativa de mostrar a conexão
entre o item e o descritor da matriz de referência, mas o problema é que essa matriz
100
© 2011. Fundação Victor Civita. Todos os direitos reservados.
nem sempre está explicitada em termos de conteúdo. Na tentativa de dirimir esse
problema, algumas Secretarias, como a do Espírito Santo, passaram a elaborar um guia
de intervenção pedagógica, material auxiliar ao Boletim Pedagógico, para facilitar o
processo de comunicação entre o material pedagógico de apoio e o professor:
[...] nós produzimos para o professor um guia de intervenção que tem todas
as sequências didáticas, que é um documento que é quase um plano de
aula para o professor, o passo a passo do que ele tem que fazer [...] porque
ele não consegue interpretar a habilidade. O que significa desenvolver
[habilidade]? Como é que eu enxergo esta habilidade desenvolvida no
aluno? Essa é a maior dificuldade que a gente vem escutando. Por isso a
gente se reúne muito com os professores nas oficinas de item.
(Técnica/SEE-ES)
Outra forma de superar esse desafio tem sido a criação de programas
estruturados de formação continuada com base nos resultados das escolas, que vão
além do trabalho individual dos analistas ou supervisores pedagógicos, na tentativa de
atingir um número mais significativo de professores. Trataremos do melhor exemplo
desse tipo de estratégia na seguinte seção.
6.2.1
Políticas de Formação Continuada Baseadas nos Resultados
Com as informações levantadas, observamos que muitas Secretarias começam a
instruir suas políticas de formação de professores baseadas no diagnóstico fornecido
pelas avaliações externas. Nesses casos, as estratégias de formação vão além das
oficinas voltadas para a explicação dos resultados das avaliações para se tornarem
programas permanentes de intervenção junto aos professores. Na cidade de Belo
Horizonte, por exemplo, foi implantado o programa de Monitoramento da
Aprendizagem. Com a análise dos resultados das avaliações externas realizadas na
Rede Municipal de Educação (Proalfa, Provinha Brasil e Avalia BH), a Secretaria
Municipal de Educação iniciou em 2009 um acompanhamento sistemático e
individualizado de todos os alunos do ensino fundamental, chamado de
101
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Monitoramento da Aprendizagem. Além de diversas ações, como o reforço escolar,
visando melhorar o Ideb das escolas, são também desenvolvidas ações de formação
docente, em que os professores recebem formação específica e acompanhamento
constante da Secretaria Municipal de Educação.
Talvez o exemplo mais acabado de uma política de formação continuada calcada
nos resultados da avaliação se chame Plano de Intervenção Pedagógica – PIP, da
Secretaria da Educação do estado de Minas Gerais. Com base nos resultados das
avaliações do Proalfa, educadores e gestores elaboram um plano de intervenção
pedagógica cuja finalidade reside na construção de estratégias para melhorar o
desempenho dos alunos.
No caso aqui de Minas Gerais, você tem muitos projetos, mas somente um
deles é que usa [os resultados] especificamente como um ponto de partida,
ou seja, estabelece um diagnóstico e agora vamos trabalhar, vamos traçar
estratégias. (Técnicos-SEE/MG)
O objetivo é fazer com que as escolas com os piores resultados recebam visitas de
uma equipe pedagógica competente para discutir e trabalhar pontualmente as lacunas
observadas com os resultados da avaliação.
O PIP teve início em 2008 com a implantação do programa chamado Alfabetização
no Tempo Certo,7 cuja meta era garantir as competências de leitura e escrita de toda
criança até os 8 anos de idade até 2010. O PIP entra como suporte a esse programa a
fim de oferecer subsídio para que o estado pudesse alcançar a meta de alfabetização e
letramento de todas as crianças na idade certa, corrigindo problemas de fluxo de
desempenho entre as escolas das diferentes regiões do estado, evidenciado pelos
resultados da avaliação do Proalfa.
7
Modelado em programa quase homônimo do estado de Ceará chamado Programa de Alfabetização na
Idade Certa.
102
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Foi então montada uma equipe central e regional de apoio pedagógico,
desenvolvido um material didático para servir de guia ao professor, especialistas,
diretores e grupo regional e, concomitante à produção do material, oferecer uma
capacitação em serviço a esses professores. Depois da construção da equipe e do
suporte para sua operacionalização, foram definidas as metas de intervenção e,
posteriormente, planejada a execução e acompanhamento da intervenção.
Embora o PIP acompanhe todos os tipos de escola (estratificadas em “escolas
pequenas”, “melhores escolas” e “escolas estratégicas”), a atenção se volta para o
atendimento às escolas estratégicas. Essas recebem essa denominação pela SEE, mas
na realidade são as escolas maiores que apresentam os piores resultados na avaliação
externa. Essas escolas estão distribuídas por todo o estado, mas com uma
concentração mais evidente na região metropolitana de Belo Horizonte e na região
norte.
A estrutura do PIP está apoiada na constituição de equipes de trabalho regionais
ligadas às Secretarias Regionais do Ensino (SREs), que, por sua vez, estão ligadas à
Equipe Central da Secretaria. A capacitação da Equipe Regional treina analistas e
inspetores escolares, os quais recebem os guias (materiais didático-pedagógicos) e o
sistema de acompanhamento. Todas as 46 SREs definem metas para as escolas do
estado no ensino fundamental, com base na avaliação do 3º ano do ensino
fundamental no Proalfa. É interessante destacar que essas equipes, organizadas
segundo um organograma que obedece a uma estrutura hierárquica, se mobiliza para
intervir nas escolas, dentro de uma agenda pré-programada de reuniões.
Pode-se dizer que essa constitui uma das estratégias mais bem definidas da
Secretaria de Educação de Minas Gerais, uma vez que, ao acompanhar as dificuldades
dos professores no domínio de certos conteúdos, a equipe desenvolve um trabalho de
capacitação individual dos professores baseado no resultado da avaliação dos alunos.
As metas de alfabetização para o estado, ultrapassadas com folga, demonstram o êxito
do PIP:
Então na verdade quando você vê, por exemplo, que tínhamos uma meta
103
© 2011. Fundação Victor Civita. Todos os direitos reservados.
de 74 para proficiência de alfabetização, vamos assim dizer, e nós
atingimos 86, alguma coisa melhorou, alguma coisa eles estão indo atrás. A
gente não sabe se realmente é a intervenção do PIP, isso aí, a gente ainda
não sabe qual que é a causa dessa melhora. Mas de 74 que era a nossa
meta e nós atingirmos 86, é muita coisa né? (Técnico/SEE-MG)
Um dos grandes diferenciais do PIP parece ser a realização de um trabalho
pedagógico em um nível muito circunscrito. A possibilidade de elaborar um
diagnóstico da turma com base nos resultados de avaliação e, diante disso, inferir qual
é a dificuldade do professor diante da turma permite que a equipe elabore um plano
de intervenção muito circunstanciado, oferecendo uma possibilidade de formação em
serviço para aquele professor, no que diz respeito à sua competência nos conteúdos e
habilidades ministrados. O resultado positivo fez com que a Secretaria pensasse na sua
expansão para outros segmentos da Educação básica, mas a dispersão de conteúdo do
segundo segmento do Ensino Fundamental, bem como dos três anos do Ensino Médio,
pode servir de obstáculo para a eficácia do PIP observada nos anos iniciais de
alfabetização:
O PIP é bom porque é um Programa que tem metas. No Ensino Médio não
garantimos que isso vai ter sucesso porque o professor não é muito
favorável e as disciplinas são várias. Então a sistemática deve ser muito
mais complexa. O outro problema é que em geral, os resultados da
avaliação são muito pouco utilizados, são pouco apropriados pelas escolas,
pouco discutidos. (Técnicos/SEE-MG)
As nossas investigações junto às outras Secretarias evidenciaram uma
heterogeneidade de práticas, métodos e concepções teóricas sobre o uso dos
resultados da avaliação na política de formação do professor. Se o PIP em Minas Gerais
fornece um exemplo de um programa bem estruturado e aparentemente bemsucedido, ele não representa um fenômeno isolado. Essa dimensão do uso dos
resultados das avaliações parece estar em expansão. Na medida em que os
instrumentos usados começam a fornecer informações sobre alunos individuais e vir
104
© 2011. Fundação Victor Civita. Todos os direitos reservados.
acompanhados de materiais curriculares e didáticos, pode-se prever a diversificação
ainda maior de iniciativas desta natureza.
No estado de Espírito Santo encontrou-se a única menção de uma conexão entre a
avaliação e a formação inicial dos professores. Entre os técnicos da Secretaria de
Educação desse estado notou-se a esperança das matrizes de referência do sistema de
avaliação criar uma sinalização para os cursos de formação de professores em relação
às expectativas da SEE/ES. O mecanismo dessa sinalização, e se haveria interferência
direta da Secretaria, não ficou estabelecido, mas o tema é de interesse ao mostrar a
impaciência da Secretaria com a falta de alinhamento entre a formação inicial e a
realidade da profissão e falta de informação e prática nos cursos de pedagogia na
interpretação e uso da avaliação externa.
6.2.2
O Currículo Básico
Mesmo não sendo o instrumento ideal para esse propósito, para muitos gestores
a extração das lições sobre as dificuldades dos alunos contidas nas proficiências
fornecidas para as diferentes séries e matérias é a contribuição principal da avaliação
para a melhoria da Educação.
Apesar desse voto de confiança no valor das avaliações para usos pedagógicos, é
patente a frustração dos responsáveis com os retornos dessa política.
Nós disponibilizamos os boletins pedagógicos com os resultados e aí nós
observamos que estava sendo pouco utilizada essa ferramenta. Esses
resultados eles não estavam sendo utilizados como instrumento de gestão
pedagógica ou de intervenção pedagógica. (Gestor: SEE/PE)
O constante aprimoramento dos boletins foi uma resposta a essa dificuldade e
uma aposta que, ao aprofundar cada vez mais a compreensão do professor em relação
às matrizes de referência das provas e às habilidades que se pretendem formar nos
alunos, o aproveitamento dos resultados das avaliações seria cada vez melhor:
105
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Não basta mandar um boletim para a escola, você tem que mandar
informações significativas que fazem sentido para a escola, essa é a
primeira coisa. Então a primeira mudança é, que tipo de informação a
escola tem que receber? (Especialista: CAEd)
Nesse sentido, foram sendo eliminadas informações que não diziam respeito à
aprendizagem dos alunos, como as médias no Saeb , no caso dos Boletins do Proeb em
Minas Gerais, e enfatizados exemplos de itens para ajudar o professor a entender a
natureza das habilidades cobradas pela matriz. Os Boletins se expandiram com
visualizações da escala de proficiência, mostrando a faixa de desempenho em que se
situa a média da turma em relação a todas as principais competências testadas, e com
exemplos de itens usados nas provas para fazer a conexão entre a matriz, a escala e as
habilidades identificadas pelos descritores.
Ao mesmo tempo, e possivelmente como mais uma indicação da frustração com a
falta de impacto dos Boletins e os outros meios tradicionais de informar o professor,
acendeu-se o interesse de algumas Secretarias em implantar um currículo oficial
composto dos elementos considerados mínimos para cada série. Chamado de
Currículo Básico Comum em Minas Gerais, a Base Curricular Comum em Pernambuco e
a Proposta Curricular em São Paulo, esses currículos parecem advir da constatação de
que os esforços na busca por melhores resultados podem ser inócuos se não houver
uma política bem focada nos conteúdos ensinados.
O problema na matriz de referência está no fato de que o MEC faz uma
matriz de referência nacional e nacional é um negócio complicado [...] No
nosso caso, a nossa matriz de referência é o CBC, nós fizemos o CBC e ela
virou a nossa matriz de referência. Sem isso eu acho que é difícil
interpretar. Por isso que o Saeb não tinha condição e continua não tendo
condição de ser útil na sala de aula. (Especialista-MG)
Nossa investigação demonstrou uma dinâmica de construção de um currículo
comum oficial bastante recorrente: após a implantação dos sistemas de avaliação,
chega-se à conclusão de que pouco vale investir em formação, oficinas pedagógicas ou
106
© 2011. Fundação Victor Civita. Todos os direitos reservados.
na divulgação dos resultados por meio de boletins se não existir um currículo básico
comum, que permita construir um diálogo com o professor a respeito daquilo que está
sendo cobrado pelo sistema de avaliação. No caso de São Paulo, por exemplo, a
própria introdução ao novo currículo deixa evidente este propósito:
Estes documentos, que dão origem aos Cadernos do Professor, do Aluno e
do Gestor, são as referências essenciais para o estabelecimento das
matrizes de avaliação do Sistema de Avaliação de Rendimento Escolar do
Estado de São Paulo (Saresp). (SÃO PAULO [ESTADO] SECRETARIA DA
EDUCAÇÃO, 2010.) (p. 3)
Nesse caso, havia a intenção clara de reduzir a diversidade curricular reinante e,
por meio de documentos bem estruturados, criar um consenso:
[...] o diagnóstico que se tinha da rede antes da implantação do Saresp era
que, por exemplo, as escolas da rede tinham mais de 300 currículos e
mesmo na mesma escola era complicado um aluno sair de um turno e ir
para outro [...] Cada um construía ao seu bel prazer o que achava
conveniente. [...] É claro que a reação inicial [ao novo currículo] não foi,
assim, natural. Depois foi caminhando, caminhando, caminhando. Eu acho
que hoje não se discute mais a implantação do currículo há muito tempo.
(Técnico/SEE-SP)
No caso de Minas Gerais, os documentos também mostram a intenção de traduzir
os novos currículos em matrizes de referência para os sistemas de avaliação e, dessa
forma, criar um diálogo entre os dois:
A importância dos CBCs justifica tomá-los como base para a elaboração da
avaliação anual do Programa de Avaliação da Educação Básica (Proeb) e
para o Programa de Avaliação da Aprendizagem Escolar (Paae) e para o
estabelecimento de um plano de metas para cada escola. O progresso dos
alunos, reconhecidos por meio dessas avaliações, constitui a referência
básica para o estabelecimento de sistema de responsabilização e
premiação da escola e de seus servidores. Ao mesmo tempo, a constatação
107
© 2011. Fundação Victor Civita. Todos os direitos reservados.
de um domínio cada vez mais satisfatório desses conteúdos pelos alunos
gera consequências positivas na carreira docente de todo professor.
(Proposta Curricular – CBC: http://crv.educacao.mg.gov.br)
Em outros casos, como no do Espírito Santo, as próprias matrizes de referência
são transformadas em conteúdos curriculares básicos. Nesse exemplo, a linguagem
das competências e habilidades usada pelas matrizes está ainda mais próxima aos
objetivos do ensino:
A avaliação puxou o currículo. Nós tínhamos a avaliação já avançada e não
tínhamos o currículo [...] assim fica difícil, não tem uma referência para o
professor, o professor não pode ficar usando matriz de avaliação como
currículo. Aí começou a confecção do currículo com competências [...] e eles
partiram da matriz para montar o currículo. (Gestora/SEE-ES)
[...] houve uma reunião com o secretário de Educação e a gerencia de
avaliação para apresentar o programa de avaliação e o currículo. A
orientação toda foi para que o currículo contemplasse competências e
habilidades, desde que alinhado à avaliação. Na verdade, o currículo
nasceu a partir de um movimento contrário, ou seja, o currículo acabou
nascendo a partir da matriz de avaliação. (Técnica/SEE-ES)
No caso de Ceará, a decisão da Secretaria em governo anterior foi encurtar o
caminho e imprimir a lista de competências e habilidades contidas nas matrizes de
referência nos próprios diários dos professores. Há reconhecimento dos perigos dessa
atitude:
[...] claro que a matriz de referência da avaliação é um recorte do currículo.
[...] a gente vê o professor procurando a matriz de referencia, mas isso a
gente também tem muito medo. A gente também tem muito medo que eles
reduzam o currículo à matriz de referência da avaliação [...] Eles
trabalhavam era o livro, mas hoje já temos esse movimento curricular né,
de interesse dos professores de pegar a matriz, de conhecer a matriz para
ver o que está sendo cobrado na avaliação. (Gestor/SEE-CE)
108
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Posteriormente, uma pesquisa constatou que a carga horária dedicada
efetivamente ao ensino das habilidades era mínima e que se precisava partir para a
produção de um currículo básico calcado em conteúdos:
Então a escola gastava muito do seu tempo trabalhando coisas que não
seriam objetos de avaliação. Não que ela não tivesse que trabalhar essas
outras dimensões né, mas percebia muito claro o desalinhamento entre [o]
currículo trabalhado e o currículo avaliado. [...] A pesquisa tornou isso
muito evidente, né. E foi a partir daí que surgiu a ideia de construir esse
documento sinalizando os conteúdos que queria que trabalhasse em cada
semestre.
A Secretaria do Ceará reconhece que a decisão de produzir um currículo para o
estado vem com atraso:
De certa forma o currículo do estado é uma coisa meio que tocada. A gente
tem conhecimento de alguns estados que avançaram muito nessa questão
de socializar e trabalhar o currículo com o professor assim, sem essa
questão da autonomia escolar. Durante muito tempo essa questão do
currículo parecia ser uma coisa que não poderia ser tocada por uma
secretaria de Educação do estado, que a escola tinha que fazer o seu
currículo e, em nome disso, se perdeu muito [tempo]. (Técnico: SEE/CE)
Em Pernambuco, já houve uma evolução com a Base Curricular Comum em
direção a uma especificação ainda mais detalhada dos conteúdos que os professores
precisam ensinar:
[...] nós já temos o que nós chamamos de OTMs que são as Orientações
Teórico Metodológicas, que é como se fosse o currículo nosso. [..] Da Base
Curricular Comum aperfeiçoou-se para as OTMs que é um pouco mais,
digamos assim, restrito né, talvez um pouco mais selecionado os
conteúdos. (Gestor/SEE-PE)
Na maioria dos casos, há indicações de que os currículos em construção nos
estados contam com a participação dos professores e refletem, portanto, um esforço
109
© 2011. Fundação Victor Civita. Todos os direitos reservados.
comum para estipular os objetivos do ensino. Essa construção coletiva cria a esperança
de uma implantação mais tranquila:
A Base Curricular comum, ela foi feita a partir de um trabalho coletivo. Um
trabalho contemplando as 17 Gerências Regionais de Educação, né? E esse
trabalho, obviamente não foi feito diretamente com todos os professores,
mas com uma boa amostra para que cada professor desses pudesse dar
sua contribuição. Muitas GREs conseguiram avançar. (Gestor/SEE-PE)
A implantação e adoção gradual dos currículos estaduais é um processo lento. O
domínio insuficiente dos conteúdos deixa os gestores frustrados e indicam problemas
de fundo em relação à formação inicial:
Eu diria que mesmo com o CBC ainda tem um bom espaço para andar [....]
principalmente porque o professor não sabe o CBC. Esse é o problema, ele
não sabe. (Especialista-MG)
Essas reflexões sobre a evolução das estratégias das Secretarias em direção a um
currículo de conteúdos básicos servem para indicar que há uma vertente da relação
entre avaliação e política de gestão que a presente pesquisa não teve condições de
aprofundar. Essa relação não é a do uso dos resultados do sistema de avaliação para
estabelecer os critérios para uma política de gestão. Em vez disso, ela reflete uma
interpretação da dificuldade em fazer uso mais produtivo dos resultados como
consequência da ausência de uma política curricular. Portanto, é mais a compreensão
da fragilidade da avaliação externa em servir de instrumento pedagógico do que da
sua utilidade. O movimento em direção ao currículo básico expressa a conclusão de
que, na ausência de um consenso compartilhado com os professores a respeito dos
conteúdos curriculares e de um alinhamento entre os objetivos do ensino, o currículo
da escola e as matrizes do sistema de avaliação, a contribuição deste para a melhoria
da qualidade será seriamente prejudicada.
Essa evolução na política dos estados pôde acontecer no contexto brasileiro pelo
fato de a avaliação educacional ter saído na frente e se estabelecido como um pilar da
política educacional sem uma evolução correspondente na especificação das
110
© 2011. Fundação Victor Civita. Todos os direitos reservados.
expectativas de aprendizagem para cada nível e conteúdo de ensino. Essa
correspondência é a que normalmente define a relação entre o currículo e a avaliação.
Na Inglaterra, por exemplo, a criação do primeiro sistema nacional de avaliação no
contexto da reforma educacional da década de 1980 aconteceu pari passu com a
definição do currículo nacional. Ou seja, o caminho do sistema de avaliação é aberto
geralmente pela implantação de objetivos de ensino que precisam ser monitorados. A
avaliação nessa conjuntura serve tanto para ajudar a implantar o novo currículo como
para medir o sucesso das escolas na sua execução.
Pela natureza federativa do sistema educacional brasileiro e a aparente
impossibilidade de um currículo nacional que vá além dos parâmetros filosóficos, o
Saeb foi criado com base em pesquisas que, na média, tentaram espelhar o currículo
real usado pelas escolas sem que ele fosse o oficial ou comum a todas as escolas.
Quando os estados começaram a adotar sistemas de avaliação modelados no Saeb,
eles também adotaram as mesmas matrizes e a mesma orientação no sentido da
especificação de objetivos em termos de competências de diferentes níveis de
sofisticação. Isso não significa que não haja um amplo grau de convergência entre as
matrizes do Saeb e aquelas produzidas pelos estados que já passaram pelo processo
de especificação do currículo básico. A diferença reside na explicitação e implantação
de um currículo que possa legitimamente servir de foco para todos os processos de
formação continuada, sobretudo quando expressado em termos de expectativas e
quando fruto de uma construção coletiva. Usar as matrizes definidas externamente
para essa finalidade não só restringe o currículo a um subconjunto daquilo que as
escolas deveriam ensinar como também obriga a utilização de uma linguagem de
especialistas que não é a dos livros didáticos e muito menos a das atividades que o
professor precisa desenvolver.
Uma pesquisa sobre essa vertente da relação entre a avaliação e a política
educacional mostraria provavelmente que, se não fosse pela dificuldade em comunicar
os resultados da avaliação aos professores, o progresso na definição dos currículos
estaduais teria sido menor. Mesmo atrasados, os currículos básicos dos estados e o
progresso na definição de expectativas de aprendizagem para as séries são avanços na
111
© 2011. Fundação Victor Civita. Todos os direitos reservados.
direção certa que em algum grau podem ser atribuídos ao fato de os sistemas de
avaliação terem saído na frente.
6.3
Para Informar ao Público
Com a crescente preocupação com os resultados fracos dos Estados Unidos na
década de 1980 em avaliações comparativas internacionais, tão habilmente explorados
pela Comissão Nacional sobre Excelência em Educação em seu relatório Uma Nação
em Risco, (THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION, 1983), o
Programa Nacional de Avaliação do Progresso dos Alunos (Naep) decidiu ampliar sua
amostra e, na década de 1990, começou a publicar os resultados dos sistemas
educacionais estado por estado (GTEE/PREAL, 2010a). Aos poucos, os estados também
começaram a publicar seus resultados, dessa vez distrito por distrito e escola por
escola. Por trás dessa prática, encontrava-se a influência do economista Milton
Friedman e de outros economistas liberais, que contestavam o “monopólio natural” do
estado na oferta da Educação pública e procuravam estabelecer um mercado de livre
escolha com base na circulação irrestrita de informação sobre as escolas.
O
argumento desses teóricos é a favor da redução das funções do estado e da devolução
ao indivíduo do direito de escolha num mundo regido pelas regras do mercado livre. Se
há razões para os governos arcarem com os custos da Educação, inclusive dos que vão
além da fase obrigatória do ensino, esses teóricos não veem justificativa na
“estatização” da oferta. Ou seja, o fato de o estado subvencionar a Educação não
significa que tem que ser o estado que ofereça a Educação. Em vez disso, o estado
poderia dar bolsas ou vales-Educação aos pais, que poderiam gastá-los nas escolas que
achassem melhor. O papel do estado nesse caso se reduziria ao monitoramento dos
estabelecimentos educacionais não estatais para garantir um padrão satisfatório de
qualidade (FRIEDMAN, 1955).
Dentro desse mesmo raciocínio, seguido também pelo governo britânico a partir
da reforma de 1998 (BALL, 2008; RANSON, 2008), é indispensável tornar públicos os
resultados de cada escola por meio de alguma métrica que permita aos pais fazer uma
comparação entre as escolas. Se a essa divulgação de informação se acrescenta uma
112
© 2011. Fundação Victor Civita. Todos os direitos reservados.
delegação de poder de decisão aos pais a respeito de qual escola pública eles preferem
para seus filhos, cria-se o tipo de concorrência entre as instituições, necessária para o
funcionamento de um mercado educacional livre. Na prática, as restrições são
inúmeras e o mercado funciona de uma forma imperfeita e irregular, mas a divulgação
de informação mesmo em um quase-mercado continua sendo um elemento forte da
política de livre escolha da escola (school-choice).
Não foi nos Estados Unidos que a ideia do vale-Educação encontrou seu primeiro
teste, mas no Chile, durante o período da ditadura. Com a força de um regime
autoritário e de poderes extraordinários, a gestão de todas as escolas públicas foi
descentralizada para o nível municipal, os professores foram desfiliados do governo
central, foram introduzidos instrumentos de financiamento baseados na ideia da
subvenção, ou seja, a distribuição de verbas de acordo com o número de alunos
matriculados, e criaram-se os instrumentos e incentivos para os pais exercerem seu
direito de gastarem os vales-Educação nas escolas da sua escolha. Foi instituído o
Simce, o sistema nacional de avaliação educacional, e iniciado o processo de
publicação e divulgação dos resultados escola por escola. E, pela relação entre as
escolhas dos pais, a matrícula dos alunos e o sistema de financiamento per capita,
criou-se o primeiro exemplo de um sistema de divulgação high stakes na América
Latina.
A divulgação bianual dos resultados do Simce não sofreu nenhuma
descontinuidade com a volta da democracia. Pelo contrário, o sistema foi se
aperfeiçoando, como em outros lugares onde havia uma razão doutrinária para a
divulgação dos resultados escolares. O aperfeiçoamento principal foi a incorporação de
informação sobre o nível socioeconômico dos alunos para permitir a comparação de
escolas com características similares. Esse aperfeiçoamento também foi incorporado
pelas publicações de resultados escolares na Inglaterra a partir de 2002. Até esta data,
os resultados “brutos” publicados nesse país não sofriam nenhum ajuste e refletiam
muito mais o desempenho dos alunos do que o desempenho das escolas. Isso não
seria um problema não fosse pelas consequências para as escolas com resultados
aparentemente ruins que são taxadas de fracas e começam a perder alunos e
113
© 2011. Fundação Victor Civita. Todos os direitos reservados.
professores (TAYLOR; NGUYEN, 2006). Em reconhecimento aos problemas inerentes
ao uso de dados brutos, após dez anos da política de Tabelas de Desempenho de
Escolas, o governo britânico introduziu indicadores de valor agregado para todas as
escolas públicas. O indicador foi construído com base no cálculo do desempenho
esperado do aluno, levando em consideração seu desempenho na fase escolar
anterior. A diferença entre o desempenho esperado e o desempenho atingido é a
medida do valor agregado pela escola ou para mais ou para menos da média nacional.
Em 2010, com a ascensão de um governo conservador no Chile, houve um nítido
retrocesso na qualidade das informações prestadas naquele país. Segundo o Preal
(2010):
Os caminhos que os novos dirigentes da Educação estão tomando para
informar sobre os resultados das provas do Simce são contrários ao mais
elementar sentido comum em matéria de divulgação e uso de resultados e
jogam por terra 25 anos de trabalho durante os quais o Simce evoluiu e
melhorou significativamente. Retrocedem aos enfoques e erros próprios da
década de 1980, que há tempo foram deixados para trás tanto por países
como os Estados Unidos e o Reino Unido, como pela maior parte dos países
da região. (GTEE/PREAL, 2010b) (p. 1)
A razão da cólera do Preal se resume na atitude desavisada do Ministério de
disponibilizar as informações sobre as escolas em mapas virtuais na internet, em que
cada escola está sinalizada por um alfinete de cor verde, amarelo ou vermelho,
dependendo de se a média de proficiência da escola está acima, em torno ou abaixo
da média do país. Como dizem os autores, a entrega dos resultados brutos do Simce
sem fazer ajustes pelas origens socioeconômicas das famílias confunde os pais e
estigmatiza as escolas que atendem os alunos mais pobres. Ao suprimir as informações
de valor agregado, os alfinetes de cores acabam refletindo simplesmente a
composição social do alunado de cada escola. Como na Inglaterra, o problema não
seria tão sério caso não fosse pelo impacto das decisões dos pais sobre onde
matricular seus filhos e sobre o volume de recursos recebido pela escola de acordo
com o número de alunos matriculados (GTEE/PREAL, 2010b).
114
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Felizmente, a história da comunicação dos resultados dos sistemas federais de
avaliação no Brasil segue outros caminhos. A lógica dessa comunicação é publicizar as
informações com o intuito de apoiar as instâncias subnacionais na sua tarefa
constitucional de prover a Educação. Seria impensável o Saeb ou a Prova Brasil sem um
processo amplo de divulgação ou com uma divulgação enviesada, visando influenciar a
opinião dos pais. Esses instrumentos foram construídos para um público externo ao
MEC que abrange todos os governos subnacionais, a comunidade educacional e toda a
população nacional que acompanha os assuntos da Educação.
Por muito tempo, a disseminação dos resultados dos sistemas estaduais seguia
outra lógica. Na sua maioria, esses sistemas eram vistos pelos seus criadores
exclusivamente como instrumentos internos de gestão, e não como uma oportunidade
para a prestação de contas a um público com direito a informações transparentes
sobre a qualidade da Educação. As políticas de divulgação se restringiam aos boletins
para os professores e a outros poucos documentos internos.
A falta de transparência pode refletir mais a atitude de autopreservação comum a
todos os setores governamentais do que uma característica própria das Secretarias de
Educação. Mesmo assim, é surpreendente a ausência de informações detalhadas sobre
os resultados das avaliações nos sites das Secretarias na internet. Em vez de acesso
irrestrito a todos os dados, desagregados por escola e agregados por rede, região,
município, nível e disciplina, o comum é um acesso liberado exclusivamente para as
escolas, com informações que permitem poucas comparações. Em nenhum lugar se
encontram as séries históricas do tipo publicado nos relatórios do Saeb para permitir
que a população faça suas próprias análises das tendências mostradas pelos sistemas
estaduais.
Uma das possíveis razões pela falta de informação nos sites das Secretarias tem a
ver com a relação terceirizada entre o órgão público e a agência responsável pela
avaliação. No Brasil, são quatro ou cinco as principais agências e empresas que
oferecem o serviço de produção, aplicação e análise dos testes previstos pela
legislação estadual que institui os sistemas de avaliação. De longe a maior dessas
agências, o Centro de Políticas Públicas e Avaliação da Educação – CAEd, ligado à
115
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Universidade Federal de Juiz de Fora, oferece alguma informação no seu próprio site
sobre as avaliações realizadas. A impressão, no entanto, é que essa atividade de
divulgação ocupa um lugar secundário para o CAEd, mesmo nos casos em que há o
pedido explícito da Secretaria da Educação. Se as próprias Secretarias fossem as
responsáveis diretas pela análise dos resultados e pela produção dos diversos textos
que são distribuídos para as escolas, é provável que houvesse uma melhora na
qualidade e diversidade das informações nos seus sites.
As exceções que começam a aparecer, juntamente com o foco nos resultados
cada vez mais explícito, incluem os estados de São Paulo e Minas Gerais. No caso de
São Paulo, encontram-se os dados do Saresp de 2007 a 2010 no site da Secretaria, com
os documentos legais, os questionários aplicados à equipe escolar e a descrição das
matrizes de referência. Os resultados são apresentados ano a ano por rede, nível,
disciplina, coordenadoria da capital e interior e também de acordo com os diferentes
níveis de desempenho, para ver a distribuição dos alunos em termos das competências
adquiridas. Mesmo na ausência de gráficos e tabelas para facilitar o processo de
comparação, os interessados podem encontrar todas as informações básicas, incluindo
cópia dos boletins remetidos para as escolas. No caso de Minas Gerais, são oferecidas
informações completas sobre os últimos três anos de aplicação das provas do Proeb,
juntamente com a matriz curricular, o boletim pedagógico e a “revista contextual”,
como é chamado o documento contendo dados sobre o nível socioeconômico da
escola e seu grau de eficácia. Não são mostrados nenhuma média por ano, disciplina,
SRE ou qualquer outro parâmetro de agregação. Como no caso do Rio Grande do Sul e
outros estados, a divulgação via site se dirige à escola e pressupõe que o único
interesse dela seja ver seus próprios resultados, isolados de quaisquer comparações.
Outra Secretaria que leva a sério sua obrigação de comunicar os resultados da
avaliação é a do Distrito Federal. Nesse caso, a obrigação se deriva das próprias
diretrizes do Sistema de Avaliação do Desempenho das Instituições Educacionais do
Sistema de Ensino do Distrito Federal – Siade, que estipulam a divulgação dos
resultados à comunidade escolar e à sociedade civil, conforme o Sumário Executivo do
Siade 2009 (SEE/DF, 2010).
No site da Secretaria, encontram-se disponíveis para
116
© 2011. Fundação Victor Civita. Todos os direitos reservados.
download a Matriz de Referência para Avaliação, os Relatórios Pedagógicos Siade 2009
e um conjunto de apresentações para ajudar na utilização dos instrumentos de
avaliação e a interpretação dos resultados. Pelo fato de a Secretaria de Educação do
DF ter expandido seu sistema de avaliação para incluir a si mesma, do ponto de vista
tanto das suas políticas como da oferta da Educação, encontram-se entre os diversos
documentos a Síntese da Análise dos Indicadores de Políticas Públicas e a Síntese da
Análise dos Indicadores de Gestão. Chamam a atenção os dois documentos por
conterem os checklists de todos os indicadores usados na avaliação da atuação do
governo na condução de suas políticas e na gestão do sistema. Ainda mais
surpreendentes são as versões impressas de todos os diferentes documentos
encontrados no site, produzidas com capricho para a distribuição pública.
No caso do Rio de Janeiro, por outro lado, as informações são escassas. Os
resultados das últimas duas avaliações do Saerj estão organizados ou por lista de
escolas, com uma indicação da média por disciplina e sua classificação como baixo,
intermediário ou adequado, ou por lista de alunos, devido à importância recente do
ranqueamento do aluno com base na premiação com notebooks dos alunos que
atingem os níveis mais altos em português e matemática. Não se encontram as médias
por nível e disciplina e muito menos as comparações entre os anos.
Os sites visitados também não oferecem nenhum ranqueamento das escolas.
Apesar de termos localizado esse tipo de informação nos jornais do Rio Grande do Sul,
Minas Gerais e no Distrito Federal, a fonte das matérias não foram as Secretarias de
Educação. Dentro das Secretarias, existe a convicção que a divulgação não deve
permitir a comparação entre as escolas, como nos informou um gestor no Espírito
Santo:
Os educadores aqui não concordam com o ranking, acham que o ranking
não deve existir que isso em vez de estimular cria uma competitividade
desnecessária, tira a questão de unidade de rede, fragiliza a escola mais do
que estimula. É uma cultura brasileira mesmo. (Gestora; SEE/ES)
117
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Às vezes, as informações fornecidas ficam até incompletas justamente para
prevenir qualquer risco desse tipo de comparação. A imprensa, no entanto, tem outras
ideias:
A imprensa tem liberdade. A gente não tem esse controle de dizer, divulgue
dessa ou daquela maneira, né? Você informa, passa uma lista, uma
planilha com todos os resultados e eles ordenam em ordem decrescente, do
maior para o menor, né? Acaba naturalmente virando um ranking, mesmo
que a intenção não seja essa. (Técnico: SEE/DF)
Em Pernambuco, a imprensa mostra o mesmo interesse que em outros lugares:
Quando a gente chama a coletiva da imprensa pra dar o resultado, a
primeira coisa que eles querem é um ranking. [...] na primeira vez que saiu
o Idepe, sem querer [o Secretário] deu o ranking e quase morreu todo
mundo. Então a gente segura isso como se fosse um tesouro, a gente não
libera. Se a imprensa quiser entrar e pegar é responsabilidade dela, nós não
damos ranking de forma nenhuma. [...] E isso deu tranquilidade às escolas
porque o diretor ele não entra em sofrimento. Se eu tenho uma escola que
está numa situação de alta vulnerabilidade social, uma escola em que o
diretor assumiu recentemente, uma escola em que o resultado é muito ruim
e de repente você compara ela com outra escola que o diretor está lá a 8,
10 anos, é injusto. (Gestor: SEE/PE)
Não há dúvida de que na ausência de informações que permitam controlar a
influencia do nível socioeconômico dos alunos e outros fatores externos à escola, a
comparação de escolas com base nos dados brutos dos sistemas estaduais não é
recomendável. Pela impossibilidade de identificar claramente a contribuição da escola
no resultado geral dos alunos, a comparação de dados brutos pode levar a conclusões
errôneas tanto no sentido de atribuir qualidade maior a escolas com alunos de nível
socioeconômico mais alto como no sentido de achar de pior qualidade escolas com
alunos mais pobres. Perante esse risco, e o possível constrangimento das escolas, as
118
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Secretarias fazem bem em não permitir a divulgação de informações que possam
facilitar o ranqueamento de escolas.
A única exceção que encontramos a essa regra geral foram os Relatórios de
Desempenho Geral da Rede Estadual de Ensino produzidos pela Secretaria de
Educação de Mato Grosso do Sul. Nesses relatórios, sobre os resultados dos alunos no
Saems em língua portuguesa, produção de texto e matemática em 2009, encontram-se
ranqueados escolas e municípios, abrindo os flancos para as mesmas comparações
enganosas ocorridas no Chile. Não se sabe se os relatórios foram produzidos para
circulação interna ou não, mas, ao apresentar como um dos objetivos oficiais da
avaliação “fornecer informações às escolas da rede estadual e à sociedade sul-matogrossense sobre o desempenho dos alunos e os fatores que interferem na
aprendizagem”, essa Secretaria mostra que gostaria que os pais se familiarizassem
com os resultados das avaliações. No entanto, como a divulgação dos boletins
pedagógicos atinge somente os diretores das escolas e não há política explícita de
disseminação externa, deve-se supor que os ranqueamentos não faziam parte de uma
estratégia premeditada de divulgação de comparações junto à comunidade.
O único caso documentado de um canal oficial de comunicação com os pais dos
alunos mediante a produção de um informativo contendo os resultados da escola é o
caso do Boletim de Escolas da Secretaria de Educação do Paraná, descrito por Ayres
(2003). Criado como parte de uma estratégia para fomentar um mínimo de
responsabilização para as escolas e dar poder aos pais para demandar resultados, o
Boletim também tinha o propósito menos divulgado de fortalecer as associações de
pais e contrabalancear o poder do sindicato de professores, que na época estava em
desavença com o governo do estado. A teoria por trás dessa estratégia parece ser a de
que as escolas se sentiriam mais pressionadas em demonstrar bons resultados se os
pais estivessem mais bem informados a respeito da sua escola em comparação com as
outras.
Distribuído a todos os pais e membros da equipe escolar, o boletim era organizado
em um informativo de quatro páginas que continha três blocos de informação. O
primeiro trazia os resultados do programa de avaliação estadual de 2000 com a média
119
© 2011. Fundação Victor Civita. Todos os direitos reservados.
das notas dos alunos de 4ª e 8ª série em português e matemática da escola, do
município e do estado, classificados de acordo com quatro níveis de desempenho. Em
2002, o Boletim da Escola adicionou um indicador que informava se a escola tinha
atingido ou não o nível de desempenho “esperado” para ela, levando em consideração
a condição socioeconômica média dos alunos de cada série. O segundo bloco de
informações continha dados do censo escolar oficial, incluindo taxas de aprovação,
reprovação e evasão, com comparações com as médias municipais e estaduais, mas
sem nenhuma comparação com outras escolas específicas. O terceiro bloco
apresentava afirmações subjetivas em relação à escola, retiradas dos questionários
aplicados a alunos, diretores e pais (AYRES, 2003).
Com a mudança da administração estadual em 2003 e a nomeação de um
Secretário da Educação com fortes laços com os sindicatos dos professores, o sistema
de boletins foi abandonado. As dificuldades em treinar os pais na interpretação e no
uso do boletim, a falta de comunicação real entre pais e professores e a falta de
confiança geral dos professores e diretores com relação ao propósito do Boletim
levaram ao seu abandono precoce. O fracasso do Boletim da Escola do Paraná mostra
que uma estratégia de divulgação aparentemente low stakes e sem consequências
para os professores pode criar desconfianças e ser combatida se não implementada de
forma adequada. Pode-se supor que se o Boletim tivesse usado uma estratégia high
stakes, incorporando comparações entre as escolas e atribuindo alguma consequência
aos indicadores empregados, a sua vida teria sido ainda mais curta.
Outra modalidade de divulgação diz respeito ao uso dos resultados das avaliações
como um elemento de propaganda política. Foram encontradas peças dessa natureza
em Minas Gerais, onde, no período anterior às eleições estaduais de 2010, foram
distribuídos documentos pdf contendo informações positivas sobre os avanços da
Educação no estado. Um desses documentos, intitulado Choque de Gestão e
Educação, se dedica a mostrar os avanços da Educação como consequência do novo
modelo de gestão pública. Ao falar dos avanços, dá-se destaque ao aumento de 48,6
para 72,6% na proporção de alunos com nível recomendado em leitura e escrita entre
2006 e 2009, sendo essas informações derivadas dos testes Proalfa do sistema
120
© 2011. Fundação Victor Civita. Todos os direitos reservados.
estadual de avaliação. Em outro documento, de julho 2010, a Secretaria procura
mostrar a situação excepcional do Ideb de Minas Gerais, em comparação com os
outros estados. Dados mostravam que nas series iniciais em 2009, 94,8% das escolas já
alcançaram a meta do Ideb para 2011, que Minas passou do 3º lugar para 1º lugar em
português e matemática, que das 149 escolas do país com Ideb ≥ 7, 73,2% estavam em
Minas Gerais, que das 500 escolas com o Ideb mais alto, 63,6% estavam em Minas
Gerais, e assim por diante.
Essas peças de divulgação chamam a atenção justamente por serem tão incomuns.
Enquanto as notícias sobre a Educação eram sempre tão infelizes e os resultados dos
sistemas de avaliação tidos como ruins, não havia o que celebrar. Os governantes que
cumpriam seu papel de dar ao público o conhecimento dos resultados das avaliações o
faziam mais por obrigação do que por querer a publicidade. Além do mais, na ausência
de uma relação entre a política educacional e a popularidade do governo, não havia
razão para o governante se expor. A divulgação dos resultados das avaliações não era
uma prática calculada para ganhar votos.
A mudança desse cenário está associada à consolidação de instrumentos de
avaliação que permitem fazer comparações – ao longo dos anos e entre os estados – e
à criação de políticas educacionais voltadas para os resultados que pelo menos em
alguns estados parecem estar produzindo efeito. Nesses lugares, começam a surgir
melhorias que podem ser atribuídas à qualidade da gestão pública e também sinais de
que a população está pronta para priorizar a qualidade da Educação e disposta a
premiar os governantes que mostram avanços nessa direção. No Ceará, o sucesso da
política educacional do município de Sobral, disseminado por meio de todos os meios
de comunicação, contribuiu para a eleição do governador e continua fazendo escola.8
Nesse estado, o governador procura fazer um evento político da entrega dos prêmios
dos sistemas estaduais de incentivos:
8
No município de Sobral, houve 34,7% de aumento no Ideb nas séries iniciais entre 2007 e 2009.
121
© 2011. Fundação Victor Civita. Todos os direitos reservados.
O que ganha mais visibilidade hoje é o prêmio Escola Nota 10. Tanto que na
solenidade de entrega o ministro veio. Aquela coisa. Foi feita com todos os
prefeitos presentes, os secretários municipais. Ele ganhou uma dimensão
em termos de ser algo pomposo para a escola que ganhasse, o município
ter uma escola que ganhasse. Na primeira edição foi no centro de
convenção do estado que vieram todos os prefeitos e realmente foi um
evento. Tem sido feito assim com uma grande solenidade para a concessão
desse prêmio. Nas edições anteriores era algo muito limitado. No governo
Lúcio, por exemplo, o prêmio de Escola Destaque no máximo eram
convidados diretores das escolas dos estados. (Técnico: SEE/CE)
O comportamento do governador pode ser atribuído ao desejo de dar prestigio à
política educacional e angariar apoios entre os municípios para os esforços da
Secretaria de Educação. O evento pomposo da Escola Nota 10 seria, então, uma
estratégia de mobilização para entusiasmar os dirigentes e provocar melhorias nos
resultados dos municípios. Por outro lado, pode também ser um evento com fins
políticos de caráter eleitoral. De qualquer forma, o cálculo é que o assunto da
premiação renderá frutos tanto para o estado como para os municípios se houver uma
melhoria nos resultados das escolas. A fala do técnico da SEE sugere que a estratégia
de dar destaque aos resultados está dando certo:
Quando a gente fez a escala do Saeb a gente transformou aqueles
intervalos e pintou os intervalos, atribuiu cores aos intervalos. A cor salmão
é um nível intermediário. Tem prefeito que até diz assim: "Eu não quero
mais o verde ruim, eu quero o verde bom". Por que na escala tem o
dégradé de verde. O suficiente é um verdinho claro e o desejável ou
adequado seria o verde escuro. Então o prefeito já dizia, eu não quero o
verde ruim eu quero o verde bom. Então assim, isso já mostra que mesmo
aquelas pessoas que não são da área da Educação, leigos, um prefeito que
não tem uma facilidade muito boa pra entender os indicadores. (Técnico:
SEE/CE)
122
© 2011. Fundação Victor Civita. Todos os direitos reservados.
A conclusão a que se chega é que a avaliação educacional faz parte de um
movimento que, ao promover a melhoria dos resultados da escola, está propiciando
ganhos políticos pelos gestores dos sistemas de Educação. Nesse cenário, é a avaliação
que fornece as informações sobre os avanços do sistema que ao serem divulgadas
angariam os apoios desejados, tanto em termos de colaboração como em termos
eleitorais. Se a Educação nos estados continuar a melhorar e se o interesse da
população no assunto da qualidade da Educação continuar a crescer, pode-se esperar
um volume cada vez maior de informação nos sites das secretarias, em inserções na
televisão e em publicações de diversos tipos. Não há duvida de que a circulação de
maiores informações e a divulgação de resultados educacionais com propósitos
políticos trarão benefícios para a qualidade da Educação pública.
Mesmo não havendo nenhuma intenção de implantar políticas de “escolha de
escolas”, a divulgação de informações de valor agregado por escola aumentaria
significativamente o interesse da população e introduziria um elemento de
responsabilização, mesmo low stakes, ao processo de publicização dos resultados. A
questão é se isso traria alguma vantagem para a rede em termos de melhorias ou se
simplesmente abriria uma área de conflito com as escolas. As experiências de outros
países não fornecem as respostas pelo fato de esse tipo de divulgação estar sempre
associada a políticas de responsabilização high stakes que confundem as evidências
sobre o impacto. Mesmo assim, é possível imaginar a retomada de políticas de Boletim
Escolar, como no Paraná, para efeitos de divulgação de informações de valor agregado
visando o engajamento da comunidade sem que haja a mesma reação por parte dos
professores.
6.4
Para a Alocação de Recursos
O exemplo mais difundido, e aquele que mais resume o espírito e a técnica da
gestão de recursos educacionais com base em informações do desempenho das
escolas, é o chileno. O Programa das 900 Escolas (P-900) foi formulado como uma
política de melhoramento com base nos resultados do Sistema Nacional de Medição
123
© 2011. Fundação Victor Civita. Todos os direitos reservados.
da Qualidade da Educação (Simce) em março de 1990, na volta da democracia chilena
após 17 anos de ditadura, e até poucos anos atrás ainda orientava atividades e
recursos do Ministério da Educação desse país (GARCIA-HUIDOBRO, 2006).
O programa P-900 foi criado para melhorar a aprendizagem de alunos de escolas
de ensino fundamental das regiões rurais e urbanas mais pobres do país. As 900
escolas da primeira fase do programa representavam 10% de escolas com os piores
resultados no Simce, que desde 1988 vem fazendo levantamentos a cada dois anos do
desempenho escolar em matemática e língua espanhola de alunos de 4ª e 8ª séries do
Ensino Fundamental. O objetivo do P-900 foi melhorar a aprendizagem de alunos de 1ª
a 4ª séries em leitura, escrita e matemática e para tanto foram desenvolvidas
numerosas ações com as crianças e seus professores. A lógica subjacente foi a de que,
para atingir uma qualidade mínima em todas as escolas, havia a necessidade de
distribuir os recursos entre elas de forma desigual, num movimento que pode se
chamar de discriminação positiva.
Na medida em que as escolas foram alcançando a média de desempenho para
sua região, foram sendo substituídas por outras de “alto risco”, de modo que, até o
ano 2000, o programa conseguiu atender o total de 2.500 escolas. Mesmo as escolas
que não alcançavam as médias regionais, e que continuavam entre as atendidas,
registraram a melhora de 18,5 pontos em média, mais que o dobro das escolas não
atendidas (GARCIA-HUIDOBRO, 2006). Das escolas atendidas pelo P-900, a metade
delas foi de áreas rurais, mas, nesse mesmo período, 75% dos alunos atendidos foram
urbanos. Em 1997, o programa se expandiu para atender a pré-escola e as 5ª a 8ª
séries. Isso representou o incremento de mais de 117% no número de alunos, que
aumentou de 140 mil para 305 mil, e também de docentes, que aumentou de 5 mil
para 11 mil. Para os padrões brasileiros, esses números podem não parecer tão
significativos, mas no contexto chileno representavam aproximadamente 10% de todo
o sistema público de ensino do país. Os resultados da avaliação realizada em 2000
mostraram que o programa P-900 contribuiu para a equidade do sistema, na medida
em que os alunos de 4ª série das escolas atendidas aumentaram seu desempenho
mais do que o das não atendidas (SANTIAGO CONSULTORES Y ASESORÍAS PARA EL
124
© 2011. Fundação Victor Civita. Todos os direitos reservados.
DESARROLLO, 2000). O impacto do programa foi maior no seu período inicial, entre
1990 e 1992 e, de novo, entre 1996 e 1999, conseguindo diferenças entre as escolas
do programa e as outras escolas do sistema superiores a 3 pontos numa escala
parecida com a do Saeb. No período intermediário, as diferenças diminuíram devido
ao apoio dado pelo Ministério a outras escolas do país por meio das numerosas ações
do Programa de Melhoramento da Qualidade e Equidade da Educação Básica, também
distribuídas de acordo com o rendimento das escolas no Simce.
Um novo programa, chamado Mejor Escuela, que atende escolas com baixo
rendimento instaladas em regiões de vulnerabilidade social, recupera alguns dos
critérios do P-900. O foco do novo programa gira em torno do cumprimento dos
objetivos previstos pelo currículo nacional do Chile e oferece materiais pedagógicos
aos professores e treinamento no uso de métodos práticos apropriados às clientelas
atendidas. Resultados do Simce mostram o sucesso da estratégia com aumentos de 6
pontos em língua e 8 em matemática após quatro anos (O Estado de S.Paulo,
4/4/2011).
No principio da década passada, o México estabeleceu outro exemplo de um
programa de melhoramento em escolas urbanas de populações de baixa renda
escolhidas com base nos seus contextos sociais e nos resultados no Sistema Nacional
de Evaluación de la Educación – SNEE (FERRER, 2006). Chamadas de Escuelas de
Calidad, foram incorporadas mais de 35 mil até o final de 2005. Segundo relato de
pesquisadores brasileiros, o Programa de Escuelas de Calidad – PEC segue a mesma
lógica que o programa dos P-900 ao procurar promover igualdade de qualidade e de
oportunidades educacionais para todos os educandos, independente de sua
capacidade, origem social, etnia e ambiente familiar, mediante um processo de
discriminação positiva a favor dos mais necessitados (DOS SANTOS; DE AVILA; SILVA,
2010). O mesmo SNEE que foi usado para a identificação das escolas também é usado
a cada dois anos para fazer uma avaliação detalhada dos avanços das escolas PEC.
O Plano de Ações Articuladas implantado pelo MEC em 2007 contemplava
originalmente os municípios considerados prioritários em função do Ideb alcançado
em 2005 e por esse motivo se classifica aqui como política de alocação de recursos
125
© 2011. Fundação Victor Civita. Todos os direitos reservados.
federais com base em resultados da avaliação externa. Com a extensão do plano para
todos os municípios, a política adquiriu conotações de accountability. Pelo menos, é
nessa luz que Adrião e Garcia (2008) analisam os objetivos e métodos do Ministério.
Composto de programas e ações com o objetivo declarado de promover a melhoria da
qualidade da Educação básica brasileira, o plano é operacionalizado por meio de
convênios entre os municípios e a União e da elaboração local de um PAR:
Por esse instrumento, os gestores municipais se comprometem a promover
um conjunto de ações no campo educacional, responsabilizando-se pelo
alcance das metas estabelecidas pelo âmbito federal. Em contrapartida,
passam a contar com transferências voluntárias e assessoria técnica da
União. (ADRIÃO; GARCIA, 2008) (p. 779)
A existência de um documento legal que estabelece um acordo público na forma
de metas implica, necessariamente, algum grau de responsabilização subjetiva.
Dependendo da mobilização da população, o não-cumprimento das metas acordadas
possa trazer um custo político para os gestores municipais. Resta saber se o MEC se
interessa por condicionar a continuidade do financiamento ao cumprimento das metas
e dessa forma elevar conscientemente os stakes dessa responsabilização.
Apesar de incipiente no Brasil, o uso das informações sobre o desempenho escolar
para a definição de políticas de alocação de recursos deve estar bastante difundido.
Essa impressão se deriva da existência em quase todos os estados visitados de
exemplos de políticas de pequeno e de grande porte para a distribuição de materiais,
treinamentos e outros recursos físicos e financeiros com base em critérios que levam
em consideração o desempenho da escola ou da sua região no sistema de avaliação.
No caso de políticas compensatórias ou de discriminação positiva, definidas para
favorecer escolas com desempenho menor, podem ser citados o projeto Aprender
Mais, da Secretaria de Educação de Pernambuco, que garante reforço escolar em
português e matemática dado por 3.275 professores temporários para todos os
estudantes de 4ª e 8ª séries e 3ª série do Ensino Médio, um ”kit boletim” e cursos para
as escolas que não atingem as metas do Idepe; uma política veiculada pela Secretaria
126
© 2011. Fundação Victor Civita. Todos os direitos reservados.
de Educação do Rio Grande do Sul em 2010 para a identificação de escolas com
resultados “insuficientes” para receber apoio do poder público e replanejamento de
sua gestão e ação pedagógica; uma distribuição de recursos e ações pela Secretaria de
Educação de Minas Gerais para favorecer as escolas da região Grande Norte do estado,
identificada como detentora dos piores resultados no Simave; e outra política de
Pernambuco chamada Certificação de Padrões Base. Nesse caso, trata-se de um
processo de implantação e manutenção de um padrão físico de funcionamento das
221 escolas com o pior resultado no Idepe de 5ª a 8ª série. Com dinheiro do Banco
Mundial e por meio da gerência geral de engenharia da própria Secretaria, propõe-se
que as escolas atinjam um padrão de ventilação, iluminação, salas, carteiras, material
etc. e recebam os recursos e o apoio para a manutenção desse padrão.
Há também políticas que favorecem escolas ou regiões com base na lógica
contrária. Nesses casos, os beneficiários são escolas ou regiões com os melhores
resultados. A lei 14023/07 do Ceará, que distribui a cota estadual do ICMS para os
municípios de acordo com os resultados do Spaece, seria um exemplo. Nesse caso, foi
criado o Índice Municipal de Qualidade Educacional com base nos resultados de
português e matemática do 2º e do 5º ano do Ensino Fundamental e todo ano o
governo calcula o repasse de ICMS aos municípios de acordo com os critérios
estipulados no Decreto 29.306, de 5 de junho de 2008. Nessa legislação, em nome de
“uma gestão publica por resultados”, se estabelece que 18 dos 25% da arrecadação do
ICMS será distribuída “em função do Índice Municipal de Qualidade Educacional de
cada município, formado pela taxa de aprovação dos alunos do 1º ao 5º ano do ensino
fundamental e pela média obtida pelos alunos de 2º e 5º ano da rede municipal em
avaliações de aprendizagem” (Art. 1º, Parágrafo Único, II).
Pelo componente de responsabilização inerente à distribuição de recursos com
base no desempenho, as consequências dessa legislação têm sido a mobilização dos
prefeitos e uma concorrência para melhorar os resultados nos municípios:
Veja bem, o prefeito que nunca ligava para a Educação hoje ele está louco
aqui ligando pra gente o tempo todo, por quê? Por que tem o ICMS
atrelado ao resultado do 2º e 5º ano também. (Técnica: SEE/CE)
127
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Outra consequência, menos interessante, tem sido a perda de receita da capital
por causa das características da população, que confirma que a distribuição da receita
do ICMS com base em um critério aparentemente meritocrático é um jogo de soma
zero:
...a gente viu agora em Fortaleza como tem perdido mais com isso por que
Fortaleza tem as adversidades maiores [...] é mais difícil colocar os meninos
nessa mobilização. No interior os prefeitos conseguem que os meninos
tenham participação de 100%, ou seja, não falta nenhuma na prova.
(Técnica: SEE/CE)
Mesmo com as dificuldades provocadas pela perda de receita de alguns
municípios, a política começa a fazer escola e em Pernambuco o governo já distribui
3% da receita do ICMS dos municípios com base em critérios parecidos.
O governador está tão fortemente motivado a isso que ele aprovou em
2008 o “ICMS Educação” em que 3% (dos 25%) são destinados aos
municípios com o melhor resultado no Idepe. Isso está fazendo com que os
municípios solicitem [..] que nós também calculemos o Idepe para eles. [...]
E uma das preocupações tanto dos prefeitos quando do governador agora,
é dar apoio aos municípios para que não haja muita distância entre o que a
Educação estadual está fazendo e está conseguindo de resultado, com
relação ao resultado do município.
Mais comum em se tratando da alocação de recursos de acordo com os resultados
são os prêmios pagos diretamente às escolas em reconhecimento aos resultados
alcançados nas avaliações estaduais. Um exemplo seria o Prêmio Escola de Valor,
criado pelo governo do Amazonas, para “estimular a obtenção de melhores índices
educacionais”. Anualmente são oferecidos prêmios de 30 mil reais a cada uma das
escolas que obtiverem os melhores índices no Ideb. O valor precisa ser empregado em
benefício da comunidade escolar e administrado pelas Associações de Pais, Mestres e
Comunidade. No primeiro ano de aplicação, 39 escolas foram premiadas e, no segundo
ano, 180. Segundo o site da Secretaria de Educação, o prêmio já ajudou a modificar a
128
© 2011. Fundação Victor Civita. Todos os direitos reservados.
realidade dessas escolas. Conforme as regras, foram aplicados 40% para a melhoria da
estrutura física, 40% para a compra de materiais pedagógicos e equipamentos
tecnológicos e 20% para a realização de eventos educacionais.
A política do Amazonas sofre do defeito de premiar as escolas que precisam
menos de recursos adicionais. Mesmo havendo alguma vantagem em oferecer um
prêmio, em termos de possíveis ganhos na produtividade da escola pelo efeito do
incentivo de obterem recursos adicionais para a caixa escolar, é provável que as
necessidades das escolas com desempenho menor sejam mais prementes. Ou seja, a
política de premiar as escolas melhores colide com os critérios de equidade que
recomendariam uma política compensatória para diminuir as diferenças existentes, e
não aumentá-las.
Existem exemplos de políticas que fazem as duas coisas simultaneamente. Mais
complexas, e potencialmente mais eficazes, essas políticas partem da premissa de que,
além de merecerem seus prêmios, as escolas mais bem colocadas nas avaliações
também têm alguma coisa a oferecer às escolas com o desempenho mais fraco. O que
essas políticas promovem, portanto, é uma relação de assistência técnica entre as
escolas premiadas e as escolas adotadas. Essa combinação dá um novo significado à
responsabilização. Além de serem responsabilizadas pelos seus próprios resultados, as
escolas premiadas também assumem uma nova responsabilidade para com as escolas
adotadas ou apoiadas.
O município de Rio de Janeiro abraçou uma política desse gênero ao definir em
2010 que as 25 melhores escolas de cada ano da Prova Rio, avaliação externa daquela
cidade, vão apadrinhar as 25 piores escolas, “dando orientações e mostrando algumas
estratégias que deram certo em suas unidades”. No entanto, a versão mais completa
dessa política de apadrinhamento foi lançada no Ceará em 2009 pela Lei 14.371, de 19
de junho 2009, que se chama Prêmio Escola Nota 10. Nesse caso, os critérios para a
seleção das escolas premiadas são de que tenham média no IDE-Alfa entre 8,5 e 10,
percentual de participação nas provas de Spaece de 85% e pelo menos 20 alunos de
ensino fundamental na época da avaliação. As escolas que atendem a essas condições
têm o direito de receber R$ 2.500,00 por aluno matriculado no 2º ano do Ensino
129
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Fundamental. A contrapartida é a adoção de uma das escolas que obtiveram os
menores resultados no IDE-Alfa. A partir da sua adoção, essas escolas recebem uma
contribuição financeira do estado no valor de R$ 1.250,00 por aluno avaliado e ações
de cooperação técnico-pedagógica, vindas das escolas premiadas. Fazem parte dessas
ações a elaboração dos planos escolares e viagens de articulação e apoio entre as
escolas. Os recursos financeiros concedidos às escolas apoiadas são utilizados apenas
para a melhoria das condições escolares e dos resultados da aprendizagem dos alunos.
Isso significa que as melhorias podem ser na forma de investimentos na formação dos
professores, aulas de reforço escolar, aquisição de materiais didático-pedagógicos,
equipamentos eletrônicos e mobílias e melhorias estruturais, como construções de
espaços, reformas e adequação de áreas. Cabe esclarecer que a política visa
principalmente as escolas municipais devido ao processo acelerado de municipalização
do ensino fundamental empreendido pelo governo estadual a partir do final da década
de 1990, que deixou nas mãos do estado menos de 8% da matrícula nesse nível de
ensino.
Em 2009, com base nos resultados do Spaece de 2008, foi beneficiado o total de
300 escolas entre premiadas e adotadas. No ano seguinte, na Solenidade da 2ª Edição
da Entrega do Prêmio Escola Nota 10, realizada no Centro Administrativo com a
presença do ministro da Educação e da maioria dos prefeitos, foram beneficiadas mais
300 escolas com os mesmos valores que no ano anterior. Na mesma ocasião, também
foram agraciados com troféu os prefeitos de 83 municípios, entre os 184 municípios
cearenses que atingiram o Nível Desejado, com a média de 150 pontos ou mais na
prova Spaece-Alfa. Pelo menos na opinião dos governantes, o simbolismo do prêmio,
carregado do prestígio de um evento que conta com a presença do ministro, tem valor,
na política do estado, de concentrar as atenções nos resultados dos alunos.
A premiação recebida pela Escola Nota 10 é dividida em duas parcelas. Para
receber a segunda, a escola precisa manter sua própria média na avaliação seguinte e
a escola assistida mostrar que houve avanço no desempenho ao ponto de alcançar a
nota 5 no IDE-Alfa. Esse critério é para garantir que haja de fato uma relação de apoio
entre as duas escolas. Outra questão de importância diz respeito ao processo de
130
© 2011. Fundação Victor Civita. Todos os direitos reservados.
escolha das escolas adotadas e os usos do dinheiro. Na opinião de um gestor, é
importante obrigar a escola premiada a se relacionar com escolas distantes e não se
acomodar com escolas mais próximas. Na opinião de um técnico, a política melhoraria
se a premiação fosse menor, porém estendida a um número maior de escolas.
Outra questão é a confiabilidade das avaliações para operar um sistema de
premiação com base em uma única medida. Com informações fornecidas por um
técnico, descobriu-se que muitas escolas podem mudar de categoria entre associadas
e premiadas de um ano para outro, o que levanta a suspeita de que a categorização
deixa a desejar ou que a margem de erro é grande. Uma escola que passa das piores
para as melhores em período tão curto desafia a própria lógica dos sistemas de apoio :
O efeito prêmio ele foi muito mais forte no grupo das 148 escolas que
foram apoiadas. Então a gente percebeu uma evolução muito maior das
escolas que estavam num nível baixo e passaram para o alto. Ao todo, das
148 foram 107 escolas que receberam a segunda parcela. Então foi um
número altíssimo das escolas que conseguiram crescer e atingir a meta 5. E
tivemos 8 que saíram do status de apoiada de 2009 e em 2010 foram
premiadas e estão entre as 150 melhores do estado. Elas operaram uma
grande mudança. (Técnico: SEE/CE)
Mesmo não tendo sido criado como uma política de incentivo ou premiação, o
projeto de Escolas Referência de Minas Gerais se situa nessa categoria do sistema
classificatório por promover investimentos de diversos tipos nas escolas beneficiadas e
também por obrigar que elas adotem outras escolas de desempenho mais fraco. Um
dos programas estruturantes da política educacional de Minas Gerais (PEREIRA, 2009),
o Projeto Escolas-Referência busca a reconstrução da excelência na rede pública e a
superação do fracasso escolar por meio de uma Educação de qualidade. Iniciado em
2004, com a seleção de 223 escolas pela sua tradição, número de alunos nos ensinos
Fundamental e Médio e resultados positivos no Simave, o projeto visa tornar as
escolas escolhidas focos irradiadores de Educação de qualidade no estado.
131
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Apesar da expansão do projeto para o total de 581 escolas com base nos
resultados do Proeb, ainda não existem avaliações mais detalhadas desse modelo de
gestão. O que se encontram são dissertações e outros estudos que focam aspectos da
estratégia, como o instrumento utilizado na formação continuada dos professores, o
PDP (FIGUEIREDO, 2007), o sistema de planejamento, o PDPI, e o papel do gestor
(REZENDE, 2010). Em estudo ainda em andamento, propõe-se comparar os ganhos dos
alunos das escolas referência e suas escolas associadas com escolas não incluídas no
projeto (PEREIRA, 2011). A grande questão desse estudo diz respeito à justiça em
concentrar esforços em um subconjunto de escolas em condições de se tornarem
escolas de excelência, em vez de estender os benefícios dos investimentos a todas as
escolas da rede. Para responder a essa pergunta, é preciso avaliar o possível efeito de
demonstração ao estabelecer um padrão de qualidade e desempenho para toda a rede
por meio do exemplo de algumas escolas e o impacto nas escolas associadas da sua
proximidade com essas escolas de excelência.
Os estados que ainda não têm políticas de alocação de recursos com base no
desempenho das escolas já pensam ter:
A gente está pensando utilizar o IDE [Índice de Desenvolvimento da Escola]
para a criação do fundo de distribuição de recursos para a escola. De
alguma forma estabelecer uma entrega do recurso com base na elevação
desse indicador, então com programas que a escola apresente desde
necessidades físicas, infra estrutura, quanto de pessoas, de assessoria, de
assessorias pedagógicas, principalmente. Eu acho que seria grande chance
da escola poder ter assessores para o desenvolvimento pedagógico dela.
[...] é uma forma mais orientada e uma política mais focada, com
focalização de política no resultado da escola para aquilo que a escola
precisa. (Técnico: SEE/ES)
Como comentário final, convém destacar a diferença entre as políticas de alocação
de recursos com base em resultados de acordo com o nível de impacto das
consequências ou responsabilização. A distribuição de recursos em favor de escolas
com desempenho menor não pode ser considerada política de responsabilização por
132
© 2011. Fundação Victor Civita. Todos os direitos reservados.
não existir nenhum propósito de estimular as escolas a reduzir seu desempenho para
se tornarem escolas beneficiadas. No caso das políticas de premiação, por outro lado,
em que as escolas com melhor desempenho são aquinhoadas com recursos até
vultosos, como no caso do Ceará, a mensagem é claramente de competição e de
incentivo a todas as escolas para que melhorem seus resultados. A não-premiação da
escola acarreta prejuízos pela perda de melhores condições de trabalho e pelo nãoreconhecimento da qualidade da escola. Por colocar os resultados nas mãos das
escolas e dos seus profissionais, a política é de responsabilização, mesmo sendo uma
premiação para a escola, e não para os profissionais. Na seção seguinte, serão tratados
os incentivos dirigidos os profissionais das escolas.
6.5
Para Políticas de Incentivos Salariais
A bibliografia sobre o tema da responsabilização no Brasil não é extensa, mas
permite traçar o histórico dessa política desde o principio da década passada. Os
exemplos mais bem documentados da primeira geração de políticas dessa natureza
são os casos da Nova Escola, do estado do Rio de Janeiro, o sistema de bônus salarial
do estado de São Paulo, o prêmio Escola do Novo Milênio, do estado de Ceará, e o
bônus salarial para professores alfabetizadores do município de Sobral, todos criados
no ano de 2001 (MEC/INEP, 2005; BROOKE, 2006; RODRIGUES, 2007; ANDRADE, 2008;
BROOKE, 2008). O que essas políticas tiveram em comum foi a formulação de critérios
para o pagamento de incentivos salariais aos profissionais das escolas com base nas
médias de desempenho dos alunos.
Semelhantes ao sistema Sned, do Chile, essas políticas de responsabilização
associam consequências aos resultados dos alunos em termos de um adicional ao
salário dos professores pertencentes às escolas classificadas ou premiadas. Por esse
motivo, essas políticas se diferenciam das políticas de accountability high stakes dos
Estados Unidos, onde as consequências atingem primeiramente os alunos. Nos Estados
Unidos, a legislação estipula as metas em termos da proporção de alunos que
alcançam o desempenho mínimo necessário para receber o diploma de conclusão do
133
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Ensino Médio. No Chile e no Brasil, os resultados dos sistemas de avaliação não são
usados para classificar ou certificar o aluno e muito menos para influenciar seu futuro
no mercado de trabalho. Portanto, as consequências criadas pelos sistemas de
premiação/incentivos desses países são decorrências secundárias dos resultados do
processo escolar que nos dizem mais sobre a visão dos gestores a respeito da
motivação do professor, e menos sobre a qualidade de Educação da escola. É verdade
que nos Estados Unidos as consequências se estendem também para as escolas e seus
professores mediante as políticas de intervenção naquelas escolas que demonstram
um progresso anual insuficiente, mas mesmo nesses casos o indicador de qualidade ou
a falta dela são as taxas de graduação dos alunos. Nos casos brasileiro e chileno, o
indicador que se produz ao final dos cálculos determina se a escola é premiada ou não
e qual o nível de premiação alcançada. Por mais sofisticada que seja a metodologia de
cálculo, esse indicador é bem menos transparente que a taxa de graduação.
Outra diferença entre as políticas de responsabilização e as de accountability diz
respeito à natureza sempre positiva da premiação ou bônus salarial, enquanto as
consequências high stakes nos Estados Unidos podem ter implicações bastante
negativas para os alunos, seus professores e suas escolas. A ausência de qualquer
consequência negativa no caso brasileiro não significa a priori a falta de eficácia da
política de incentivos, mas deixa dúvida sobre a pertinência do termo
responsabilização como a tradução cabal da palavra accountability. A recusa dos
professores e legisladores em permitir qualquer tipo de punição é inteiramente
compreensível, mas, quando inexiste a possibilidade de consequência negativa, tornase mais difícil alegar que a escola e sua equipe estão sendo responsabilizadas pelo
produto de seu esforço. Somente na presença da possibilidade de consequências tanto
negativas como positivas pode-se dizer que há algo em jogo que represente um valor a
ser ganho ou perdido conforme o significado da própria palavra stakes, usada para
descrever a política.
Com essas diferenças em mente, convém fazer a distinção de acordo com o nível
em que a política de responsabilização incide no processo escolar, em nível do aluno,
do professor ou da escola. Com essa distinção, pode-se dizer que as políticas
134
© 2011. Fundação Victor Civita. Todos os direitos reservados.
brasileiras de responsabilização são direcionadas quase exclusivamente às escolas,
havendo só um registro, no caso de Sobral, no Ceará, onde, além de dar prêmio à
escola, a política de responsabilização identificava e premiava professores
alfabetizadores individuais.
Também convém explicitar quem está responsabilizando a quem. No caso dos
Estados Unidos e de certa forma no do Chile, uma parte das políticas de accountability
mostra que os governos centrais tomam para si o papel de exigir os direitos da
população de receber um serviço público de qualidade dos governos estaduais e
distritais. Nesses casos, o accountability expressa um acordo a respeito do gasto
correto e eficiente dos recursos dos contribuintes e a obrigação dos governos
subnacionais de cumprir esse papel com transparência. Também pressupõe uma
organização de poder em que o governo central tem ascendência legítima sobre os
governos subnacionais. No caso brasileiro, essas condições não são dadas. O único tipo
de responsabilização em jogo, do governo estadual em relação aos seus funcionários, é
o mesmo do empregador que exige bons resultados dos seus empregados. Por mais
que façam uso de justificativas que expressam os direitos do cidadão de ser bem
atendido, as políticas estaduais de incentivos salariais sempre serão, antes de tudo,
estratégias para aumentar a produtividade.
Os outros exemplos mencionados de programas estaduais de responsabilização
empregam diferentes medidas de resultados como indicadores da qualidade da escola.
Os indicadores são de três tipos. O mais comum é o desempenho médio dos alunos de
determinada série e matéria. Os outros dois indicadores são o de calcular o progresso
da escola com base na mudança no nível de aprendizagem dos alunos de um ano
escolar para outro e o de mostrar a distribuição percentual dos alunos por faixa ou
nível de desempenho.
O desempenho médio apresenta uma série de problemas para o cálculo do
incentivo. Como o desempenho do aluno é uma combinação de vários fatores,
incluindo muitos que são externos à escola, o desempenho medido pelo sistema de
avaliação reflete muito mais do que a contribuição dada pela equipe escolar. Portanto,
as médias podem indicar o nível de desempenho, mas não a fonte da aprendizagem.
135
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Pelo uso exclusivo desse indicador, é possível premiar uma escola que em nada tenha
contribuído para o nível médio de desempenho dos seus alunos.
É para contornar esse problema que os estados do Ceará e do Rio de Janeiro
introduziram uma medida de progresso no desempenho da escola de um ano para
outro. Trata-se do modelo chamado nos Estados Unidos de “mudança de status”
(HANUSHEK; RAYMOND, 2003), que pode ser visto como um avanço parcial pelo fato
de controlar hipoteticamente pela aprendizagem anterior dos alunos. Como a
composição social do alunado de determinada escola não muda de forma brusca,
pode-se supor que o alunado da mesma série, em dois anos consecutivos, é composto
do mesmo tipo de aluno e tem características sociais e níveis de aprendizagem prévia
similares. Portanto, medindo a diferença no desempenho dos alunos da mesma série
em anos consecutivos, pode-se obter uma medida do quanto a escola avançou no
período em questão. O problema dessa suposição é que há as flutuações naturais
entre as turmas e entre os anos mencionadas por Carnoy em relação ao Sned (CARNOY
et al., 2004) e a escola pode ser julgada como apresentando mais ou menos progresso
exclusivamente em função dessas flutuações. Em suma, a mudança de um ano para
outro confunde o desempenho da escola, as diferenças socioeconômicas entre os
alunos e os erros naturais de medição.
Outro problema relacionado à medida de progresso é que ela pressupõe uma
mudança constante e positiva no nível de desempenho dos alunos. Para a fase inicial
do programa de responsabilização ou para a escola que começa a instituir programas
de melhoramento, essa mudança pode ser uma meta realista. Para a escola que já
alcançou um nível mais alto de desempenho, o progresso constante pode não ser tão
realista e a escola ser julgada de menor qualidade.
É também importante observar que em nenhum dos exemplos da primeira
geração de políticas de responsabilização havia uma medida da distribuição dos alunos
pelos diferentes níveis de aprendizagens alcançados nas diferentes matérias testadas.
Não havia, portanto, uma medida do grau de equidade alcançado pela escola e
nenhuma forma de premiar as escolas que se esforçavam para eliminar as
desigualdades intraescolares existentes. Da mesma forma que as políticas de
136
© 2011. Fundação Victor Civita. Todos os direitos reservados.
responsabilização entendem que o aprimoramento da qualidade depende da ênfase
nos resultados da escola, pode-se argumentar que somente com a inclusão de
indicadores de equidade é que os sistemas começarão a combater as diferenças no
tratamento de alunos dentro das escolas. Nesse contexto, cabe lembrar que as
variações intraescolares no desempenho dos alunos são sempre maiores do que a
variação entre as escolas.
A segunda geração de políticas de responsabilização tenta superar as críticas
relatadas. Criados nos últimos dois ou três anos e exemplificados pelos sistemas de
incentivos de Pernambuco, São Paulo e Espírito Santo, esses novos sistemas
incorporam procedimentos mais sofisticados para a definição de critérios e a avaliação
de escolas. Segundo Formoso (2009), o objetivo do novo Programa de Qualidade da
Escola em São Paulo foi promover a melhoria da qualidade e a equidade do sistema de
ensino estadual e ao mesmo tempo combater o problema do absenteísmo dos
professores. O programa de pagamento de uma bonificação foi atrelado, portanto, a
dois fatores: o resultado de um índice de desenvolvimento das escolas, denominado
Idesp, e a assiduidade dos professores (FORMOSO JR., 2009).
A metodologia do Idesp descrita por Soares (2009) mostra a forma encontrada
para verificar a qualidade do ensino e também privilegiar a dimensão da equidade. O
primeiro passo foi a definição dos níveis de desempenho aos quais seriam atribuídos
significados pedagógicos e normativos. Há muita diversidade de opinião sobre o
número e denominação dos níveis que devem ser usados. No caso do Idesp foram
escolhidos quatro níveis com as seguintes denominações: Abaixo do Básico, Básico,
Proficiente e Avançado. As etiquetas escolhidas para os níveis têm um claro significado
normativo e descrevem graus de dominação das competências almejadas pelos
responsáveis pelo currículo oficial. A opção por quatro níveis reflete a necessidade de
orientar a organização de atividades a serem oferecidas aos alunos após a análise dos
dados obtidos em uma avaliação, dando às proficiências dos alunos uma utilidade
pedagógica, e não apenas gerencial (SOARES, 2009).
O segundo passo foi a escolha dos pontos de corte das proficiências do Saresp
para os quatro níveis. Encontrou-se uma distribuição de referência por meio da
137
© 2011. Fundação Victor Civita. Todos os direitos reservados.
comparação do desempenho dos alunos brasileiros com o desempenho dos alunos de
um grupo de países participantes do Pisa de 2000. Mediante a comparação da
distribuição da pontuação dos dois grupos e o cálculo da diferença em desvios padrão
foi possível criar uma distribuição “ideal” das pontuações para o Saeb. Com base nessa
distribuição, e a decisão de colocar aproximadamente 25% dos alunos no nível
avançado e outros 25% no nível básico, chegou-se a duas tabelas com a definição dos
pontos de corte para cada nível para 4ª, 8ª e 3º e para leitura e matemática do Saresp.
O significado desses passos se revela com a fórmula para o cálculo do Idesp para
cada escola. Ao mesmo tempo em que o Idesp mantém a ideia básica do Ideb de
agregação dos indicadores de fluxo e desempenho, ele também incorpora a dimensão
de equidade no indicador de desempenho ao mudar a maneira de cálculo do primeiro
fator, passando a utilizar um indicador baseado nos percentuais de alunos nos
diferentes níveis. O indicador de desempenho usado no Idesp é obtido calculando-se
primeiramente a defasagem média dos alunos da escola em relação ao nível avançado.
Para isso, atribuem-se aos alunos classificados no nível Abaixo do Básico, Básico,
Proficiente e Avançado respectivamente três, duas, uma e nenhuma defasagem. A
defasagem do sistema ou escola é definida como a média ponderada das defasagens
de cada nível, tomando como peso a porcentagem de alunos em cada nível. Para
transformar essa medida de defasagem em um indicador similar ao Ideb, foi
necessário transformá-la em um número que assume valores entre 0 e 10, sendo
atribuído à pior escola o valor 0 e à melhor escola o valor 10. Isso é obtido pela
aplicação da seguinte fórmula: Indicador = (1 - (Defasagem/3))*10
O uso da defasagem como medida de desempenho da escola sinaliza a
importância de melhorar o desempenho dos alunos mais fracos, em vez de excluí-los.
Quando os incentivos eram pagos com base na média das turmas testadas, a
estratégia mais eficiente para aumentar as chances de recebê-los residia na melhoria
dos resultados dos alunos com maior condição de mostrar avanços, e não no trabalho
mais paciente com os alunos de desempenho mais baixo.
As metas desenhadas pela Secretaria de Educação com base no indicador Idesp
servem para monitorar a evolução da qualidade da Educação nas escolas. Segundo
138
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Ferraz (2009), a inovação do programa está na relação entre o tradicional bônus
monetário e o grau de cumprimento dessas metas. Para isso, foi definido um índice
que mede o grau de cumprimento das metas para cada ciclo em cada escola. No ciclo
2007/2008, esse índice foi calculado comparando o quanto a escola melhorou entre
2007 e 2008 (Idesp2008 - Idesp2007) com quanto a escola deveria ter melhorado para
atingir a meta (Idespmeta – Idesp2007). Essa relação oferece a percentagem da meta
efetivamente atingida pela escola. Para escolas que têm mais de um ciclo, há
diferentes metas que a escola tem de atingir. Uma maneira de analisar se ela se
aproximou das metas como um todo é calcular a média ponderada de cada Índice de
Cumprimento, em que a ponderação é o número de alunos avaliados no Saresp em
cada um dos ciclos (FERRAZ, 2009).
Esse índice de cumprimento ponderado é então utilizado para remunerar as
equipes das escolas por seu desempenho. A Secretaria de Educação definiu uma
remuneração que é proporcional ao grau de atendimento das metas. Em escolas que
tiverem um índice de cumprimento de 100% da meta, por exemplo, todos os
professores e funcionários da escola recebem um bônus equivalente a 20% dos 12
salários mensais, ou seja, 2,4 salários mensais a mais. Porém, em atenção ao outro
objetivo do sistema de responsabilização, o pagamento individual depende da
frequência dos professores. Para receberem o bônus, os funcionários devem ter
atuado, no mínimo, em dois terços dos dias letivos do ano (ou 244 dias). Mesmo
entendido como punição pelos professores, a SEE/SP entende que, como não há
punição para o não-alcance das metas, o sistema de bonificação não se equivale aos
sistemas encontrados nos Estados Unidos (FORMOSO JR, 2009).
O estado do Espírito Santo demonstra um enfoque muito parecido com São Paulo.
Em documento da própria Secretaria (SEDU/ES, 2010), encontra-se a descrição da
Bonificação por Desempenho, criada em 2010 e baseada no índice de desenvolvimento
da escola - IDE, composto do indicador dos resultados, o IRE, e do indicador do esforço
da escola, o IEE, de modo que o IDE = IRE x IEE.
Como em São Paulo, o primeiro passo se resume na definição dos mesmos quatro
níveis de desempenho e os pontos de corte a serem empregados. Diferentemente do
139
© 2011. Fundação Victor Civita. Todos os direitos reservados.
cálculo de defasagem em São Paulo, a metodologia usada no Espírito Santo atribui um
valor de 0 a 10 para cada nível de desempenho, deixando clara a intenção de
beneficiar a escola que consegue passar seus alunos para os níveis de desempenho
mais altos. Um nível adicional da classificação é formado pelos alunos “excluídos” que
evadem ou, mesmo matriculados, não se apresentam para as avaliações e recebem em
consequência o valor 0. Essa categoria desestimula a perda de alunos por abandono e
também a prática de “esconder” alunos de baixo desempenho na época dos testes. O
cálculo do Indicador de Resultado da Escola é obtido pela multiplicação do percentual
de alunos em cada nível de desempenho pelo valor atribuído àquele nível (mostrado
no Quadro 2.), dividido por 100.
Quadro 2. Categorização dos Alunos em Níveis e Respectivos Escores para 5º e 9º
Anos do Ensino Fundamental e 1º Ano do Ensino Médio
Abaixo do
Nível
Excluídos
Básico
Proficiente
Avançado
6
8
10
Básico
Escore
0
2
O próximo passo se resume ao cálculo do Indicador de Resultados da Escola para
todas as avaliações a que foi submetida ao longo do período de referência. No caso da
aplicação da fórmula em 2010, levaram-se em consideração as avaliações de 2008 e
2009. O Indicador de Resultados da Escola final é calculado com base na média
ponderada, levando em consideração o número de alunos matriculados nas séries
testadas.
O indicador de esforço da escola, IEE, é a forma encontrada para levar em
consideração o nível socioeconômico da escola e permitir, dessa maneira, uma
comparação entre escolas que não seja viciada pelas diferenças na condição dos
alunos. A lógica do indicador é que, quanto mais alto o nível socioeconômico, menor o
esforço da escola para produzir bons resultados. Portanto, o cálculo do indicador é
dado pela diferença entre o nível socioeconômico da escola, numa escala de 0 a 5, e
140
© 2011. Fundação Victor Civita. Todos os direitos reservados.
um valor máximo arbitrado em 10. A escola com nível socioeconômico mais alto teria
um índice de esforço 5, enquanto a escola com o nível socioeconômico mais baixo
teria o índice 10. Usando a mesma lógica em relação aos níveis de ensino da escola, e
pressupondo o aumento de esforço na medida em que os alunos avançam desde as
primeiras séries do ensino fundamental até o Ensino Médio, calcula-se o esforço total
da escola levando em consideração a composição do corpo estudantil por nível de
ensino. A definição do modelo para o cálculo e o pagamento da bonificação das
escolas premiadas também foi objeto de discussão detalhada para evitar certos
inconvenientes, incluindo o risco de fomentar um ranqueamento das escolas e a
prática dos professores de procurarem transferências para as escolas mais bem
classificadas. O pagamento da bonificação ao individuo é condicionado a uma
frequência mínima, como em São Paulo.
De modo parecido com São Paulo, o sistema de incentivos implementado em
Pernambuco em 2008 também premia escolas com base em metas de desempenho
calculadas usando o sistema de avaliação do estado, o Saepe, e um indicador de fluxo
escolar, de forma análoga ao Ideb. No entanto, a definição das metas foi feita de forma
diferente da de São Paulo, pela ausência de resultados do Saepe para o ano de 2007.
Para as escolas de desempenho no quartil inferior da distribuição do Indicador de
Desenvolvimento da Educação de Pernambuco – Idepe, foi usada como meta a nota do
Ideb de 2009. Para as escolas de desempenho intermediário, a meta foi definida para
superar em 10% o estado com melhor desempenho do Nordeste. Por último, para o
grupo de escolas com desempenho superior, as metas foram estipuladas pelo valor do
estado com melhor desempenho no Brasil.
Para determinar a proporção da meta que foi atingida pela escola, é feito um
cálculo em duas etapas, segundo Ferraz (FERRAZ, 2009). Calcula-se primeiro um índice
que represente o quanto a escola deveria melhorar para cumprir a meta – o Índice de
Cumprimento (IC) – e depois o Índice de Progresso (IP), para estimar o quanto a escola
efetivamente progrediu. A média para cada série é ponderada pela proporção de
alunos em cada ciclo. Finalmente, a proporção da meta global atingida pela escola é
calculada pela divisão do que a escola efetivamente atingiu, o IP, pelo índice de
141
© 2011. Fundação Victor Civita. Todos os direitos reservados.
cumprimento das metas, o IC. A remuneração por desempenho é paga somente para
aquelas escolas em que o índice de cumprimento global seja pelo menos de 50%.
Os avanços metodológicos dos novos sistemas de incentivos são evidentes. Todos
evitam o uso de medidas simples de tendência central e incorporam métodos mais
sofisticados para captar tanto a proficiência quanto o fluxo de alunos. Também no caso
de São Paulo e Espírito Santo, foram criados métodos para levar em consideração
questões de equidade e amenizadas as dificuldades em fazer comparações entre as
escolas ao controlar pelas diferenças no nível socioeconômico e composição do corpo
estudantil. O uso de metas também incorpora uma visão prospectiva para facilitar a
compreensão do incentivo.
Mas certas dificuldades técnicas ainda permanecem. As medidas usadas para
controlar o nível socioeconômico dos alunos se baseiam em valores arbitrados, e não
no impacto real do nível socioeconômico ou em outras características dos alunos.
Também não resolve o problema da falta de medida do desempenho anterior dos
alunos, o que impede que seja calculada a contribuição específica da escola à
aprendizagem dos alunos. No há duvida de que a melhor medida para o desempenho
dos alunos seria a medida longitudinal, em que os mesmos são monitorados ao longo
de um período de tempo a partir de uma primeira avaliação servindo de linha de base.
O resultado dessas medidas longitudinais, em termos de ganhos médios de
aprendizagem da coorte de alunos, pode ser considerado um cálculo mais exato do
valor agregado da escola porque, além de controlar pelo efeito da aprendizagem
prévia, controlam-se também as flutuações na composição das turmas.
6.5.1 Investigações em Loco.
Quatro dos estados escolhidos para a pesquisa de campo têm políticas de
bonificação regidas pelos seus sistemas de avaliação – São Paulo, Minas Gerais,
Pernambuco e Ceará. Mais um estado, Espírito Santo, e o Distrito Federal já
142
© 2011. Fundação Victor Civita. Todos os direitos reservados.
prepararam as metodologias para o cálculo do bônus, mas ainda não fizeram o
primeiro pagamento9. Essa demora se deve à decisão de deixar passar o período
eleitoral de 2010 e aguardar as orientações dos novos Secretários de Educação. As
incertezas desse período, que se estendeu pelo primeiro semestre de 2011, dificultou
a pesquisa de campo e tornou necessário restringir as entrevistas à discussão das
políticas dos governos cujos mandatos tinham terminado. As mudanças já efetuadas
ou ainda em curso nas políticas educacionais de diversos estados a partir da chegada
dos novos governantes levam a crer que algumas das observações dos pesquisadores
descritas a seguir possam estar já desatualizadas.
As observações não repetirão os detalhes fornecidos sobre as metodologias dos
sistemas de bonificação, extraídos da bibliografia levantada. Elas se restringirão aos
detalhes do funcionamento desses sistemas não disponíveis na bibliografia e àqueles
aspectos que esclarecem melhor os princípios e problemas dessa modalidade de
política de gestão.
Ceará
No caso do Ceará, cabe esclarecer que o prêmio Escola Nota 10, já apresentado na
categoria Alocação de Recursos, também será estudado aqui pelo fato de parte do
prêmio ser destinado aos professores. Conforme o Manual de Orientações para
Elaboração, Execução e Prestação de Contas do Plano de Aplicação dos Recursos
Financeiros do Prêmio, documento de 63 páginas, dos 75% do valor total do prêmio
recebidos na primeira parcela, as escolas podem destinar até 20% para “bonificar os
professores do 2º ano do Ensino Fundamental; profissionais do núcleo gestor e demais
profissionais lotados na escola, no ano de referência da premiação”. Do resto do
prêmio, até 70% é destinado para aquisição de materiais de apoio pedagógico,
material permanente, formação continuada e adequações dos ambientes físicos da
9
No caso de Espirito Santo, o Bônus foi regulamentado em 31/5/11 e o primeiro pagamento, referente
ao ano de 2010, está programado para julho de 2011.
143
© 2011. Fundação Victor Civita. Todos os direitos reservados.
escola e “outras ações que contribuam para a melhoria da qualidade do ensino e da
aprendizagem dos alunos”, e até 20% destinados a deslocamento, alimentação e
hospedagem para a equipe escolar com o objetivo de desenvolver ações de
cooperação técnico-pedagógicas junto à escola apoiada. Dentre os limites fixados pela
legislação, a escola fica livre para seguir seus próprios critérios, até na forma de
calcular e fazer a distribuição da bonificação.
A Secretaria de Educação do Ceará também patrocina o prêmio Aprender pra
Valer, voltado para escolas de Ensino Médio, conforme a Lei nº 14.484, de 2008. Nesse
caso, são premiados os professores de até 45 escolas que atingem os seguintes índices
na soma das médias de língua portuguesa e matemática em cada uma das três séries
do Ensino Médio:
• Evolução de 7 a 10% sobre a média de proficiência obtida no ano anterior.
• Não apresentar média de proficiência no padrão Muito Crítico.
• Percentual de participação mínima de 80% (no Spaece) com base na matrícula
inicial informada no Educacenso.
O prêmio, destinado aos gestores, professores e servidores efetivos e
temporários, é concedido no valor mensal da remuneração de cada servidor,
proporcional ao acréscimo na média de proficiência dos alunos. Ou seja, no limite
inferior de 7% de crescimento na média da escola, os professores ganham uma
bonificação de 70% do salário. No limite superior de 10% ou mais, a bonificação é de
100%. Em 2010, a premiação representou um gasto de cerca de R$ 2 milhões e, como
no caso da Escola Nota 10, houve solenidade para a entrega às escolas de placas de
homenagens pelo desempenho alcançado. A ideia de trabalhar várias políticas de
incentivos simultaneamente não é por acaso:
No sistema de motivação precisa perceber é o seguinte, que você precisa de
mais de um modelo. Você não pode trabalhar só com uma linha de força,
você tem que ter várias linhas de força coerentes e convergentes. Então
com Escola Nota 10 eu motivo os professores e diretores, com o ICMS eu
motivo o prefeito, e com o Aprender para Valer, eu motivo diretores,
144
© 2011. Fundação Victor Civita. Todos os direitos reservados.
gestores, professores, funcionários, e ai, eu motivo independente do
contrato de trabalho, se é cargo efetivo ou se é temporário ou se é
terceirizado, eu motivo todos. Nenhuma pessoa da escola pode ficar fora
do prêmio. (Gestor: SEE/CE)
A convicção do estado do Ceará na eficácia dos prêmios como incentivo para os
professores tem uma década de história, que, como política para as escolas de ensino
regular, começa com a criação do prêmio Escola do Novo Milênio pela Lei Nº 13.203,
de fevereiro 200210. Alterado em 2004, quando o estado institui o Programa de
Modernização e Melhoria da Educação Básica e cria o Selo Escola Destaque do Ano, o
prêmio continua ininterrupto até 2007. Nesse ano, o atual governador, Cid Gomes,
toma posse. Prefeito de Sobral de 1997 a 2005, quando aquele município implantou o
primeiro exemplo de um sistema de bonificação individual para professores
alfabetizadores, o novo governador dá continuidade às políticas de incentivos ao criar
o Índice Municipal de Qualidade Educacional como base para a distribuição dos 25%
do ICMS pertencentes aos municípios e estabelece as bases para a retomada da
premiação de escolas em 2008 por meio da Escola Nota 10. No ano seguinte, são
criados o Prêmio Aprender pra Valer e também o Prêmio para os Alunos do Ensino
Médio, também pioneiro, que distribui um laptop a todos os alunos que conseguem
média de 325 em língua portuguesa e 350 em matemática na escala do Spaece.11
A própria continuidade da política de incentivos sugere que os gestores locais
estão convictos da sua eficácia. Como diz uma especialista:
Nós não temos ainda nenhuma evidência sobre o impacto desse sistema de
bonificação, por que eles são bastante novos. Mas você tem casos de
10
Em 2001, o projeto chamado Tempo de Avançar, que utilizou o telecurso 2000 da Fundação Roberto
Marinho para implantar 2 mil turmas de alfabetização com alunos fora de idade escolar, foi a primeira
experiência com a política de premiação. De acordo com os resultados na Prova de Êxito, ao final do
curso foram premiados os professores dos alunos com o melhor desempenho.
11
Política similar instituído na cidade do Rio de Janeiro para “homenagear e valorizar os alunos que
obtiveram as melhores notas em Português e Matemática” vai premiar os cinco melhores alunos de
cada disciplina dos dois anos avaliados com uma bicicleta.
145
© 2011. Fundação Victor Civita. Todos os direitos reservados.
estados como Ceará que tem sistemas de premiação que já tem mais de 10
anos e o estado continua usando. Ou seja, pelo menos no nível de uma
apreciação mais subjetiva de impacto desses programas eles estão
achando que eles têm razão que esses sistemas produzem bons resultados.
Agora estão aplicando inclusive para os alunos, dando prêmios aos alunos
que saem com os melhores resultados e eles vêem impactos instantâneos.
(Especialista: UFMG)
A opinião positiva dos gestores cearenses não vem só do efeito cumulativo da
experiência mas também de um raciocínio que deposita fé no efeito real do incentivo
tanto na melhoria da competência como na motivação do professor:
Eu acho que essa ideia [do prêmio], ela persiste porque as pessoas se
comportam diferentemente, tem níveis de compromisso e níveis de
competências diferentes. Quem tem nível de competência diferente precisa
às vezes ser incentivado internamente para adquirir a competência que não
tem. E quem não tem compromisso precisa saber que, ou passa a ter
compromisso ou passa a ter, vamos dizer assim, um tratamento
diferenciado em relação a quem tem. Que quem tem merece mais que
quem não tem. (Gestor: SEE/CE)
Para o mesmo gestor, a questão de se haveria outras formas de abordar os
problemas da Educação ou de organizar a própria política de incentivos não é uma
preocupação. A política de premiação é uma opção pragmática que chega ao cerne da
preocupação pelos resultados da escola e que qualquer política nesse contexto é
melhor do que nenhuma:
Nós somos, sim, pragmáticos, funcionalistas, realistas, sabe? Agora nós
não somos só isso. Mas se a realidade requer nesse momento uma
abordagem assim, então que seja essa, sabe? Vamos separar um pouco o
ideal, idealismo pedagógico, das condições de possibilidade da prática,
sabe? [...] No estado [...] em que a escola brasileira está, a pior estratégia
146
© 2011. Fundação Victor Civita. Todos os direitos reservados.
de premiação é melhor do que nada, porque nós precisamos quebrar a
inércia dessa indiferença pelos resultados. (Gestor: SEE/CE)
Isso não significa que a política de incentivos salariais não oferece problemas na
hora da aplicação prática das regras. No caso da Escola Nota 10, por exemplo, foi
necessário criar o IDE-Alfa, que leva em consideração a proporção de alunos
matriculados que efetivamente participam do Spaece porque as escolas nem sempre
aplicavam as provas aos alunos mais fracos para não prejudicar suas médias. Além
desse tipo de gaming, em que as escolas aprendem a manipular as regras, também se
observa a tendência das escolas de se preocuparem menos com as séries que não são
levadas em consideração no calculo do IDE-Alfa:
É visível como que
alguns municípios
relaxam um pouco no
acompanhamento do terceiro e do quarto ano. Porque o foco do prêmio
está no segundo ano. Ninguém quer ser professor mais do segundo ano. Ele
quer ser professor do terceiro ou do quarto ano porque ele não está sendo
tão pressionado, tão cobrado. Há um afrouxamento. Há aquela política de
acompanhamento austero, intensivo, que foi montado para o primeiro e,
sobretudo para o segundo ano. Mas, por mais que a escola saiba como
fazer, ela não se aplica ao terceiro, não se aplica ao quarto. (Técnico:
SEE/CE)
O gestor responsável pela política reconhece a existência dessas estratégias, que
classifica de “distorções”:
Todas as pessoas se comportam em função de resultados mais imediatos.
Então, se eu posso conseguir [...] uma avaliação com um mínimo de
esforço, eu vou fazer um mínimo de esforço. Às vezes isso significa uma
redução de escopo da tarefa, às vezes até uma inversão dos valores em
relação às tarefas, não é? O exemplo mais claro disso é aquela coisa de
dizer, assim, bom se o que importa é Português e Matemática, vamos
treinar os meninos pra fazerem boas questões de Português e Matemática
e nada mais importa, né?” (Gestor: SEE/CE)
147
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Outros problemas incluem a “transferência branca” de alunos para outras escolas
para tentar se livrar de alunos de desempenho mais baixo e a insatisfação criada pela
pressão irreal do prêmio Aprender pra Valer, que estipula um crescimento de no
mínimo 7% ao ano na média de desempenho da escola, independentemente do
patamar já alcançado:
Os diretores têm uma reação muito grande. Os diretores escolares
consideram alto esse crescimento de 7%. Tem que ser mexida logo, logo,
por que a escola não consegue manter esse percentual do crescimento. Aí a
gente viu que poucas escolas, foi um número muito pequeno, que
conseguiu atingir essa meta. (Técnico: SEE/CE)
Na opinião dos técnicos da Secretaria, há indicações de que o programa Escola
Nota 10 produz resultados positivos no conjunto das escolas atingidas. Em comparação
com 2009, as médias tanto das escolas premiadas como das apoiadas cresceram em
2010 e, das 148 apoiadas, 107 chegaram a receber a segunda parcela do apoio
financeiro em 2010, mostrando que suas médias já alcançaram 5 no IDE-Alfa.
A evolução da média no Ceará se deu de uma forma muito acelerada. Com
certeza a gente tem que atribuir isso a essa política de publicização de
resultados, de política de premiação mesmo, e de mídia que foi feito em
cima desses resultados.
No entanto, o efeito parece não ser pelo recebimento do dinheiro. Uma evidencia
nesse sentido é o fato de as escolas apoiadas, que recebem menos, terem avançado
mais que as escolas premiadas. Outra evidência é fornecida pelo fato de os recursos
terem demorado a chegar às escolas e o avanço no desempenho ter acontecido
mesmo na ausência dos recursos. A explicação alternativa tem a ver com o efeito
psicológico da premiação, tanto para as premiadas como para as apoiadas:
O efeito da avaliação e a divulgação do resultado por si só já é uma
dinâmica de motivação. A escola saber que ela está entre as melhores. Aí
eu fico perguntado: por que as apoiadas evoluíram mais do que as
premiadas? As premiadas não conseguiram manter a média de
148
© 2011. Fundação Victor Civita. Todos os direitos reservados.
desempenho. Então talvez é o efeito psicológico do prêmio, do fato de ter o
prêmio e ter a publicização do resultado e a escola ser conhecedora que
está numa situação crítica e tudo mais. Talvez isso tenha gerado um
movimento interno na escola de tentar rever o seu projeto e tentar rever
suas práticas. Talvez é muito mais do que o efeito do dinheiro que chegou
a essa escola ou mesmo o efeito da cooperação técnica da apadrinhada
que chegou a essa escola. (Técnico: SEE/CE)
Mesmo assim, nem todas as escolas premiadas conseguem manter suas médias
para justificar o recebimento da segunda parcela da premiação, equivalente a 25% do
total. Das 148 premiadas em 2009, 75 não receberam a segunda parcela por não
manterem o IDE-Alfa da escola no mesmo nível e mais 12 pelo fato de suas escolas
apoiadas não alcançarem o índice de 5 nessa mesma escala.
No caso do Ensino Médio, houve também uma melhoria expressiva nos
resultados. Mas nesse caso o efeito pode ter sido pelo novo entusiasmo dos alunos,
provocado pelo Prêmio para os Alunos do Ensino Médio, e refletir, portanto, a
melhoria causada pela medição mais exata da proficiência dos alunos:
Por que antes os alunos do Ensino Médio muitos deles nem sequer liam a
prova. Marcavam qualquer letra, queriam se ver livre pra logo ir embora.
Alguns que sabiam que ia ter avaliação nem iam naquele dia por que eles
não são obrigados a fazer a prova. A gente não tem como obrigar o aluno a
fazer a prova, né. E agora na aplicação a gente observou o aluno
questionando com o aplicador o tempo da aplicação. Então houve uma
mudança de paradigma do aluno ao fazer o teste por que ele estava
querendo, ele estava brigando pra fazer o teste, não era mais o aplicador
tentando convencê-lo a ficar na cadeira e a reler o teste de novo. (Técnico:
SEE/CE)
A taxa de participação dos alunos matriculados, criada para contornar o problema
da “transferência branca” e a falta de comparecimento dos alunos no dia das provas,
tem criado seus próprios problemas. Um deles tem sido a não premiação de escolas
149
© 2011. Fundação Victor Civita. Todos os direitos reservados.
que por motivos alheios têm perdido alunos por abandono ou transferência. Nesses
casos, escolas com desempenho inferior podem chegar a receber a premiação por não
ter sofrido a mesma perda de alunos. Há relatos de funcionários das escolas viajarem
até os novos domicílios de alunos transferidos para receber a documentação oficial da
transferência e de um diretor que teve que falar com o conselho tutelar do Rio de
Janeiro para garantir que o aluno transferido tivesse sido de fato matriculado em
escola do Rio. Um técnico da SEE/CE sugere que uma forma de contornar o impacto da
perda inevitável de alunos seria estipular um percentual mínimo de participação e
fazer a distribuição dos prêmios entre os que satisfazem esse mínimo:
Tipo assim, irão concorrer ao premio Escola Destaque as escolas que
tiveram uma participação mínima de 90%. E aí vai ganhar quem tiver a
maior proficiência. [..]Não tem culpa uma escola que tinha atingido uma
nota altíssima mas perdeu um aluno que foi transferido, mudou para uma
outra escola e aí não ficou mais com 100% [de participação] e caiu a média
dela de proficiência. (Técnico: SEE/CE)
No fundo, essa dificuldade diz respeito à aparente “injustiça” dos critérios
estipulados para o pagamento do incentivo. Em se tratando de um acréscimo
importante à renda do professor, equivalente a um mês de salário, não é trivial a
questão de se as regras da competição são percebidas como legítimas e justas. A
experiência de Sobral, e os ajustes sucessivos nas regras do bônus do professor
alfabetizador para o aperfeiçoamento da política de incentivos mostra o quanto os
gestores precisam fazer as adaptações de acordo com as definições locais de justiça.
Numa primeira versão dessas regras, as cinco primeiras escolas na prova de
alfabetização levaram o prêmio, independentemente do tamanho da escola e do
número de turmas. No ano seguinte, a competição foi subdividida em categorias pelo
número de turmas das escolas em reconhecimento à dificuldade maior em melhorar
os resultados em escolas maiores. No terceiro ano, houve nova mudança pelo fato de
algumas escolas não receberem prêmios mesmo tendo desempenho melhor que
escolas premiadas em outros grupos por só existir um prêmio para cada grupo. Neste
ano, foi eliminado o ranqueamento e criado no seu lugar um sistema de metas com
150
© 2011. Fundação Victor Civita. Todos os direitos reservados.
base no desempenho da própria escola no ano anterior. Nesse formato, a escola
competia consigo mesma para alcançar pelo menos 90% da meta. A lição aprendida é
que o sistema de incentivo nunca será perfeito:
Eu já coloco que meu modelo é esse, que vai funcionar assim, que esse ano
vai ser assim, doa a quem doer, esse ano vai funcionar assim. Agora, tenho
certeza que ele não é perfeito, e nós poderemos também falar seriamente
de como melhorá-lo. Mas não fazer nada porque nunca vai ser perfeito é
errado. (Gestor: SEE/CE)
Espírito Santo
O sistema de bonificação de Espírito Santo, que prevê pagamento a toda a equipe
da escola que atingir determinado índice de desenvolvimento da escola, é de
elaboração recente, o que permite o resgate mais pormenorizado dos diferentes
objetivos perseguidos pelos gestores. Mesmo não havendo ainda uma aplicação
prática da metodologia, o raciocínio por trás da sua criação ainda está fresco na
memória dos envolvidos. O primeiro objetivo é levar para dentro da escola a mesma
preocupação com os resultados das avaliações que aquela expressa no planejamento
estratégico do estado:
Para mim, eu não tenho grandes pretensões com relação ao bônus e tal,
mas se conseguirem levar para dentro da escola essa discussão de que o
resultado principal é a aprendizagem eu acho que o jogo já está ganho.
(Gestora: SEE/ES)
Uma vez aceita a relação entre qualidade e resultados e estabelecida a
preocupação da escola em melhorar seus resultados, parece que haverá naturalmente
a compreensão de por que a escola ganhou ou deixou de ganhar o bônus:
O que a gente queria com o sistema de bonificação é levar essa discussão
da qualidade para dentro da escola. Ou seja, o Paebes, que é o nosso
sistema de avaliação, passa a ganhar uma nova cara porque hoje ele não
vai para a escola simplesmente como uma avaliação. [...] Com a
151
© 2011. Fundação Victor Civita. Todos os direitos reservados.
bonificação ele coloca uma coisa nova, então você cria um estímulo para
que as pessoas pelo menos passem a entender por que é que eu ganhei
1000 e você ganhou 2000, por que a escola A é assim e a B é assado.
(Gestora: SEE/ES)
O que não fica explicitado nesse raciocínio é como o professor possa de fato
entender as diferenças entre as escolas e, com base nessa compreensão, alterar de
alguma forma a sua prática. As informações que circularão entre as escolas podem
explicitar as diferenças nos índices, mas dificilmente identificarão por que uma escola
atingiu determinado patamar e outra não.
O segundo objetivo diz respeito ao propósito de incentivar os professores a se
verem como responsáveis pelos resultados da escola;
A ideia é você levar [para a escola] essa questão da discussão dos
indicadores de avaliação, de que o resultado do trabalho do professor é a
aprendizagem e que ele também é responsável pela evasão escolar, pela
reprovação do aluno, ou seja, isso não é um fator só do aluno. Ele tem uma
participação ali que é a gestão da escola em que ele trabalha. (Gestora:
SEE/ES)
Esse raciocínio parece completo, já que o pagamento de uma bonificação aos
professores das escolas com os melhores resultados de fato sinaliza a crença de que
esses professores têm de uma parte da responsabilidade por esses resultados,
sobretudo na presença de uma metodologia de cálculo que leva em consideração o
nível socioeconômico dos alunos. O que não fica garantido é que os professores sintam
as mesmas convicções a respeito da sua contribuição ou que entendam o que precisa
fazer para ganhar o prêmio no futuro.
O terceiro objetivo é retribuir o esforço dos professores. Como o bônus é
classificado como prêmio, e não como remuneração, ele se justifica como um
reconhecimento da dedicação adicional que os professores mostraram ao produzirem
resultados acima da média. O incentivo esperado é no sentido de suscitar níveis de
esforço maiores no futuro, mesmo sabendo que o nível de esforço pode variar entre os
152
© 2011. Fundação Victor Civita. Todos os direitos reservados.
professores de uma mesma escola e que o incentivo pode não afetar a todos
igualmente:
[...] os diretores de escola, [...] eles aplaudem muito o bônus, porque eles
conseguem ver isso dentro da escola. Eles veem isso mais de perto, ou seja,
o esforço de determinados professores e o esforço menor de outros.
(Gestora: SEE/ES)
O quarto objetivo, ao condicionar o pagamento do bônus ao cumprimento de um
número mínimo de dias de trabalho, é coibir as faltas dos professores:
A gente chega a receber professores aqui que dizem que tiraram atestado
porque tinham que resolver um problema hoje na unidade central e falam
assim como se fosse a coisa mais normal do mundo tirar um atestado
médico falso para usar o tempo para outra coisa. Então a frequência veio
como uma [razão] para compor esse índice até para a gente saber até que
ponto essa falta realmente é real ou ela é enfim, uma cultura. (Gestora:
SEE/ES)
Haverá necessidade de voltar a esta discussão dos objetivos da premiação na hora
de determinar se justifica classificar esta política como de responsabilização e de
prever seus prováveis impactos no ensino.
Minas Gerais
O sistema de premiação de Minas Gerais merece uma análise mais detalhada por
seguir um modelo diferente dos outros estados. Chamado Acordo de Resultados, a
metodologia implantada em 2008, e repetido anualmente desde então, se estende a
todas as Secretarias do governo. No caso da Secretaria da Educação, o acordo diz
respeito aos resultados da Secretaria, das Superintendências Regionais de Ensino (SRE)
e de todas as escolas. No caso das escolas, a nota recebida é composta em 65% da
nota da Secretaria, 10% da nota da SRE e 25% da avaliação dos “indicadores
finalísticos” da escola. Por meio dessa composição, mostra-se claramente que a
responsabilidade pelos resultados finais da escola é compartilhada entre as três
153
© 2011. Fundação Victor Civita. Todos os direitos reservados.
instâncias. Essa característica do Acordo de Resultados a diferencia das demais
políticas de incentivos estudadas que tendem a identificar os professores, os dirigentes
e demais membros das equipes escolares como os únicos integrantes do sistema de
ensino responsáveis pelos resultados de aprendizagem, apesar da conhecida
importância das condições materiais fornecidas pelo órgão central e os diversos
serviços de apoio das instancias regionais.
Os indicadores finalísticos da escola dizem respeito a um conjunto de dez metas,
expressas tipicamente em termos da proficiência média dos alunos por ano e matéria.
Como exemplo, a sexta meta, com peso valendo 2,14% do total da nota da escola, diz
respeito à proficiência média dos alunos do 9º ano do Ensino Fundamental em
português. A escola ganha a nota máxima se o valor observado para a meta for maior
ou igual ao Nível Recomendável para o ano, de acordo com a classificação publicada
pelo sistema de avaliação do estado. No caso de a meta da escola ser menor que o
Nível Recomendável, precisa-se empregar uma equação para calcular o desempenho
da escola de 0 a 1 com base na diferença entre a proficiência alcançada no presente
ano com a proficiência do ano anterior dividido pela diferença entre a meta e a
proficiência do ano anterior. No final, a nota do indicador = Desempenho x Peso do
Indicador x 10. Quando somados todas as notas dos indicadores, mais as notas da
Secretaria e da SRE a que a escola pertence, a nota final da escola mostrará a
proporção da meta global alcançada e, portanto, o percentual do prêmio de
produtividade a que terá direito.
Essa matemática é necessária depois da decisão de beneficiar a escola com
alguma recompensa mesmo no caso de não alcançar 100% da meta acordada. Essa
flexibilização torna o processo mais brando, permitindo a diluição do significado das
metas ao ponto de elas se tornarem indicadores de resultados, o que permite levar em
consideração a realidade das escolas que nem sempre conseguem melhorar no ritmo
desejado, apesar dos esforços. O raciocínio da Secretaria que levou a essa flexibilização
é mostrado na seguinte fala:
Meta tem que ser flexível por que meta rígida é meta boba. Meta é uma
coisa importante? É importante, mas ela não foi feita para ser sustentada a
154
© 2011. Fundação Victor Civita. Todos os direitos reservados.
ferro e fogo; de qualquer jeito você tem que ganhar. Se for a ferro e fogo o
cara toma anabolizante para não sei o que lá nas olimpíadas, se for a ferro
e fogo as pessoas usam tudo quanto é tipo de artifício para chegar lá.
Passa menino sem saber, altera nota do menino, ensina o menino a fazer
prova. Acontece esse tipo de coisa por quê? Por que se eu não conseguir, eu
vou perder salário e ninguém está em condições de perder salário. (Gestor:
SEE/MG)
O aspecto mais interessante do acordo de resultados é o procedimento para a
fixação das metas. Esse processo culmina na assinatura de um termo de compromisso
por parte das SREs e das escolas após a consulta ao sistema online em que as metas
estão listadas escola por escola. No caso de a escola não concordar, existe um
procedimento para a sugestão de nova meta e para o julgamento do pleito da escola.
Ou seja, mesmo sendo um processo centralizado, a possibilidade de a escola fazer uma
contraproposta torna mais legítimas as metas fixadas e justifica a assinatura do termo
de compromisso que pactua os resultados esperados:
[...] tem que ser pactuada, não pode ser imposto. Então a gente tem um
sistema na internet onde a Secretaria examina o histórico da escola, as
condições com base no relatório das visitas [...]. Com base nisso você
elabora uma proposta de meta para todas as escolas, essa é a primeira
providência. [...] o diretor acessa, imprime e discute internamente. Olha a
meta da secretaria é essa, dá para fazer ou não dá? Eles podem variar o
que está previsto lá em 10%. [...] Eles podem propor variação pra cima ou
pra baixo e o gozado é que alguns fazem pra cima. (Gestor: SEE/MG)
Não que a Secretaria acate todas as contrapropostas das escolas:
[em 2009] de 3.988 escolas foram 10% de pedidos de alteração [...] E,
desses 10%, nós modificamos só 10%, o resto não. Na verdade assim, vinha
muito pedido de abaixar meta. (Técnico: SEE/MG)
Outro aspecto relevante, que remete à discussão sobre o impacto do modelo de
planejamento estratégico assumido por diversos governos estaduais, diz respeito à
155
© 2011. Fundação Victor Civita. Todos os direitos reservados.
relação entre as metas dos planos governamentais e as metas colocadas para as
escolas. No caso de Minas Gerais, as metas do Plano Mineiro de Desenvolvimento
Integral – PMDI 2003-2023 foram desdobradas em metas plurianuais por meio dos
PPAG – Plano Plurianual de Ação Governamental. No caso do PPAG 2008-2011, coube
à Secretaria planejar suas metas de acordo com o percentual de crescimento fixado
pelo estado:
A distribuição das metas está amarrada à meta geral do Estado por que no
Estado foi dito: olha, nós vamos crescer 5% esse ano. Então a distribuição é
mais ou menos assim: umas [escolas] estão acima de 5, outros estão
abaixo, mas no fim, na hora em que todo mundo bater a meta, a gente
bate a meta daqui [do Estado] também. (Gestor: SEE/MG)
No entanto, nem sempre os planejadores ouvem os gestores antes de fixar as
metas globais do estado. Na primeira edição do Acordo de Resultados, os planejadores
dividiram as escolas em cinco faixas de acordo com a proficiência do ano de 2007 (um
ano de crescimento acima da média), calcularam a taxa de crescimento para cada faixa
e fixaram as metas até 2010.
Fizeram essas metas e foram embora. [...] E aí nós verificamos que as
escolas não estavam com um percentual de cumprimento muito bom, pelo
contrário, as notas foram muito baixas. [...] eles superestimaram as metas
porque justamente eles consideraram um crescimento do Estado muito alto
[...] Então eles pegaram aquele crescimento e fizeram uma projeção só que
na hora em que nós pegamos os bandos e fizemos a primeira avaliação, o
percentual de cumprimento foi muito baixo. É por isso que nós fizemos a
primeira revisão, no ano de 2009. (Técnico: SEE/MG)
As metas estavam muito altas, principalmente no ano de 2010. Aí nós
conversamos, a Secretária conversou com o pessoal do Estado para estudar
os resultados e eles aceitaram as nossas reivindicações e nós fizemos um
histórico, nós mostramos as tendências de crescimento e eles viram que
realmente estavam muito alto [...], eles aceitaram, tanto que as metas,
156
© 2011. Fundação Victor Civita. Todos os direitos reservados.
nossas metas, reduziram bem para o ano de 2010, que estavam bem altas.
(Técnico: SEE/MG)
Não é trivial a questão de como estabelecer as metas de um sistema de incentivos
quando não se quer usar um ranqueamento competitivo nem fixar as metas
exclusivamente com base no histórico do crescimento anual da proficiência. O que
está em jogo é uma combinação de fatores que também leva em consideração a
vontade dos governantes de ir além da meta:
“A Educação trabalha com desafios e politicamente o que move as pessoas
é o desafio. [...] A Educação precisa de uma coisa maior, precisa de uma
coisa mais significativa, alguma coisa de natureza diferente. Então a ideia
que nós trabalhamos ao ir para a escola é a idéia de desafios e não a idéia
de meta. Meta é prêmio por produtividade. Isso aí é meta, isso aí vocês vão
ter que cumprir mesmo. Agora o desafio não é isso não, o desafio é muito
maior do que esse. O desafio é diferente [...] Se não, fica todo mundo
marcando passo. (Gestor: SEE/MG)
O sistema de acordo de resultados tem vários méritos metodológicos. Também
tem uma deficiência criada pelo uso de médias para a fixação de metas e o cálculo do
desempenho da escola. Pelo fato de a escola poder melhorar suas médias com mais
facilidade mediante atenção especial aos alunos mais capazes, existe o risco de a
escola esquecer-se dos alunos mais atrasados:
Quando a gente vai ler os documentos, percebe que há uma
supervalorização de um ponto na escala. Quando eu super valorizo um
ponto na escala, nem todos os alunos me interessam, me interessam os
alunos que estão próximos de ultrapassar aquele limite e isso tem
consequência. É claro que essa análise ela pode ser uma análise difícil de
ser feita no primeiro ano, é razoável esperar que logo as escolas vão
perceber que isso é a maneira de você ficar bem no indicador. (Especialista:
UFMG)
157
© 2011. Fundação Victor Civita. Todos os direitos reservados.
A Secretaria já percebeu esse problema e pensa resolvê-lo ao criar requisitos para
melhorar a distribuição dos alunos entre as faixas de desempenho, de forma análoga a
de São Paulo e Espírito Santo:
A gente acha que a proficiência às vezes engana um pouco. Porque às vezes
a escola cresce na proficiência média, mas reduz o número de alunos no
nível recomendado, o que não é desejável. Então talvez a gente tenha que
alocar esses dois indicadores. (Técnico: SEE/MG)
Outra possível deficiência diz respeito à dificuldade de a escola entender o cálculo
do porcentual do bônus a que tem direito e a dificuldade de aceitar as diferenças nas
metas de cada escola:
O acordo avalia a escola em relação a ela mesma. Então teve um problema
que no primeiro acordo foi muito claro. A escola que tinha uma proficiência
maior e outra que tinha menor em municípios iguais. Aquela que tinha
proficiência menor tinha um prêmio de produtividade maior por que ela
cresceu mais que a outra escola [...] Então assim ela não entendia e a gente
teve que explicar, olha o acordo compara você com você mesma. (Técnico:
SEE/MG)
O fato de os indicadores estarem relacionados às matérias avaliadas pelo Simave
no 3º, 5º e 9º anos do Ensino Fundamental e 3º ano do Ensino Médio também traz
consequências para a maneira de pensar dos professores de outras matérias e anos.
Mesmo pago a todos os professores da escola, a capacidade de o bônus incentivar os
professores não incluídos nos indicadores deve ser menor, o que abre a possibilidade
do free riding, encontrado na bibliografia:
Muitos funcionários e outros professores de outras matérias não se sentem
parte do acordo de resultados, eles acham que não vão contribuir com
nada, eles têm esse sentimento. Então assim, eles não se sentem parte
desse pacto. Eles recebem o prêmio e "que bom, mais um prêmio", mas eles
não sentem que o seu trabalho foi reconhecido, que a nota que está ali
158
© 2011. Fundação Victor Civita. Todos os direitos reservados.
traduz o trabalho que eles desenvolveram durante aquele ano. Muitos. E eu
acho que eles têm completa razão. (Técnico: SEE/MG)
Apesar das deficiências, tanto os técnicos como os gestores da Secretaria
atribuem uma parte do avanço nos resultados das escolas durante os últimos anos à
incorporação de um regime de metas e incentivos:
Então a escola hoje gosta de receber as metas, ela gosta de trabalhar com
as metas, de ter o caderno dela. [...] Então na verdade quando você vê, por
exemplo, que nós tínhamos uma meta de 74 pra proficiência de
alfabetização [...] e nós atingimos 86, alguma coisa melhorou, alguma
coisa eles estão indo atrás. [...] a gente ainda não sabe qual que é a causa
dessa melhora a gente não sabe. Mas de 74 que era a nossa meta e nós
atingimos 86, é muita coisa, né? (Gestor: SEE/MG)
Pernambuco
O sistema de incentivo salarial introduzido pela Secretaria de Educação de
Pernambuco em 2009 era pensado como um dos elementos de um conjunto de ações
voltados para a revisão da situação funcional e salarial do professor. Entre essas ações,
figurava a reformulação do contrato de trabalho e do plano de carreira de modo que o
professor pudesse se dedicar à docência em uma única escola, em vez de acumular até
70 horas aula/semana em diferentes escolas e redes, como permitido pela legislação
atual. Portanto, o incentivo era visto como um complemento para um salário que já
resolveria as necessidades do professor. Além disso, a visão da Secretaria de
Pernambuco atrelava o aumento salarial da nova carreira a um esquema de supervisão
bem mais rigoroso. O incentivo salarial, pago com base nos resultados da escola, seria
então um dos elementos desse esquema de supervisão:
O professor pode ter 70 horas-aula por semana é uma coisa meio louca,
tem que rever isso. Então nós temos muito claro o que o professor precisa.
O professor precisa ser bem remunerado, ter uma jornada de trabalho
plausível, mas nós sabemos que só isso não basta porque sistemas que
159
© 2011. Fundação Victor Civita. Todos os direitos reservados.
adotaram isso sem um forte sistema de supervisão não funcionam bem. [...]
Então nós acreditamos que é preciso ter um plano de carreira de incentivo,
de salário bom, mas atrelado a isso o sistema de supervisão, de
monitoramento, de aferição de resultados, de atrelar uma parte da
remuneração com esses resultados. Nós estamos caminhando pra isso, até
o final do ano a gente consegue fechar todas essas variáveis, digamos
assim. (Gestora:SEE/PE)
Para enfatizar a política de fixar os professores em uma única escola, o bônus
salarial é pago aos professores que estiveram na escola por um período superior a seis
meses. De forma parecida à de Minas Gerais, o valor do bônus é calculado com base
no percentual de cumprimento da meta fixada para a escola, a partir de 50%. As metas
são determinadas para cada escola com base na faixa de desempenho em que se
encontra – baixo, médio ou alto – de acordo com os resultados do Saepe do ano
anterior.
O que também chama a atenção do sistema de Pernambuco é a maneira de
estipular o valor do bônus pago aos professores. Comum em outros sistemas é o
pagamento a uma proporção fixa de escolas ou, como no Chile, às escolas que
atendem a uma proporção fixa de alunos, no caso 25%. Em Pernambuco, é criado todo
ano um fundo representando a folha de pagamento de um mês, o que permitiria pagar
um bônus equivalente a um salário a todos os professores caso todas as escolas
atingissem 100% da meta. Em 2008, 51,8% das escolas tiveram acesso ao bônus, o que
permitiu pagar 2,4 vezes o salário-base dos beneficiados no caso de escolas que
atingiram 100% da meta. Em 2009, a proporção de escolas atingindo pelo menos 50%
da meta subiu para 82%. Com isso, o fator usado no pagamento do bônus caiu para 1,6
salário nas escolas que alcançaram 100% da meta.
Nesse mesmo ano, a Secretaria estendeu o pagamento do bônus às gerências
regionais com base na média ponderada da taxa de cumprimento das metas das
escolas, sinalizando a responsabilidade também atribuída aos órgãos de apoio e
supervisão, como em Minas Gerais. No próximo passo, pretende-se criar uma
sistemática para o pagamento de bônus aos funcionários do órgão central.
160
© 2011. Fundação Victor Civita. Todos os direitos reservados.
No entanto, o fato de as políticas referentes à nova carreira dos professores não
terem sido implantadas e os salários não terem sido reformulados reduz bastante a
credibilidade da política de incentivos salariais de Pernambuco. Sem essas mudanças,
colocadas como pré-requisitos pela própria Secretaria, será mais penoso cobrar as
atividades esperados pelo sistema de supervisão e mais difícil concretizar os avanços
esperados do sistema de incentivos.
São Paulo
Sendo o sistema estadual de bonificação mais contestado pelos integrantes do
magistério e o que mais aparece no noticiário, a política implantada pela Secretaria de
Educação de São Paulo merece uma discussão mais detalhada. Já foram tratadas as
questões técnicas sobre a fórmula usada para avaliar a qualidade e a equidade da
escola. Nesta seção, precisa-se investigar o status da Bonificação por Desempenho
como o mais problemático dos diversos exemplos em estudo das novas políticas de
incentivos salariais.
O primeiro problema da Bonificação por Desempenho, lançada em maio de 2008,
é que ela tem antecedentes. Entre 2001 e 2006, a Secretaria já pagava um bônus anual
aos professores e diretores. Entre os anos de 2001 e 2003, esse bônus foi calculado de
acordo com a assiduidade média da equipe, o desempenho global da escola, medido
durante o ano escolar anterior através do Saresp, e outros indicadores de qualidade,
principalmente o nível de retenção de alunos pelas escolas. Em 2004, os critérios
foram modificados para, em primeiro lugar, incluir um mínimo de 200 dias de trabalho
efetivo e o desenvolvimento de projetos envolvendo a comunidade da escola, e, em
segundo lugar, para excluir o uso dos resultados de desempenho do Saresp. Em 2006,
o Saresp foi suspenso e os resultados do desempenho dos alunos novamente retirados
do cálculo do bônus. Isso se deveu, em grande medida, à aplicação no ano anterior da
nova Prova Brasil.
A resistência aos bônus anuais pagos pela Secretaria foi contínua. A oposição mais
vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de São Paulo,
161
© 2011. Fundação Victor Civita. Todos os direitos reservados.
expressou uma rejeição à “transferência abusiva da lógica de mercado” para a
Educação (CAVALIERE, 2003) (p.30) e à competição entre as escolas e os diretores das
escolas, que seria fomentada por essa política (CDEP, 2006). Outras críticas tiveram
mais a ver com problemas de trapaças, havendo meios para os professores ajudarem
os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos,
uma vez que eram os professores que aplicavam e corrigiam as provas. Supostamente
esses casos eram “bem conhecidos” entre os professores das escolas estaduais
(DISSIDÊNCIA, 2006), bem como os problemas burocráticos associados ao cálculo e ao
pagamento individual dos professores. Outro argumento, aparentemente bem
justificado, dizia respeito ao uso de resultados de desempenho médio dos alunos sem
nenhuma tentativa de controlar por diferenças socioeconômicas entre as escolas ou
pelo impacto de diferenças no nível anterior de aprendizagem.
Com a eliminação dos resultados dos alunos, o programa de bônus se tornou mais
uma maneira de justificar um benefício natalino. Porém o uso contínuo de medidas de
assiduidade e até de taxas mínimas de comparecimento em cursos de treinamento
para os professores, tal como incluído entre os critérios de 2005, é uma indicação do
problema perene de absenteísmo e da vontade da Secretaria de cobrar a frequência
dos professores mesmo na ausência de um indicador de qualidade da escola.
Com esses antecedentes, é difícil saber se a resistência atual de uma parte dos
professores se deve mais às cobranças de frequência, ao sistema de avaliação em si ou
aos efeitos negativos provocados pela associação high stakes entre os testes e o
pagamento da bonificação. Há evidências de que ainda há restrições ao Saresp no qual
a bonificação está fundamentada. Sem uma atitude tranquila em relação à
legitimidade e confiabilidade do próprio sistema de avaliação, dificilmente será
recebida de braços abertos uma política alicerçada nesse instrumento. O que se
observa no caso do Saresp são os questionamentos que se arrastam há mais de uma
década e mostram a sobrevivência de resistências que em outros estados já foram
superadas. A forte politização do tema da avaliação, classificada como produto das
reformas neoliberais de recorte gerencialista, e a falta de simpatia do principal
sindicato de professores para a política de avaliação do estado, impulsionado e
162
© 2011. Fundação Victor Civita. Todos os direitos reservados.
consolidado por um governo do PSDB, ajudaram a criar um ambiente ainda um tanto
hostil ao próprio tema da avaliação.
No entanto, os argumentos publicados pela Apeoesp para sua oposição atual à
política de bonificação não incluem nenhuma restrição explícita ao sistema de
avaliação. Os argumentos empregados dizem respeito, primeiro, à falta de “uma
verdadeira política salarial, que assegure reajustes e aumentos reais para todos os
professores, da ativa e aposentados”; segundo, à falta de evidência de que o sistema
de bonificação possa elevar a qualidade do ensino ou o nível de satisfação dos
professores; terceiro, à falta de inclusão de outros fatores, além dos resultados dos
alunos;
e
quarto,
ao
valor
irrisório
do
bônus
pago
(APEOESP,
2011).
Surpreendentemente, as últimas duas críticas apontam para a necessidade de
melhorias na política, e não para sua abolição.
Ao mesmo tempo, o sindicato sinaliza que pretende contestar na Justiça a Lei
Complementar nº 1078/2008 por não ter considerado todas as justificativas de faltas
previstas no Estatuto do Servidor Público do Estado na hora de calcular a bonificação
de cada servidor. A reivindicação da Apeoesp é que a Secretaria deixe de descontar as
faltas que têm justificativa legal. A posição da Secretaria é que a bonificação não é
salário, senão uma forma de premiar os professores e outros servidores que mostrem
dedicação ao deixar de aproveitar todas as faltas que a lei faculta.
O argumento do sindicato de que o sistema de bonificação é incapaz de elevar a
qualidade do ensino deriva de uma leitura sobre a experiência de outros países.
Dependendo da bibliografia consultada, essa leitura fornece uma série de argumentos
sobre os efeitos colaterais dos testes high stakes usados por políticas de
accountability, como os sistemas de incentivos já discutidos na seção 4 deste
documento. Recém-sumarizados pelo Movimento Contra Testes de Alto Impacto em
Educação, criado no âmbito da Anped em 2010, os efeitos colaterais dos testes de alto
impacto (high stakes) incluem a capacidade de falsear os dados das avaliações, induzir
à desonestidade, substituir os esforços de ensino pelo de preparação para testes,
estreitar o currículo e desestruturar os profissionais do magistério, além de provocar
163
© 2011. Fundação Victor Civita. Todos os direitos reservados.
extrema ansiedade em alunos, pais, professores e administradores (MOVIMENTO,
2010).
Além dos possíveis efeitos colaterais negativos, o sindicato pode também apontar
a falta de evidência de um impacto positivo na aprendizagem e até de evidência pelo
contrário. O incentivo pago em 2011 causou constrangimento ao revelar um recuo no
total pago e a queda no número de escolas aptas para receber o bônus, em
comparação com o ano anterior. O valor pago a 190 mil funcionários, de 3.778 escolas
– 75% das 5.019 unidades estaduais – foi de R$ 340 milhões. Em 2010, foram
concedidos R$ 655 milhões. O número de escolas que não receberam o bônus
triplicou. Em 2010, 510 escolas (9,9% do total) ficaram sem a bonificação, enquanto
em 2011 foram 1.474, o que representa 29,1% da rede pública do estado. As causas
principais foram as variações negativas do Saresp entre 2009 e 2010 nos anos finais do
Ensino Fundamental e no Ensino Médio. Com isso, só houve aumento no valor do
Idesp nos anos iniciais do ensino fundamental, que subiu de 3,86 para 3,96, em uma
escala que vai até 10. Nos anos finais do Ensino Fundamental, houve o recuo de 2,84
para 2,52 e, no Ensino Médio, o Idesp caiu de 1,98, em 2009, para 1,81.
6.5.2
Discussão
Para alguns especialistas ligados à universidade, a queda na bonificação de São
Paulo permite inferir que a política como um todo é um fracasso e que não são os
incentivos financeiros que motivam os professores (O Globo, 23/4/2011). No entanto,
as atitudes ainda favoráveis entre os gestores dessa mesma política em outros estados
e o interesse de estados como Pará em experimentar com o pagamento de bônus (O
Liberal, PA, 3/4/2011) podem sugerir que o impacto depende do contexto, das
relações entre as partes e também de uma continuidade maior no período de
aplicação da política. A literatura também recomenda cautela antes de chegar a
conclusões gerais, devido à grande diversidade na configuração das políticas de
incentivos e nos resultados alcançados.
164
© 2011. Fundação Victor Civita. Todos os direitos reservados.
De toda forma, observa-se a necessidade de clareza maior sobre o tipo de impacto
desejado pelos sistemas de incentivos brasileiros. A falta de evidência de que o prêmio
incentive o professor a procurar se capacitar ou modificar sua prática de ensino impõe
a necessidade de explicitar que o propósito seja muito mais do que bonificar a
assiduidade. Nesse caso, talvez nem precisasse de indicadores de aprendizagem.
Outros usos de incentivos, como para trazer professores para áreas menos atraentes,
como é o caso das escolas rurais, ou para atrair professores para disciplinas
curriculares em que há falta de professores, ainda não constam do elenco de políticas
dos governos estaduais, mesmo havendo uma conexão bem mais clara entre o
pagamento de bônus para essas finalidades e os resultados alcançados.
Do ponto de vista das metodologias usadas, é inegável que as políticas de
incentivos de segunda geração, que utilizam indicadores de desempenho construídos
de diversos elementos para levar em consideração o fluxo, o nível socioeconômico dos
alunos, o esforço da escola, a distribuição dos alunos por faixa de desempenho etc. são
mais sólidas e confiáveis do que seus antecessores. No entanto, até a construção de
indicadores que levem em consideração o valor agregado e que permitam a avaliação
da escola ao longo de um período de anos, sempre haverá dúvidas sobre a influência
de movimentos aleatórios no desempenho dos alunos. Os resultados da Escola Nota
10 do Ceará, em que a metade das escolas premiadas em 2009 não conseguiu mostrar
o mesmo desempenho no ano seguinte, leva a crer que uma parte dos prêmios se
deve a flutuações aleatórias. O fato de algumas das escolas identificadas como de
desempenho mais baixo em 2009 conseguirem melhorar, a ponto de receberem
prêmios como escolas nota 10 no ano seguinte, também levanta suspeitas sérias.
Dificilmente uma escola pode cumprir essa trajetória em um único ano escolar, mesmo
com a assistência técnica de uma escola de excelência.
O estudo da implantação e dos primeiros passos da nova geração de políticas de
incentivos salariais não foi capaz de mostrar sinais claros de benefícios em termos dos
resultados dos alunos. Pelo contrário, os resultados do sistema de bonificação de São
Paulo de 2010, em que o número de professores beneficiados e o volume pago de
165
© 2011. Fundação Victor Civita. Todos os direitos reservados.
bônus foram menores que em 2009, sugere que o sistema de bonificação não é uma
ação suficiente para promover a melhoria dos resultados dos alunos em curto prazo.
Também não há evidências seguras de que os sistemas de incentivos causem os
danos colaterais da gravidade sugerida pelos críticos da política. Há razões para
acreditar que, no caso brasileiro, esses danos colaterais talvez não sejam tão graves
justamente pela natureza da política de responsabilização em jogo. Onde a
responsabilização traz possíveis consequências muito negativas para os professores,
incluindo o fechamento da escola e a consequente perda de emprego, o nível do risco
de não se alcançar a meta é muito alto, o que pode provocar os comportamentos
vistos como destrutivos tanto ética quanto pedagogicamente. Por outro lado, quando
a política de responsabilização se fixa no pagamento de prêmios de bonificação que
possam atingir até a maioria dos professores, a única consequência negativa da
política é o não-recebimento do bônus. Em um regime em que o nível salarial dos
professores é considerado adequado, com no caso de Espírito Santo, o nãorecebimento do bônus pode ser encarado com maior tranquilidade.
Os embates ideológicos que caracterizam o campo, e que também explicam por
que a bibliografia continua incapaz de decantar algum consenso, indica que a
formulação de novas políticas e a reformulação de políticas existentes será mais uma
questão de fé do que de ciência. Sendo assim, me permito duas suposições. A primeira
é que, quanto mais se avança no sistema em termos do ano escolar e idade dos alunos,
maior a dificuldade em relacionar a atuação dos professores aos resultados dos alunos
e mais tênues os sistemas de incentivos. Por isso, será sempre mais difícil criar prêmios
que façam sentido para os professores do Ensino Médio ou os últimos anos do Ensino
Fundamental. Pelo mesmo raciocínio, será mais provável encontrar evidência de algum
impacto de um sistema de premiação nos primeiros anos do Ensino Fundamental.
Nesses anos, é mais fácil o professor sentir que sua atuação fará alguma diferença no
nível de desempenho absoluto dos alunos.
A segunda suposição é que, quanto menor o piso salarial e maior a insatisfação
dos professores com seus salários, menor a probabilidade de o incentivo salarial
produzir os efeitos desejados. Enquanto o incentivo seja visto com um remendo ou
166
© 2011. Fundação Victor Civita. Todos os direitos reservados.
uma tentativa disfarçada de oferecer o salário que o professor reivindica, a sua lógica
como prêmio fica prejudicada, e sua capacidade de provocar o tipo de atuação
colaborativa pretendida, ainda mais remota. Isso significa que não é propriamente o
tamanho do incentivo que faz a diferença, senão a distância entre o salário recebido e
o salário visto como merecido. Independentemente do nível salarial efetivamente
recebido, o fato de os professores de Espírito Santo estarem mais satisfeitos com seus
contracheques proporcionará um futuro mais promissor à política de incentivo
naquele estado do que em São Paulo.
167
© 2011. Fundação Victor Civita. Todos os direitos reservados.
6.6
Como Componente da Política de Avaliação Docente
O sistema de avaliação docente implantado no Chile em 2004 e extensivo a todos
os professores de sala de aula das escolas públicas municipais faz uso de informações
de quatro fontes sobre a prática do professor. A planilha de autoavaliação conta 10%
da nota final, o portfólio organizado pelo próprio docente conta 60%, a entrevista com
um “professor avaliador”, 20%, e o informe fornecido pelo superior hierárquico os 10%
restantes. Ou seja, mesmo no país que foi pioneiro na implantação de um sistema de
avaliação escolar baseado nos resultados dos alunos, não há previsão para o uso desse
tipo de informação na avaliação de desempenho individual a que são submetidos os
professores chilenos para efeitos de classificação de competência.
A razão por essa restrição no uso dos resultados dos alunos tem relação com duas
características fundamentais das informações produzidas pelos sistemas de avaliação
externa. A primeira é a sua incapacidade de mostrar o quanto o rendimento dos
alunos em determinada disciplina e ano se deve à atuação do seu professor. Sem
tomar em consideração o ponto de partida dos alunos que compõem a turma do
professor, não é legitimo atribuir o ponto de chegada ao esforço e à competência dele.
Quanto mais alta a série escolar, mais o desempenho do aluno se deve a seus
professores e a suas experiências em anos anteriores. E, em um sistema educacional
que atende a alunos de diversas origens sociais, o uso de informação sobre a
proficiência dos alunos para medir o desempenho individual do docente pode levar a
classificações que devem muito mais às características dos alunos do que às dos
professores.
A segunda característica, já discutida em relação aos incentivos salariais, é que os
sistemas de avaliação externa nunca aplicam testes para todas as disciplinas a todos os
alunos em todos os anos. Isso significa que não há informação de desempenho dos
alunos para todos os professores. Tipicamente os professores das disciplinas ligadas às
artes e esporte são excluídos, como são os professores das outras disciplinas nas séries
intermediárias. Ao mesmo tempo, a pesquisa sobre eficácia escolar mostra que o
168
© 2011. Fundação Victor Civita. Todos os direitos reservados.
desempenho dos alunos é influenciado por diversos outros fatores escolares, além do
professor, que incluem a qualidade dos materiais curriculares, o tamanho da turma, o
clima da escola e outras condições que afetam a aprendizagem. Em escolas que
prezam a colaboração entre os professores, atribuir o desempenho acadêmico dos
alunos em determinada disciplina a um único professor, mesmo que seja o responsável
pela disciplina, também pode levar a erros.
Para tentar evitar esses problemas, e produzir uma medida que capte de maneira
mais fidedigna a contribuição do professor para a aprendizagem dos alunos, vários
estados norte-americanos têm empregado modelos estatísticos de valor agregado (VA)
para mostrar o crescimento do desempenho em determinado ano escolar mediante a
comparação de duas avaliações (BAKER et al., 2010; GLAZERMAN et al., 2010). Em
resposta à falta de eficácia das políticas tradicionais e incentivada pelo governo
Obama, muitos estados estão começando a determinar não só o pagamento de
professores individuais com base nessas medidas do valor agregado aos resultados dos
alunos mas também a sua situação funcional, incluindo a continuidade dos seus
contratos. Há a esperança nesses lugares de que os incentivos tornem os professores
mais eficazes e os professores menos eficazes deixem a profissão.
O problema é que nem os modelos VA resolvem as dificuldades metodológicas.
Por exemplo, as estimativas da produtividade ou eficácia dos professores usando VA se
mostram muito instáveis. Dependendo do ano, da turma estudada ou do modelo
estatístico usado, a classificação do professor pode variar significativamente. Um
estudo em cinco distritos escolares urbanos em San Diego, Califórnia, mostra que, dos
20% de professores classificados como os mais eficazes no primeiro ano, menos de um
terço estava no mesmo grupo no segundo ano e outro terço estava no grupo dos 40%
menos eficazes (KOEDEL; BETTS, 2007). Outro estudo que correlacionou os VAs de dois
anos seguidos de professores na Flórida encontrou índices de correlação muito
modestos entre 0,2 e 0,3 (SASS, 2008). Ambos os resultados contrariam a ideia de que
a qualidade ou a eficácia do professor sejam uma característica que muda pouco com
o tempo.
169
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Nesses casos, a instabilidade seria consequência de mudanças nas características
das turmas e outros fatores dentro e fora da escola que influenciam a aprendizagem
dos alunos. Mesmo quando são empregados métodos para ajustar por diferenças nas
características demográficas e econômicas dos alunos e nas condições das escolas, os
professores de alunos de nível socioeconômico mais baixo recebem classificações mais
baixas. Portanto, a distribuição não aleatória de alunos entre escolas e professores e a
grande variação na experiência dos alunos em casa e na escola significa que não há
como comparar o mérito dos professores com base nos resultados das suas turmas,
mesmo quando se usam modelos que supostamente controlam características dos
alunos.
Faz sentido, portanto, que não haja quase registro no Brasil de uso de resultados
de avaliações externas para organizar políticas de incentivo salarial que façam
distinções entre os professores de uma mesma escola e muito menos para tomar
decisões sobre a situação funcional dos professores. As únicas exceções são o sistema
de avaliação de desempenho individual de Minas Gerais e uma política de curta
duração do Distrito Federal para decidir sobre a recondução de diretores escolares
com base na média de desempenho da escola.
No caso do Distrito Federal, o uso da média da escola no Siade foi uma decisão ad
hoc para facilitar a recondução de uma parte dos diretores e vice-diretores de escola.
As equipes gestoras eleitas em 2007 que ainda permaneciam em seus cargos poderiam
ganhar mais dois anos de mandato em 2009 se as comunidades escolares os
reelegessem. Para isso, as escolas dirigidas por elas precisavam ter um bom
desempenho do Siade 2009, realizado em outubro desse ano. Se o desempenho dos
alunos não fosse melhor em relação aos resultados de 2008, essas equipes
obrigatoriamente teriam que participar de novo processo seletivo no final de 2010.
Caso os índices fossem alcançados, a equipe poderia permanecer na direção da escola
por mais dois anos. Portanto, os resultados dos alunos foi um critério definitivo para
determinar a duração do período de gestão do diretor.
A partir da implantação em 2009 de um sistema de Avaliação da Gestão
Compartilhada e da Gestão Escolar Regimental, como parte do sistema de avaliação
170
© 2011. Fundação Victor Civita. Todos os direitos reservados.
das instituições educacionais do DF, a Secretaria fica de posse de checklist extenso de
indicadores sobre o funcionamento de todas as escolas com base nas informações
prestadas online pelos diretores. Esses indicadores vão desde a implantação da
proposta pedagógica da escola até os processos participativos das instancias
colegiadas, passando por uma bateria de “parâmetros para a gestão compartilhada e
desempenho escolar”. Nessa última categoria, estão incluídas as taxas de aprovação,
promoção, evasão, distorção idade-série e também a variação do Ideb de 4ª e 8ª séries
e a relação entre a avaliação escolar dos alunos e a avaliação do Siade (indicador
2B23). A presença desses indicadores sinaliza a importância dos resultados no
conjunto de critérios da boa gestão e provavelmente dispensa o uso da média no Siade
em decisões futuras sobre a recondução da equipe escolar.
No caso de Minas Gerais, por outro lado, o uso de informação sobre o
desempenho dos alunos na avaliação anual dos docentes tem todas as características
de uma política permanente. Mesmo sendo só mais uma informação entre muitas nas
mãos dos avaliadores, valendo no máximo 10% no conjunto de critérios empregados,
fica evidenciado o interesse das autoridades em colocar o foco nos resultados e
responsabilizar os professores pela aprendizagem dos alunos.
A Avaliação de Desempenho Individual (ADI) é realizada todo ano por uma
comissão avaliadora de cinco integrantes. Os avaliadores levam em consideração cinco
critérios ao analisar o professor regente, como mostrado no Quadro 2.:
Desenvolvimento
Profissional,
Relacionamento
Interpessoal,
Compromissos
Profissional e Institucional e Habilidades Técnicas e Profissionais. Cada critério é
composto de dois a nove indicadores, tendo peso 1 ou 2, o que permite aumentar ou
diminuir a relevância do indicador na composição da pontuação final. O último
indicador do quarto critério especifica que “[O professor] obtém bons resultados de
aprendizagem de seus alunos evidenciados pelas avaliações internas, realizadas pela
escola, e por avaliações externas”. Valendo até 5 pontos, mas com peso 2, esse
indicador pode contribuir com até 10% da pontuação total do professor, dependendo
da opinião dos avaliadores.
171
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Essa avaliação é high stakes para o professor, na medida em que a progressão
horizontal ou vertical na carreira só é permitida para quem recebeu uma avaliação
igual ou superior a 70%. Por exemplo, quem obteve um diploma de pós-graduação,
mas não atingiu a nota mínima no ADI, fica impedido de ocupar o nível correspondente
ao novo título. E, com duas avaliações seguidas inferiores a 70% ou com quatro em
dez avaliações abaixo desse limite, o professor é exonerado do cargo. Até o presente,
mais de 400 professores já foram exonerados por esse motivo.
Esse sistema de avaliação docente formaliza um critério usado pela Secretaria
cinco anos atrás para exonerar um número grande de professores alfabetizadores.
Uma resolução publicada em 2006 impediu a renovação dos contratos de professores
eventuais em escolas com mais de 30% de alunos não alfabetizados de acordo com a
avaliação do Proalfa. O gestor responsável pela política não tem dúvida de que levar
em consideração os resultados dos alunos na hora da avaliação individual contribui
para incentivar os professores:
O resultado do aluno é o negócio que mais pesa na pontuação e tem várias
fontes. A comissão pode olhar várias coisas e o professor pode dar a sua
explicação. [...] Onde tem Proeb [...] e Paae que são do Estado [a comissão]
pode olhar esses resultados todos. [...] E o que quê isso tem a ver com
estímulo? Tem a ver o seguinte; a condição para você ser promovido na
carreira é que você tem avaliação de desempenho positivo. (Gestor;
SEE/MG)
Uma gestora da Secretaria de Educação de Pernambuco mostrou entusiasmo com
uma política de avaliação docente para efeitos de promoção na carreira que também
incorpora critérios relacionados ao desempenho dos alunos:
[...] vai ter [...] um sistema de informação. Ele vai ser em cima do resultado
do aluno, do tempo de ensino, do cumprimento do programa de ensino e
do resultado do Saepe. [...] o projeto já está desenhado. E por sua vez o
plano de carreira vai prever, porque ele já prevê avaliação de desempenho.
A avaliação de desempenho vai ter também um link com o resultado do
172
© 2011. Fundação Victor Civita. Todos os direitos reservados.
desempenho do aluno. Tudo nosso é em função do desempenho do aluno.
(Gestora: SEE/PE)
A política ainda não foi implantada e não se sabe se haverá tentativas por parte da
Secretaria de Pernambuco de incorporar medidas de valor agregado para torná-la mais
palatável. Mesmo nesse caso, se existe qualquer reflexão por parte dos professores
sobre as imprecisões e instabilidades inerentes à avaliação docente, pode-se prever
um grau merecido de resistência à nova política.
173
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Quadro 2. Ficha de Avaliação Individual. Secretaria de Educação de Minas Gerais
ESTADO DE MINAS GERAIS
SECRETARIA DE ESTADO DE EDUCAÇÃO
TERMO DE AVALIAÇÃO - PARTE II
ANEXO V - INSTRUMENTO DE AVALIAÇÃO
Servidor: ______________________________________________ Masp: _________
Cargo/Disciplina: ________________________________________ Nº adm.: ________
Escola Estadual:________________________________________ Cód.: _________
Lotação _________________________Período/Etapa: ___/___/____ a ___/___/____
Cargo: Professor da Educação Básica – PEB
1 a 5 pts.
CRITÉRIO I - DESENVOLVIMENTO PROFISSIONAL
Participa de grupos de estudos, reuniões pedagógicas, cursos, eventos e palestras disponibilizados pelo sistema; estuda e se
1
orienta pelos materiais institucionais da SEE e outros.
2
Compartilha conhecimentos, informações, dificuldades, soluções e práticas exitosas que agregam valor ao trabalho.
Peso
Total
2
1
SUBTOTAL - 15 pontos
174
© 2011. Fundação Victor Civita. Todos os direitos reservados.
CRITÉRIO II - RELACIONAMENTO INTERPESSOAL
1 a 5 pts.
Peso
Total
Relaciona-se cordialmente com todos do seu ambiente de trabalho e com o público em geral, cumpre as normas legais e as
1
decisões pactuadas ou emanadas das instâncias hierárquicas, agindo segundo os princípios éticos que norteiam a administração
1
pública.
Respeita a diversidade, adotando práticas inclusivas e éticas no relacionamento com a comunidade e com os alunos em sala de
2
1
aula.
Participa do trabalho de equipe e das ações da escola que envolvem interação com as famílias e alunos, contribuindo para o
3
1
desenvolvimento das atividades de aprendizagem, recreação e convivência.
SUBTOTAL - 15 pontos
CRITÉRIO III - COMPROMISSOS PROFISSIONAL E INSTITUCIONAL
1 a 5 pts.
Peso
Total
Cumpre com responsabilidade suas atribuições e atende as normas da administração pública relativas à assiduidade e
1
2
pontualidade.
2
Participa de projetos e ações coletivas e da realização das avaliações internas e externas da aprendizagem dos alunos.
1
3
Zela pela conservação de todo o patrimônio público da instituição.
1
SUBTOTAL - 20 pontos
CRITÉRIO IV - HABILIDADES TÉCNICAS E PROFISSIONAIS
1 a 5 pts.
Peso
Total
Planeja seu trabalho, participa da construção do Projeto Pedagógico da escola, elabora e executa o planejamento didático anual e
1
1
planos de aulas observando as diretrizes curriculares estaduais.
Analisa e utiliza os resultados de avaliações internas e externas para diagnosticar os níveis de aprendizagem dos alunos, avaliar a
2
1
eficácia do ensino e implementar intervenções pedagógicas, quando necessário.
175
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Facilita a aprendizagem utilizando materiais didáticos e processos pedagógicos que estimulam e desafiam os alunos na superação
3
1
das dificuldades.
Apresenta aos pais ou responsáveis os resultados das avaliações de aprendizagem e os indicadores do desenvolvimento do aluno
4
1
e busca caminhos para superar dificuldades identificadas.
Desenvolve eficiente gestão de sala de aula, cria ambiente propício ao desenvolvimento da aprendizagem e de relações humanas
5
saudáveis, orienta os alunos quanto à necessidade de organização, limpeza e conservação dos equipamentos, mobiliário e do
1
prédio escolar.
Cria novas oportunidades de aprendizagens e avaliações para os alunos com desempenho insatisfatório, para que todos possam
6
1
aprender efetivamente o que foi ensinado.
Compromete-se com a aprendizagem de todos os seus alunos, esclarecendo dúvidas, orientando e corrigindo, individual e
7
1
coletivamente, os trabalhos escolares e deveres de casa e presta atendimento diferenciado aos alunos com mais dificuldades.
Apresenta atitude positiva em relação à capacidade de aprendizagem dos alunos e é capaz de reconhecer talentos e de promover
8
1
o desenvolvimento da autoconfiança e autoestima.
Obtém bons resultados de aprendizagem de seus alunos evidenciados pelas avaliações internas, realizadas pela escola, e por
9
2
avaliações externas.
SUBTOTAL - 50 pontos
PONTUAÇÃO TOTAL
176
© 2011. Fundação Victor Civita. Todos os direitos reservados.
6.7
Para a Certificação de Alunos e Escolas
Diferentemente de outros países, os responsáveis pela criação dos sistemas
estaduais de avaliação não cogitam usar os resultados como um critério para a
aprovação dos alunos. Mesmo na série final do Ensino Médio, quando os alunos
concluem o ensino básico e saem do âmbito do sistema estadual de ensino, a
aprovação dos alunos é determinada exclusivamente pela escola, com base em
avaliações realizadas pelos professores.
Em outros países, é comum o emprego de avaliações externas para decidir se o
aluno está apto para receber o diploma de Ensino Médio ou dar nota de acordo com o
nível de aprendizagem alcançado nas diferentes matérias que compõem o currículo
nesse nível de ensino. A vantagem sempre citada para a criação de parâmetros
externos para a avaliação dos alunos diz respeito ao estabelecimento de um padrão
único e a garantia de equivalência do significado do diploma em diferentes lugares e
tempos. Na ausência desse padrão, podem existir diferenças significativas entre os
critérios de diferentes escolas e entre os critérios da mesma escola em diferentes
anos. As autoridades ficam sem parâmetro para a comparação das escolas e as escolas
sem uma medida clara dos seus resultados. Os esforços recentes de promover
mudanças na qualidade da Educação tanto nos Estados Unidos como na Inglaterra têm
como critério-chave os resultados das escolas calculados baseados nas taxas de
diplomação dos alunos ou nas notas dos alunos nas matérias que compõem o
certificado de Ensino Médio. Nesses países, o aluno se submete as avaliações externas
por ser o único meio de garantir o diploma ou certificado de Ensino Médio e de se
habilitar para o processo de seleção ao Ensino Superior.
Há diversas razões históricas e estruturais para a não-utilização dos sistemas
estaduais de avaliação implantados a partir da década de 1990 para a certificação de
alunos ao final do Ensino Médio, incluindo a autonomia dos sistemas estaduais e
municipais e a autonomia das próprias escolas. Há também restrições de natureza
mais técnica devido à incapacidade dos instrumentos de avaliação externa usados
nesses sistemas de oferecer uma visão completa do rendimento de cada aluno. Sem
177
© 2011. Fundação Victor Civita. Todos os direitos reservados.
um instrumento de avaliação capaz de aferir o nível alcançado por cada aluno em cada
uma das competências e habilidades que compõem o currículo do Ensino Médio,
torna-se indispensável o processo avaliativo interno respaldado pelo conhecimento do
aluno pelos seus professores.
Nos primeiros anos de escolarização, a restrição ao uso da avaliação externa pode
ser superada pelo fato de o currículo para esse período ainda ser pouco extenso. Na
medida em que o aluno progride dentro do sistema, a aprendizagem se torna cada vez
mais abrangente, ficando cada vez mais difícil captá-la com um único instrumento de
avaliação. A matriz de referência para cada área curricular vai aumentando com o
acréscimo de novos elementos e o aprofundamento dos elementos já introduzidos.
Por esse motivo, a partir da 4ª série, os sistemas de avaliação do Saeb e dos estados
trabalham com diversas versões paralelas do mesmo teste, compostas por itens
diferentes, mas equivalentes. Com a aplicação dos diferentes testes a diferentes
subconjuntos de alunos da mesma série, consegue-se aplicar um número maior de
itens e abraçar uma parte maior do currículo. Quando somados os resultados dos
diferentes subconjuntos, obtém-se um panorama da situação de toda a população de
alunos sem ter exigido demais de cada aluno. Se fosse para aplicar ao mesmo aluno
todas as questões necessárias para cobrir o currículo, o teste se tornaria extenso
demais, inviabilizando sua aplicação em um único período escolar.
O único caso em que foram usados os resultados de uma avaliação externa para
determinar a progressão de alunos individuais foi em São Paulo no ano de 2001. Nesse
caso, porém, não foram os alunos do final do Ensino Médio, mas alunos de 4ª e 8ª
séries que foram promovidos ou retidos com base nos resultados do Saresp. A
experiência foi polêmica por diversas razões, incluindo o problema de usar um
instrumento não desenhado para a avaliação de indivíduos. Outro problema foi o fato
de os alunos não saberem de antemão que os resultados seriam usados com essa
finalidade. Pelo fato de o Saresp ser um instrumento de monitoramento, sem
consequências para os alunos, estes nem sempre levam os testes a sério e podem ter
sido prejudicados na ocasião por não responderem às questões com o devido cuidado.
178
© 2011. Fundação Victor Civita. Todos os direitos reservados.
A criação e a consolidação do Enem como um exame certificador para os alunos
que querem continuar seus estudos mostram que algumas das restrições históricas
sobre a avaliação externa ao final do Ensino Médio foram superadas. Ao mesmo
tempo, o Enem mostra que, quando a matriz de referência da prova é definida mais
com base em competências e menos em termos de conhecimentos curriculares, é
possível criar um instrumento capaz de medir o nível alcançado por cada aluno. O que
o Enem nunca fornecerá é uma medida da qualidade da escola onde os alunos
estudaram. Apesar de ser muito usada com essa finalidade, a média dos resultados dos
alunos de determinada escola não indica a qualidade da escola porque os alunos que
fazem a prova não representam nem a totalidade nem uma amostra representativa
dos egressos daquela instituição. A falta de correspondência exata entre a matriz de
referência e o currículo das escolas e o fato de estas atenderem a populações bastante
diferenciadas seriam outras razões para não confiarem nos resultados do Enem como
um indicador de qualidade da instituição.
A única avaliação externa em condições de fornecer essa indicação, após
modificações, seria a avaliação estadual. Por enquanto, porém, ainda não há sinal de
interesse nesse sentido por parte dos gestores estaduais. As mudanças necessárias
seriam bastante radicais, incluindo a reformulação da legislação sobre a organização
do ensino para permitir a exigência de nota mínima na avaliação estadual para a
finalização do Ensino Médio. Com os problemas atuais de fluxo nesse nível de ensino,
representados pelas altas taxas de abandono, dificilmente um gestor criaria mais
algum impedimento à finalização do curso e à diplomação do aluno. A necessidade de
reorganizar a matriz de referência do 3º ano e seu impacto sobre o currículo dos anos
anteriores também representariam um desafio difícil de superar, a não ser mediante a
utilização de provas anuais ao longo do Ensino Médio. Mas, dadas as grandes
disparidades de qualidade no interior dos sistemas e as diferenças entre as escolas
públicas e privadas, mesmo esta solução seria pouco atrativa por deixar em evidência a
grande desvantagem educacional de alunos mais desfavorecidos, do ponto de vista da
origem social e econômica. Até o sistema implantar uma qualidade de ensino mais
homogênea e oferecer oportunidades reais de avanço aos alunos mais pobres, uma
179
© 2011. Fundação Victor Civita. Todos os direitos reservados.
avaliação
estadual
seletiva,
com
funções
certificatórias,
seria
considerada
extremamente antidemocrática.
O único exemplo encontrado de uso dos resultados dos alunos para efeitos de
certificação não trata de decisões sobre alunos, mas sobre escolas, no caso as escolas
privadas do Distrito Federal. Essa situação se deriva do fato da Secretaria de Educação
do DF ser o órgão responsável pela autorização de funcionamento das escolas privadas
e pela sua recertificação como estando aptas para continuarem em funcionamento
depois de cinco a dez anos, dependendo do tipo de escola. No ano anterior ao
vencimento da sua autorização, as escolas privadas candidatas à recertificação são
automaticamente inscritas entre as escolas a serem avaliadas pelo Siade. Outras
escolas privadas podem se inscrever voluntariamente para essa mesma avaliação
mediante o pagamento dos custos. A ideia da Secretaria era comparar os resultados da
escola privada durante dois anos seguidos para determinar se ela mantinha o mesmo
nível de qualidade:
Quando ela for recredenciar, ela vai ser avaliada antes para [poder]
comparar se ela melhorou mesmo ou não, até para dizer se ela vai ser
recredenciada ou não, em cima de um resultado do Siade. (Técnico:
SEE/DF)
Não havia informações disponíveis para verificar o impacto dessa política em
termos do número de escolas privadas avaliadas nem se havia escolas impedidas de
funcionarem com base nos seus resultados. Suspeita-se que a política foi divulgada
mais para alertar as escolas privadas do interesse da Secretaria em promover a
melhoria dos resultados do que para fechar escolas com crescimento de desempenho
aparentemente insatisfatório. Essa conclusão deriva do fato de que tomar a decisão
sobre o funcionamento de uma escola com base no crescimento da média dos alunos
para um único ano escolar seria uma temeridade. Por não levar em consideração as
flutuações naturais nessa média, nem as taxas diferenciadas de crescimento de acordo
com o nível absoluto de desempenho da escola, a medida não oferece o rigor
necessário para uma decisão high stakes de tamanha importância.
180
© 2011. Fundação Victor Civita. Todos os direitos reservados.
181
© 2011. Fundação Victor Civita. Todos os direitos reservados.
7.
Considerações Finais
O estudo teve como propósito descrever e refletir sobre as diferentes políticas de
gestão empreendidas pelas Secretarias de Educação dos estados e dos municípios
maiores com base em seus sistemas próprios de avaliação educacional. Para essa
finalidade, foi elaborado um esquema classificatório e foram levantadas informações
primárias e secundárias sobre diversos exemplos para permitir uma discussão dos
prováveis impactos dessas políticas no novo cenário da gestão educacional.
A primeira constatação da pesquisa é da diversificação e progressiva sofisticação
nas metodologias empregadas pelas secretarias estaduais e municipais na utilização
dos resultados das avaliações para a tomada de decisões. O aumento no número e na
competência técnica dos métodos dos sistemas estaduais, concomitante com a
melhoria nos sistemas de informação, tem contribuído para essa disseminação. Outras
contribuições advêm da incorporação pelos governos estaduais de um novo modelo de
gestão pública, voltado para o controle dos resultados dos serviços oferecidos à
população, e da liderança do MEC e de organizações da sociedade civil na criação de
um consenso nacional sobre a importância dos resultados das avaliações externas
como uma medida da qualidade do ensino e como parâmetro para o progresso da
Educação brasileira em direção a uma equiparação com os países desenvolvidos. A
criação de um indicador próprio, tipo Ideb, por um número cada vez maior de estados,
é indicativo dessa nova abordagem para a política de monitoramento dos serviços
públicos e da disposição de empregar os resultados da avaliação na formulação de
novas políticas, como a da responsabilização. Nesse novo contexto, não surpreende
descobrir que em 2007 quase 60% de uma amostra da população da periferia de São
Paulo já tinha conhecimento da existência do Saresp (OLIVEIRA; GUEDES, 2010).
Confirmando a diversificação nos usos da avaliação, foram identificadas sete
categorias de políticas de gestão que se fundamentam nos resultados dos alunos e das
escolas. Na maioria dos casos, e em determinadas condições, essas políticas podem ser
entendidas como contribuições importantes para a melhoria da qualidade da
Educação. Em outros casos, porém, notadamente no uso dos resultados dos alunos
182
© 2011. Fundação Victor Civita. Todos os direitos reservados.
como um componente da política de avaliação docente e para a certificação de alunos
e escolas, observa-se o emprego desavisado das avaliações para a tomada de decisões
que precisam de informações bem mais confiáveis e de fontes diversas.
A discussão sobre o uso da avaliação para formular políticas de responsabilização
high stakes mostra a necessidade de fazer distinções entre o contexto educacional
brasileiro e o contexto dos países onde foi realizada a maior parte das pesquisas sobre
os efeitos dessas políticas. A primeira distinção a fazer é que nos outros países os
critérios usados para determinar a qualidade da escola e, com base nessa avaliação,
fixar consequências como o pagamento de bônus salarial, podem ser de vários tipos.
Nos Estados Unidos estes incluem o progresso da escola de acordo com as metas
estaduais e as ameaças de sanções estipuladas pela legislação NCLB, e também os
resultados dos alunos em termos de desempenho e taxa de diplomação ao final do
Ensino Médio. Essa diplomação representa uma conquista para os egressos do Ensino
Médio que vai determinar o curso de sua vida futura e não é difícil imaginar o
empenho dos professores em elevar as chances de seus alunos de passarem nos
Exames Obrigatórios de Saída de Ensino Médio (Mandatory High School Exit Exams). O
interesse dos pais e das autoridades educacionais também é intenso, sobretudo depois
do monitoramento público dos resultados das escolas. O professor pode enxergar na
taxa de sucesso dos seus alunos a medida de sua própria capacidade profissional, além
de se sentir pessoalmente responsável caso os resultados não forem os melhores.
No contexto norte-americano, as consequências caso a escola não alcance as
metas propostas também podem ser extremas. Com uma legislação federal que exige
que cada escola demonstre um progresso anual adequado em direção às metas
estipuladas para o ano 2014 para todos os grupos étnicos e uma legislação estadual
que pode determinar a remoção de alunos e até o fechamento de escolas caso o
progresso não se materializar, os professores têm motivos de sobra para se preocupar
com os resultados dos alunos.
Nesse contexto e sob essa pressão, é possível que aconteça tudo aquilo que os
críticos da accountability high stakes arrolam como os efeitos colaterais negativos. A
literatura fala do estreitamento do currículo, do ensino voltado para o ensaio de
183
© 2011. Fundação Victor Civita. Todos os direitos reservados.
conteúdos previstos para os testes, da perda da autonomia e do espírito de
colaboração entre docentes e de condutas, incluindo as tentativas de falsear os dados
das avaliações, que mostram uma deturpação do comportamento ético esperado dos
educadores. Mas, pelas pressões a que estão sujeitos e por agirem na condição de
pessoas que podem fazer a diferença para a vida dos alunos, é difícil culpar os
professores pelas atitudes tomadas.
No contexto brasileiro, as políticas de responsabilização que recaem nos ombros
dos professores não dizem respeito ao futuro de seus alunos e não envolvem os pais.
Também não há riscos para as escolas que envolvem o fechamento de
estabelecimentos e a perda de emprego dos membros da equipe. Nas palavras de
Afonso, são “formas parcelares de accountability” e, portanto, incompletas (AFONSO,
2009). Não deixa de ser verdade que, quanto melhores os resultados dos alunos,
melhores suas chances na vida, mas essa equação não tem a mesma urgência em um
sistema que diploma todos os alunos que sobrevivem até o final do ciclo e que jamais
discriminaria as escolas com os piores resultados. No caso brasileiro, as avaliações dos
alunos que são usadas para determinar se as escolas cumpriram suas metas ou
alcançaram um patamar de desempenho considerado satisfatório representam muito
pouco para os alunos. Pelo contrário, há evidências de que os alunos fazem tão pouco
caso dos testes que, quando se criam consequências, como os laptops e as bicicletas
para os alunos de Ensino Médio do Ceará e do Rio de Janeiro, respectivamente, a
mudança no empenho dos alunos é tão radical que altera por completo a base de
comparação. Nessa situação, o professor não assimila o drama dos alunos nem
consegue transferir para eles a sua preocupação em relação aos resultados dos testes.
O que está em jogo nesses casos não são as consequências para os sujeitos principais
da Educação, os alunos, mas o nível de recompensa dos professores. Em vez de ser a
própria definição do objeto de seu trabalho, pelas consequências para os alunos, a
motivação para a melhoria nos resultados se torna uma decorrência do nível de
preocupação do professor em melhorar seu salário.
Talvez por esse motivo, ainda não existam evidências claras para os efeitos
negativos das políticas de responsabilização no Brasil. Também não há evidências, a
184
© 2011. Fundação Victor Civita. Todos os direitos reservados.
não serem anedotas, que os incentivos efetivamente motivam os professores a
produzirem resultados melhores.
Com base em três argumentos, chega-se à conclusão de que no contexto brasileiro
as políticas de responsabilização formuladas em termos de incentivos salariais podem
ser inócuas no que se refere ao seu objetivo primordial de melhorar a qualidade do
ensino. O primeiro argumento deriva da pesquisa que mostra que os esquemas de
incentivos coletivos podem impactar a assiduidade dos professores, mas dificilmente
alteram sua forma de ensinar. Essa conclusão não é de difícil compreensão dado o fato
de que o pagamento coletivo sai ou para todos os membros da equipe ou para
ninguém da equipe. Isso dificulta o trabalho do professor que quer receber o bônus,
mas que não tem com quem aprender para mudar seu ensino. E, mesmo motivado, o
professor só receberá o bônus se a escola inteira se interessar pelo mesmo objetivo.
Pesquisa chilena tende a mostrar que as escolas que não recebem o bônus dificilmente
passam a receber em anos posteriores. Ou seja, o bônus só premia quem já tem
resultados melhores.
O segundo argumento é a falta de evidencia sobre a relação entre a assiduidade
do professor e o desempenho dos alunos. Se for verdade que os sistemas de incentivos
podem influenciar positivamente a assiduidade dos professores, no sentido de coibir
as faltas excessivas, que caracterizam os sistemas públicos, seria natural pressupor um
impacto positivo sobre a aprendizagem dos alunos. No entanto, essa relação é
relativizada por diversos elementos, incluindo o desempenho dos professores
substitutos, o desempenho do professor titular quando presente e a falta de critério
no controle das faltas. Ainda não sabemos se a melhoria na assiduidade conduz de fato
a uma melhoria nos resultados dos alunos.
O terceiro argumento tem relação com o currículo. Para o accountability
funcionar, precisa-se de quatro elementos, segundo Corvalán: informação (sobre o
desempenho dos alunos), autoridade (para definir os critérios), consequências (em
termos de prêmios e castigos) e padrões (em termos do significado pedagógico das
metas) (CORVALÁN; MCMEEKIN, 2006). No caso brasileiro, os padrões estão faltando.
O professor não saberia qual a diferença entre 220 e 240 na escala de proficiência
185
© 2011. Fundação Victor Civita. Todos os direitos reservados.
usada pelo Boletim Pedagógico em termos dos conteúdos que ele precisa ensinar para
chegar ao nível de proficiência requerido. Essa falta de correspondência entre os
critérios empregados pelos sistemas de incentivos e a compreensão do seu significado
em termos da aprendizagem dos alunos está na base da falta de progresso da maioria
dos estados no uso dos resultados das avaliações como material de apoio pedagógico.
Se os sistemas de incentivos tiverem algum impacto, ele será a consequência da
ênfase colocada nas metas e nos resultados do ensino. Essa contribuição, que diz
respeito a um novo ideário em relação aos objetivos finais do sistema educacional e do
trabalho do professor, é a expressão de um estilo de gestão que produz as políticas de
incentivo salarial, mas que não precisa delas para existir. Em outras palavras, a
importância atribuída aos resultados é uma mensagem implícita nas políticas de
responsabilização que pode ter sua própria influência na maneira de a escola enxergar
seu papel.
A outra contribuição diz respeito aos avanços na implantação dos novos currículos
básicos nos estados. Conforme discutido, as políticas de accountability têm sido usadas
em outros lugares como uma estratégia para a implementação de reformas. Existe até
a expressão evaluation-driven reforms para descrever o processo conhecido como
backwash, em que as questões abordadas pelas avaliações sinalizam não só os
conteúdos cobrados mas também o tipo de ensino que deveria ser privilegiado. No
caso dos estados que já optaram pela criação de currículos próprios e já estabeleceram
uma nova correspondência com as matrizes de referência dos sistemas de avaliação,
não há dúvida de que esses sistemas funcionarão como porta-vozes do currículo básico
e que acelerarão a sua adoção. Se acharmos que a iniciativa dos estados de criar seus
próprios currículos é um passo na direção certa, a consequência dos testes high-stakes
deve ser levada em consideração. As dúvidas ficam por conta dos possíveis impactos
colaterais negativos na autonomia e na criatividade dos professores de um currículo
oficial fincado em conteúdos básicos. Porém, no contexto brasileiro, a nossa aposta é
que os professores que se beneficiarão de um currículo estadual que não só estrutura
os conteúdos mas também fornece sugestões didáticas, representem a maioria.
186
© 2011. Fundação Victor Civita. Todos os direitos reservados.
Independentemente dos seus possíveis efeitos, a pesquisa demonstrou o avanço
técnico da segunda geração de políticas de responsabilização. Mesmo assim, pode-se
observar a continuidade de determinados problemas, incluindo o uso de médias de
desempenho de um único período escolar, a falta de medidas de equidade com base
na distribuição dos alunos por faixa de desempenho e a falta de informação sobre o
fator principal na explicação do desempenho dos alunos, ou seja, seus antecedentes
socioeconômicos. Ainda não foi criado um sistema de responsabilização que usa uma
média móvel com base nas várias medições anuais para diminuir as flutuações
inerentes às avaliações. Também não foi testado o uso de modelos longitudinais para
aferir o valor agregado das escolas por meio da montagem de bancos de dados e do
acompanhamento dos mesmos alunos ao longo dos anos. Na falta desses avanços,
observa-se que os estados estão tomando decisões que inevitavelmente incluem e
excluem escolas das diferentes categorias de premiação com base em erros de
medição.
A questão que a pesquisa não conseguiu resolver adequadamente diz respeito ao
significado do movimento em direção à formalização do currículo básico estadual.
Como a implantação de um currículo não representa uma política de gestão baseada
nos resultados da avaliação externa, a sua investigação escapou dos limites da
pesquisa. No entanto, a relação entre os sistemas de avaliação e os currículos básicos
em processo de implantação em diversos estados merece a atenção dos
pesquisadores. A reforma dos fundamentos das matrizes de referência representa uma
mudança importante na qualidade dos instrumentos da avaliação educacional e a
esperança de um círculo virtuoso em que a avaliação externa passe a cumprir uma
função diagnóstica de utilidade para o professor.
O movimento dos currículos básicos estaduais pode ser entendido como uma das
consequências da dificuldade em usar as informações tradicionais fornecidas pelos
Boletins e por outras estratégias de apoio pedagógico. Essa dificuldade é atribuída às
deficiências na formação dos professores, mas também à falta de compreensão do
significado pedagógico das proficiências e outras informações providas pelas
avaliações. Em um primeiro momento, essa dificuldade é encarada mediante um
187
© 2011. Fundação Victor Civita. Todos os direitos reservados.
esforço em explicar os resultados por meio de um detalhamento cada vez maior dos
componentes técnicos das avaliações. Nesse momento, são introduzidas as
explicações sobre a escala de proficiência, a matriz de referência e a relação entre
determinados itens das provas e as habilidades que pretendem avaliar.
Em um segundo momento, os responsáveis percebem que o que faz falta é uma
explicitação dos conteúdos curriculares que estão sendo cobrados, descritos nos
termos em que os professores estão acostumados a trabalhar. Com base nessa
construção, mais ou menos estruturada em termos de conteúdos específicos, torna-se
possível criar um alinhamento compreensível entre os objetivos do ensino, o currículo
da escola e as matrizes do sistema de avaliação. Mesmo não sendo uma solução
instantânea pelas dificuldades dos professores na assimilação dos novos currículos, há
certo consenso sobre as vantagens em criar uma sintonia nova entre os conteúdos, as
expectativas de aprendizagem e a avaliação. Essa vantagem passa pela capacidade de
dizer o que os itens das provas estão medindo e o que os alunos de determinada
proficiência sabem ou não sabem ainda. Com isso, explica-se, finalmente, o significado
da escala de proficiência e abre-se a possibilidade de padrões ou expectativas de
aprendizagem com base em referenciais curriculares, e não em faixas arbitrárias de
desempenho.
188
© 2011. Fundação Victor Civita. Todos os direitos reservados.
8.
Referencias Bibliográficas
ABRUCIO, F. L. Os avanços e os dilemas do modelo pós-burocrático: a reforma da
administração pública à luz da experiência internacional recente. In: BRESSER PEREIRA, L. C. e
SPINK, P., (ORGS.) (Ed.). Reforma do Estado e Administração Pública Gerencial. Rio de
Janeiro:: FGV, v.7ª ed., 2006.
ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizão. In: FUNDAP, C. E. (Ed.). Avanços e
perspectivas da gestão públicas nos Estados. Brasília: CONSAD, 2006.
ADRIÃO, T.; GARCIA, T. OFERTA EDUCATIVA E RESPONSABILIZAÇÃO NO PDE: O PLANO DE
AÇÕES ARTICULADAS. Cadernos de Pesquisa, v. v. 38, n. n. 135, p. p. 779-796, set./dez. 2008
2008. Disponível em: < http://www.scielo.br/pdf/cp/v38n135/v38n135a12.pdf >. Acesso em:
03/11/10.
AFONSO, A. J. Políticas avaliativas e accountability em Educação - subsídios para um debate
iberoamericano. Sísifo. Revista de Ciências da Educação, v. 09, p. pp 57-70, 2009. Disponível
em: < http://sisifo.fpce.ul.pt/?r=23&p=57 >. Acesso em: 08/10/10.
AHN, T.; VIGDOR, J. The Impact of Incentives on Effort: Teacher Bonuses in North Carolina.
Harvard2010. 2010. (PEPG 10-06)
ALVES, F. Qualidade da Educação fundamental: integrando desempenho e fluxo escolar.
Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro., v. vol.15, n. n.57, p. pp.
525-541,
2007.
Disponível
em:
<
http://www.scielo.br/scielo.php?script=sci_abstract&pid=S010440362007000400005&lng=en&nrm=iso&tlng=pt >.
AMAZONAS. RELATÓRIO DE AÇÃO GOVERNAMENTAL. SÍNTESE 2003-2009. SEPLAN, S. D. E. D.
P. E. D. E.-. Manaus: GOVERNO DO ESTADO DO AMAZONAS 2009.
AMREIN, A.; BERLINER, D. The impact of high-stakes tests on student academic performance:
An analysis of NAEP results in states with high-stakes tests and ACT, SAT, and AP test results
in states with high school graduation exams.
Education Policy Research Unit (EPRU),
Education Policy Studies Laboratory, College of Education, Division of Educational Leadership
and Policy Studies, Arizona State University, 2002.
Disponível em: <
http://epaa.asu.edu/ojs/article/viewFile/297/423 >.
ANDERSON, J. A. Accountability in education. Paris: IIEP/IAE, 2005.
http://www.iaoed.org/files/Edpol1.pdf >.
Disponível em: <
ANDRADE, E. D. C. “School Accountability” no Brasil: experiências e dificuldades. Revista de
Economia Política, v. 28, n. nº 3(111), p. pp. 443-453, julho-setembro 2008. Disponível em: <
http://www.scielo.br/pdf/rep/v28n3/a05v28n3.pdf >. Acesso em: 05/10/10.
APEOESP.
Fax
Urgente
2011.
Disponível
http://apeoespsub.org.br/teste/Fax/Fax_2911.pdf >. Acesso em: 06/06/2011.
em:
<
ATKINSON, A. B., SIMON; CROXSON, BRONWYN; GREGG, PAUL; PROPPER, CAROL; SLATER,
HELEN; WILSON,DEBORAH. Evaluating the impact of performance-related pay for teachers in
England Labour Economics Elsevier B.V. 16: 251-261 p. 2009.
189
© 2011. Fundação Victor Civita. Todos os direitos reservados.
AU, W. High-Stakes Testing and Curricular Control: A Qualitative Metasynthesis. Educational
Researcher, v. Vol. 36, n. No. 5, p. pp. 258-267,
2007.
Disponível em: <
http://edr.sagepub.com/content/36/5.toc >.
AYRES, S. Boletim da Escola: Diagnóstico Multidimensional das Escolas do Paraná. Ensaio, v.
11, n. 38 p. 33-44, 2003.
BAKER, E. L. et al. Problems with the Use of Student Test Scores to Evaluate Teachers. The
Economic Policy Institute Washington D.C. 2010. (Briefing Paper # 2 7 8)
BALL, S. J. The Legacy of ERA, Privatization and the Policy Ratchet. Educational Management
Administration and Leadership., v. Vol. 36 n. 2, p. 185-199, 2008.
BAUER, A. Usos dos resultados das avaliações de sistemas educacionais: iniciativas em curso
em alguns países da América. Revista Brasileira de Estudos Pedagógicos. , v. v. 91, n. n. 228, p.
p.
315-344,
maio/ago.
2010
2010.
Disponível
em:
<
http://www.rbep.inep.gov.br/index.php/RBEP/article/viewFile/1690/1341 >.
BAUER, A. Avaliação do impacto de formação docente em serviço: o programa Letra e Vida.
2011. 230 (Doutorado). Faculdade de Educação, USP, São Paulo.
BRAUN, H. Reconsidering the impact of high-stakes testing. Education Policy Analysis
Archives, v. 12, n. 1, p. 1-43, 2004.
BROOKE, N. As perspectivas para as políticas de responsabilização educacional no Brasil. .
Cadernos de Pesquisa, v. 36, n. 128, p. pp. 377-401, 2006. ISSN ISSN 0100-1574. Disponível
em:
<
http://www.scielo.br/scielo.php?script=sci_issuetoc&pid=0100157420060002&lng=en&nrm=iso >.
BROOKE,
N.
Responsabilização
Educacional
no
Brasil.
http://www.rinace.net/riee/numeros/vol1-num1/art7.pdf. Acesso em (Data). Revista
Iberoamericana de Evaluación Educativa. 1: pp. 93-109 p. 2008.
CAREY, K. The Pangloss Index: How States Game the No Child Left Behind Act. Washington,
D.C: Education Sector 2007.
CARNOY, M. et al. Las Limitaciones de Incentivos Salariales para Profesores Basados en
Comparaciones Inter-Cohortes: El Caso del Programa SNED. Expansiva. 2004
CARNOY, M.; LOEB, S. Does external accountability affect student outcomes? A cross-state
analysis. Educational Evaluation and Policy Analysis, v. 24, n. 4, p. 305, 2002. ISSN 0162-3737.
Disponível em: < http://epa.sagepub.com/content/24/4/305.full.pdf+html >. Acesso em:
07/01/2011.
CARVALHO, G. F. D. S.; MACEDO, M. D. S. A. N. Avaliação oficial: o que dizem os mediadores da
política pública sobre o impacto na prática docente. Estudos em Avaliação Educacional, v.
vol.21, n. número 46, p. 253-270, maio/agosto 2010. ISSN 1984-932x. Disponível em: <
http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1577/1577.pdf >.
CAVALIERE, A. M. Entre o Pioneirismo e o Impasse: A reforma paulista de 1920. São Paulo:
Educação e Pesquisa, v. Vol 29, n. No 1, p. p.27-44, 2003.
190
© 2011. Fundação Victor Civita. Todos os direitos reservados.
CDEP. Comitê em Defesa da Escola Pública. http://www.adusp.org.br/PEE/PEE.rtf São Paulo
2006.
CEARÁ. ANÁLISE DO USO DOS RESULTADOS DAS AVALIAÇÕES A PARTIR DOS PLANOS
ESCOLARES E DOS PROGRAMAS MUNICIPAIS E SUAS ESTRATÉGIAS DE EFETIVAÇÃO. s.d.
CLAD. La responsabilizacion en la nueva gestion publica latinoamericana. Buenos Aires:
Eudeba, 2000.
CONSED. Estudo sobre Avaliação da Educação e Valorização do Magistério. Consed. Brasilia.
2005
CORRÊA, D. Avaliação de políticas públicas para a redução da violência escolar em Minas
Gerais: o caso do Projeto Escola Viva, Comunidade Ativa. 2007. (Mestrado). Faculdade de
Educação, Universidade Federal de Minas Gerais, Belo Horizonte.
CORVALÁN, J.; MCMEEKIN, R. W. O. Accountability educacional: Rendición de cuentas más
responsabilización por los procesos y resultados de la educación. In: MCMEEKIN, J. C. R. W.
(Ed.). Accountability educacional: posibilidades y desafíos para América Latina a partir de la
experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006.
DANTAS, L. M. V. As Contribuições das Políticas de Avaliação Educacional em Larga Escala: o
caso da avaliação de aprendizagem na Bahia. 2009. (Doutorado). Faculdade de Educação,
Universidade Federal da Bahia, Salvador, Bahia.
DISSIDÊNCIA. Gilberto Dimenstein e a bonificação dos professores. Dissidência,
http://www.andrekenji.com.br/weblog/?p=264 10/11/2006. 2006.
Disponível em: <
http://www.andrekenji.com.br/weblog/?p=264 >. Acesso em: April 10th, 2006.
DOS SANTOS, G.; DE AVILA, S.; SILVA, W. A qualidade da Educação na América Latina. Revista
da FACED. ISSN, v. 1980, p. 6620,
2010.
Disponível em: <
http://74.125.155.132/scholar?q=cache:EvOWzXA6U4AJ:scholar.google.com/+PEC+Mexico&hl
=pt-BR&as_sdt=2000 >.
EBERTS, R.; HOLLENBECK, K.; STONE, J. TEACHER PERFORMANCE INCENTIVES AND STUDENT
OUTCOMES. W.E. Upjohn InstituteAugust, 2000 2000
ECOSTRAT, C. I.-. AVALIAÇÃO DE IMPACTO DO PROJETO ESCOLA DO NOVO MILÊNIO - PENM
2008
ESPIRITO SANTO. Plano Estratégico Nova Escola. Vitória, ES: Secretaria da Educação 2008.
FERRAZ, C. Sistemas Educacionais Baseados em Desempenho, Metas de Qualidade e a
Remuneração de Professores: os Casos de Pernambuco e São Paulo. In: VELOSO, F. P.,
SAMUEL; HENRIQUES, RICARDO; GIAMBIAGI, FÁBIO (Ed.). Educação Básica no Brasil:
Construindo o País do Futuro. Rio de Janeiro: Elsevier, 2009.
FERRER, G. Sistemas de Evaluación de Aprendizajes en América Latina: Balance y Desafíos.
Março 2006, p.174. 2006
FIGLIO, D. N.; KENNY, L. W. Individual teacher incentives and student performance. National
Bureau of Economic Research. Cambridge, Mass., p.26 p. 2006
191
© 2011. Fundação Victor Civita. Todos os direitos reservados.
FIGUEIREDO, J. PROJETO MINEIRO DE DESENVOLVIMENTO PROFISSIONAL DE EDUCADORES–
PDP: um estudo da formação continuada de professores. 2007. (Mestrado). Educação, PUCCampinas, Campinas.
FONTANIVE, N. S.; KLEIN, R. Uma visão sobre o Sistema de Avaliação da Educação Básica do
Brasil - SAEB. Ensaio, v. 29, n. Vol.8, p. pp.409-439, Outubro-Dezembro 2000.
FONTANIVE, N. S.; KLEIN, R. O EFEITO DA CAPACITAÇÃO DOCENTE NO DESEMPENHO DOS
ALUNOS: UMA CONTRIBUIÇÃO PARA A FORMULAÇÃO DE NOVAS POLÍTICAS PÚBLICAS DE
MELHORIA DA QUALIDADE DA EDUCAÇÃO BÁSICA. Revista Iberoamericana de Evaluación
Educativa, v. 3, n. 3, 2010. Disponível em: < http://www.rinace.net/riee/numeros/vol3num3/art4.pdf >.
FORMOSO JR, A. BUROCRATAS DE LINHA DE FRENTE E PRESSÃO POR RESULTADOS NA
EDUCAÇÃO: Experiências Brasileiras em Governos Estaduais. 2009. 118 Dissertação
(Mestrado) (Mestre em Administração Pública e Governo). ESCOLA DE ADMINISTRAÇÃO DE
EMPRESAS DE SÃO PAULO, FUNDAÇÃO GETÚLIO VARGAS, SÃO PAULO.
FRANCO, C. et al. Qualidade e eqüidade em Educação: reconsiderando o significado de
"fatores intra-escolares"*. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro,
v.
vol.15,
n.
no.55,
Apr./June
2007.
Disponível
em:
<
http://www.scielo.br/pdf/ensaio/v15n55/a07v1555.pdf >.
FRIEDMAN, M. O Papel do Governo na Educação. In: SOLO, R. A. (Ed.). Economics and the
Public Interest. New Jersey: Rutgers University Press, 1955. p.1- 144.
FUHRMAN, S. H. Redesigning Accountability Systems for Education. CPRE Policy Briefs.
Graduate School of Education, University of Pennsylvania: Consortium for Policy Research in
Education 2003.
GAJARDO, M. Reformas Educativas na América Latina. Balanço de Uma Década. Documentos
PREAL, v. No. 15,, 2000. Disponível em: < www.preal.cl >.
GARCIA-HUIDOBRO, J. E. Programa de las 900 Escuelas y Escuelas Críticas (Chile). Dos
experiencias de discriminación positiva. . Apresentação em Conferencia do Banco Mundial,
Cartagena, Colômbia, outubro 9-11, 2006. , 2006. Cartagena, Colômbia. p.30.
GATTI, B. A., , AÑO/, PP. 17-41 AVALIAÇÃO EDUCACIONAL NO BRASIL: PONTUANDO UMA
HISTÓRIA DE AÇÕES EccoS revista científica, UNINOVE, São Paulo, Brasil, v. vol. 4, n. número
001,
p.
pp.17-41,
junho
2002
Disponível
em:
<
http://www4.uninove.br/ojs/index.php/eccos/article/viewFile/291/280 >.
GLAZERMAN, S. et al. Evaluating Teachers: The Important Role of Value-Added Brown Center
on Education Policy. 2010
GOODMAN, S.; TURNER, L. Teacher Incentive Pay and Educational Outcomes: Evidence from
the NYC Bonus Program. HarvardJune, 2010. 2010. (PEPG 10-07)
GTEE/PREAL. LOS RANKINGS DE ESCUELAS COMO FORMA DE ENTREGAR INFORMACIÓN
SOBRE CALIDAD EDUCATIVA. Boletín Nº17: 1-11 p. 2010a.
______. ¿Qué está pasando en Chile con el SIMCE? Boletim Monografico No. 16 2010b.
192
© 2011. Fundação Victor Civita. Todos os direitos reservados.
HAERTEL, E.; HERMAN, J. L. A Historical Perspective on Validity Arguments for Accountability
Testing. In: HERMAN, E. H. J. L. (Ed.). Uses and Misuses of Data for Educational Accountability
and Improvement: 104th Yearbook of the National Society for the Study of Education.
Malden, MA: Blackwell Publishing, v.Part II, 2005. p.1-34.
HANEY, W. M. Evidence on Education under NCLB (and How Florida Boosted NAEP Scores and
Reduced the Race Gap). Broad Seminar for K-12 Reporters, 2006. Grace Dodge Hall, Teachers
College, Columbia University, New York City, Sept. 8-10, 2006. National Board on Educational
Testing and Public Policy.
HANUSHEK, E. A.; RAYMOND, M. E. Lessons about the Design of State Accountability Systems.
In: PETERSON, P. E. e WEST, M. R. (Ed.). No Child Left Behind? The Politics and Practice of
School Accountability. Washington, D.C.: The Brookings Institution, 2003.
HASTINGS, J. S. W., JEFFREY. No Child Left Behind : estimating the impact on choices and
student outcomes. NBER Working Paper No. 13009, Cambridge, Mass., p. 39 p., 2007.
Disponível em: < http://www.nber.org/papers/w13009 >. Acesso em: 06/09/2010.
HERMAN, J. L.; HAERTEL, E. Uses and misuses of data for educational accountability and
improvement. Malden, Mass., p. xvi, 383 p., 2005.
HOUT, M.; ELLIOTT, S. W., Eds. Incentives and Test-Based Accountability in Education.
National Research Council. Committee on Incentives and Test-Based Accountability in Public
Education. Washington, D.C.: The National Academies Press, National Research Council.
Committee on Incentives and Test-Based Accountability in Public Educationed. 2011.
JACOB, B. A. ACCOUNTABILITY, INCENTIVES AND BEHAVIOR: THE IMPACT OF HIGH-STAKES
TESTING IN THE CHICAGO PUBLIC SCHOOLS. NATIONAL BUREAU OF ECONOMIC RESEARCH.
Cambridge, MA: June 2002. 2002
JOHNSON, D. D.; JOHNSON, B. High stakes : children, testing, and failure in American schools.
Lanham, Md.: Rowman & Littlefield Publishers, 2002. xxi, 223 p. ISBN 0742517888 (cloth alk.
paper) 0742517896 (pbk. alk. paper).
KIRKPATRICK, D. L. Evaluating training programs: the four levels. São Francisco (EUA): BarrettKoehler, 1994.
KLEIN, R. Como está a Educação no Brasil? O que fazer? Ensaio: aval.pol.públ.Educ. Rio de
Janeiro., v. vol.14, n. n.51, p. pp. 139-171,
2006.
Disponível em: <
http://www.scielo.br/pdf/ensaio/v14n51/a02v1451.pdf >.
KLINGER, D. A., DELUCA, CHRISTOPHER & MILLER, TESS. THE EVOLVING CULTURE OF LARGESCALE ASSESSMENTS IN CANADIAN EDUCATION Canadian Journal of Educational
Administration and Policy, n. Issue #76, July 3 2008.
Disponível em: <
http://www.umanitoba.ca/publications/cjeap/articles/klinger.html >.
KOEDEL, C.; BETTS, J. R. Re-Examining the Role of Teacher Quality in the Educational
Production Function. National Center on Performance Initiatives Nashville, TN. 2007
KRAWCZYK, N. A Construção Social das Políticas Educacionais no Brasil e na América Latina. In:
(Ed.). O cenário educacional latino americano no limiar do século XXI. Campinas: Editora
Autores Associados, 2000.
193
© 2011. Fundação Victor Civita. Todos os direitos reservados.
LAVY, V. Performance Pay and Teachers’ Effort, Productivity, and Grading Ethics. American
Economic Review v. 99, n. 5, p. 1979-2011,
2009.
Disponível em: <
http://www.economics.harvard.edu/faculty/staiger/files/Lavy%2Baer%2Bdec%2B2009.pdf >.
Acesso em: 15/11/10.
LIMA, L. C.; AFONSO, A. J. Reformas da Educação Pública: Democratização, Modernização,
Neoliberalismo. . Porto: Afrontamento, 2002.
LINN, R. L.; BAKER, E. L.; BETEBENNER, D. W. Accountability Systems: Implications of
Requirements of the No Child Left Behind Act of 2001. Educational Researcher 31: pp. 3-16 p.
2002.
LOPES, V. V. Cartografia da avaliação educacional no brasil. 2007. 396 Doutorado
(Doutorado). Educação, Universidade de São Paulo, São Paulo.
MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School Effectiveness: A Reassessment of the
Evidence. New York: McGraw-Hill Book Company, 1980.
MADAUS, G. F.; STUFFLEBEAM, D.; SCRIVEN, M. S. Evaluation Models: Viewpoints on
educational and human services evaluation. In: MADAUS, G. F.;STUFFLEBEAM, D., et al (Ed.).
Program Evaluation: An historical overview. Norwell, MA: Kluwer Academic Publishers, 1983.
MALEN, B.; RICE, J. K. A Framework for Assessing the Impact of Education Reforms on School
Capacity: Insights From Studies of High-Stakes Accountability Initiatives. EDUCATIONAL
POLICY, v. 18, n. 5, p. 631-660, November 2004 2004.
Disponível em: <
http://epx.sagepub.com/content/18/5/631.abstract >. Acesso em: 06/10/10.
MANNA, P. The No Child Left Behind Act and educational accountability in the United States.
Prepared for the conference on Understanding and Evaluating New Accountability Regimes:
Canada in Comparative Perspective, University of Toronto, Canada, February 5-6, 2010. 2010.
MCMEEKIN, R. W. Hacia una comprensión de la accountability educativa y cómo puede
aplicarse en los países de América Latina. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability
educacional: posibilidades y desafíos para América Latina a partir de la experiencia
internacional. Santiago, Chile: PREAL - CIDE, 2006.
MEC/INEP. Vencendo o Desafio da Aprendizagem nas Séries Iniciais: A Experiência de
Sobral/Ce.
Brasilia:
MEC/INEP,
2005.
Disponível
em:
<
www.sic.inep.gov.br/index.php?option=com_docman&task... >.
MIZALA, A.; ROMAGUERA, P. RENDIMIENTO ESCOLAR Y PREMIOS POR DESEMPEÑO. LA
EXPERIENCIA LATINOAMERICANA. Centro de Economía Aplicada, Universidad de ChileAbril,
2003. 2003
MIZALA, A.; ROMAGUERA, P. Teachers’ Salary Structure and Incentives in Chile. In: VEGAS, E. E.
(Ed.). Incentives to Improve Teaching: Lessons from Latin America. Washington, D.C: The
World Bank, 2005.
MORTIMORE, P. et al. School Matters. Berkeley, CA: : University of California Press, 1988.
MOVIMENTO. Movimento contra Testes de Alto Impacto em Educação. 2010. Disponível em:
< http://sites.google.com/site/movimentocontratestes/home >. Acesso em: 04/06/2011.
194
© 2011. Fundação Victor Civita. Todos os direitos reservados.
MUNIZ, R. M.; SILVEIRA, M. C. D.; BECHELAINE, C. O Caminho em Direção à Gestao por
Resultados em Minas Gerais: uma análise do Plaos Mineiros de Desenvolvimento Integrado. In:
GUIMARÃES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora
UFMG, 2010.
MURALIDHARAN, K.; SUNDARARAMAN, V. Teacher performance pay : experimental evidence
from India. National Bureau of Economic Research. Cambridge, Mass., p.37, [11] p. 2009
NICHOLS, S. L.; GLASS, G. V.; BERLINER, D. C. High-Stakes Testing and Student Achievement:
Problems for the No Child Left Behind Act. Education Policy Research Unit (EPRU)/ Education
Policy Studies Laboratory/ Arizona State University06/09/2010. 2005. (EPSL-0509-105-EPRU)
NYSED, N. Y. S. E. D. The Impact of High-Stakes Exams on Students and Teachers. Albany, NY.
2004
OLIVEIRA, L. K. M. D. ANÁLISE DA IMPLEMENTAÇÃO DE PROGRAMAS ESTADUAIS: avaliação
em larga escala e o efeito na Proficiência em Matemática dos alunos da 4ª série do Ensino
Fundamental 2007.
OLIVEIRA, N. V.; GUEDES, P. M. A aspiração das famílias por melhores escolas públicas. In:
FUNDAÇÃO VICTOR CIVITA (Ed.). Estudos & Pesquisas Educacionais Nº 1. SP: Fundação Victor
Civita, 2010.
OLIVEIRA, R. P. D.; GADELHA, C. G. Evolução da Educação e da Saúde. In: ESTRATÉGICOS, C. D.
G. E. E. (Ed.). Projeto Brasil 2003-2010: Trajetórias e desafios. Brasília: Centro de Gestão e
Estudos Estratégicos, 2010.
PEREIRA, M. C. AS AVALIAÇÕES EXTERNAS MINEIRAS: CONTEXTO DE POLÍTICAS DE
RESPONSABILIZAÇÃO. XXIV Simpósio Brasileiro de Política e Administração da Educação
Universidade Federal do Espírito Santo (UFES), Vitória, Espirito Santo.: Associação Nacional de
Política e Administração da Educação (ANPAE) 2009.
PETERS, G. B. Os dois futuros do ato de governar: processos de descentralização e
recentralização no ato de governar. Revista do Serviço Público, v. vol. 59, n. nº 3, p. p. 298307, jul./ set. 2008.
PORTO, C. A.; SILVEIRA, J. P. O Planejamento e a Gestão Estratégica e sua Funçao em Minas
Gerais. In: GUIMARÃES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo
Horizonte: Editora UFMG, 2010.
PRINCE, C. D. K., JULIA; AZAR, TAMARA MORSE; BHATT, MONICA; WITHAM, PETER J. Building
Teacher and Community Support for New Compensation Systems. Center for Educator
Compensation Reform. Washington, D.C. 2008
RAND. Designing Effective Pay-for-Performance in K–12 Education. Policy Brief. Santa Monica,
CA: Rand education 2009.
RANSON, S. The Changing Governance of Education. Educational Management Administration
& Leadership, v. 36, n. 2, p. 201-219, 2008.
RAPPLE, B. Payment by results: An example of assessment in elementary education from
nineteenth century Britain. Education Policy Analysis Archives, v. 2, n. 1, p. 1-23, 1994.
195
© 2011. Fundação Victor Civita. Todos os direitos reservados.
RAVELA, P. A., PATRICIA; VALVERDE, GILBERT; WOLFE, RICHARD; FERRER GUILLERMO;
MARTÍNEZ RIZO, FELIPE; AYLWIN, MARIANA; WOLFF, LAURENCE,. Las evaluaciones educativas
que América Latina necesita. Preal. Santiago: 2008. 2008
REZENDE, V. O PAPEL DO GESTOR ESCOLAR NA IMPLANTAÇÃO DO PROGRAMA DE
QUALIDADE NA ESCOLA DE ENSINO MÉDIO. I Congresso Ibero-Brasileiro e VI Congresso LusoBrasileiro na Espanha e em Portugal. Cáceres e Mérida na Espanha 2010.
RODRIGUES, J. R. S. Responsabilização e Resultados Escolares no Rio de Janeiro. 2007.
(Mestrado). Departamento de Educação, PUC-Rio, PUC-Rio, Rio de Janeiro.
RUTTER, M. et al. Fifteen Thousand Hours: Secondary Schools and their Effects on Children.
London: Open Books, 1979.
SANTIAGO CONSULTORES Y ASESORÍAS PARA EL DESARROLLO. Evaluación del Programa de las
900 Escuelas. MINISTERIO DE EDUCACIÓN. Santiago, Chile 2000.
SÃO PAULO (ESTADO) SECRETARIA DA EDUCAÇÃO. Currículo do Estado de São Paulo:
Matemática e suas tecnologias. São Paulo,
2010.
Disponível em: <
http://www.rededosaber.sp.gov.br/portais/Portals/43/Files/MEST.pdf >.
SASS, T. R. The Stability of Value Added Measures of Teacher Quality and Implications for
Teacher Compensation Policy. National Center for Analysis of Longitudinal Data in Education
Research,
Washington,
D.C.,
2008.
Disponível
em:
<
http://www.urban.org/uploadedpdf/1001266_stabilityofvalue.pdf >. Acesso em: 09/06/2011.
SEDU/ES. Relatório Técnico Modelo da Bonificação: Secretaria de Estado da Educação do
Estado de Espirito Santo -: 66 p. 2010.
SEE/DF. SIADE 2009: Sumário Executivo Avaliação de Rendimento. Brasilia: Governo do
Distrito Federal 2010.
SEGATTO, C. I. COMO IDEIAS SE TRANSFORMAM EM REFORMAS: Um estudo comparativo
das mudanças educacionais orientadas pelo desempenho nos estados brasileiros. 2011.
Mestrado (Mestre em Administração Pública e Governo). Escola de Administração de
Empresas de São Paulo Fundação Getúlio Vargas
SHEPARD, L. A Checklist for Evaluating Large-Scale Assessment Programs. The Evaluation
Center, Western Michigan University. Kalamazoo. 1977
SHULHA, L. M.; COUSIN, J. B. Evaluation use: theory, research and practice since 1986.
American journal of Evaluation., v. vol 18, p. p.195-208, 1997.
SOARES, J. F. Índice de desenvolvimento da Educação de São Paulo (IDESP): bases
metodológicas. . Revista São Paulo em Perspectiva, São Paulo, Fundação SEADE, v. V.23, n.
n.1, p. 29-41, Janeiro-Junho 2009 2009.
SOARES, S. AVALIAÇÃO EDUCACIONAL COMO INSTRUMENTO PEDAGÓGICO. TRABALHO E
SOCIEDADE, IETS, Rio de janeiro, v. Ano 2, n. Nº 4, p. p.23-25, Agosto 2002 2002.
SOARES, T. Influência do professor e do ambiente em sala de aula sobre a proficiência
alcançada pelos alunos avaliados no SIMAVE-2002. Estudos em Avaliação Educacional, v. 28,
p. 103-123, 2003.
196
© 2011. Fundação Victor Civita. Todos os direitos reservados.
______. Modelo de três níveis hierárquicos para a proficiência dos alunos de 4ª série avaliados
no teste de Língua Portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educação, v.
no.29 n. May/Aug. , p. 73-87, 2005 2005.
SOARES, T.; TEIXEIRA, L. Efeito do perfil do diretor na gestão escolar sobre a proficiência do
aluno. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, v. 17, p. 34,
2006.
SOUSA, S. M. Z. L. POSSÍVEIS IMPACTOS DAS POLÍTICAS DE AVALIAÇÃO NO CURRÍCULO
ESCOLAR. Cadernos de Pesquisa, v. 119, p. p.175-190, 2003. Disponível em: <
http://www.scielo.br/pdf/cp/n119/n119a09.pdf >. Acesso em: 05/12/10.
SOUSA, S. M. Z. L.; OLIVEIRA, R. P. D. Sistemas de Avaliação Educacional no Brasil:
características, tendências e uso dos resultados. Universidade de São Paulo, Faculdade de
Educação, Centro de Estudos e Pesquisas em Políticas Públicas de Educação - CEPPPE2007.
2007
SPRINGER, M. O., Ed. Performance Incentives: Their Growing Impact on American K-12
Education. Wadhington, D.C.: Brooking Institution Press, p.336ed. 2009.
SUNDERMAN, G. L. Holding NCLB accountable : achieving accountability, equity, & school
reform. Thousand Oaks, CA: Corwin Press, 2008. xvi, 262 p. ISBN 9781412957878 (cloth)
Disponível em: < http://www.loc.gov/catdir/enhancements/fy0828/2007040309-b.html
SUPOVITZ, J. Can high stakes testing leverage educational improvement? Prospects from the
last decade of testing and accountability reform. Journal of Educational Change Published
online: 28 March 2009: 211-227 p. 2009.
TAYLOR, J.; NGUYEN, A. N. An Analysis of the Value Added by Secondary Schools in England: Is
the Value Added Indicator of Any Value?*. Oxford Bulletin of Economics and Statistics, v. 68,
n. 2, p. 203-224, 2006. ISSN 1468-0084.
THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION. A Nation at Risk.The
Imperative for Educational Reform. Washington, D.C.: U.S. Government Printing Office 1983.
VALENZUELA, A. Leaving children behind : how "Texas-style" accountability fails Latino
youth. Albany: State University of New York Press, 2005. viii, 313 p. ISBN 0791462390
(hardcover alk. paper) 0791462404 (pbk. alk. paper). Disponível em: <
http://www.loc.gov/catdir/toc/ecip0418/2004012237.html >.
VEGAS, E.; UMANSKY, I. Improving Teaching and Learning through Effective Incentives: What
Can We Learn from Education Reforms in Latin America? The World Bank. Washington, DC:
2005.
VIDAL, E. M.; VIEIRA, S. L. GESTÃO EDUCACIONAL E RESULTADOS NO IDEB: UM ESTUDO DE
CASO EM 10 MUNICÍPIOS CEARENSES. VI REUNIÃO DA ABAVE Fortaleza, Ceará, 31 de agosto a
02 de setembro, 2011 2011.
VOLANTE, L. Teaching to the test: What every educator and policy-maker should know.
Canadian Journal of Educational Administration and Policy, v. 35, p. 1-19, 2004.
197
© 2011. Fundação Victor Civita. Todos os direitos reservados.
WINTERS, M. A. R., GARY W.; MARSH, RYAN H.; GREENE, JAY P.; HOLLEY, MARC J. . The
Impact of Performance Pay for Public School Teachers: Theory and Evidence. Harvard
University. 2008. (PEPG 08-15)
198
© 2011. Fundação Victor Civita. Todos os direitos reservados.
ANEXO 1
Organização dos arquivos da pesquisa em Google Docs
Exemplos: a) Nível 2; b) Nível 5; c) Nível 2.
a) Nível 2
b) Nível 5
c) Nível 2
199
© 2011. Fundação Victor Civita. Todos os direitos reservados.
ANEXO 2
Entrevistados
ENTREVISTADO
DATA
FILIAÇÃO INSTITUCIONAL
Adriana Bauer
28/02/11
Fundação Carlos Chagas
Aléssio Costa Lima
23/02/11
SEE CE
Aline Elisa Cotta D' Ávila
16/02/11
SEE ES
Andressa Rocha
17/02/11
SEE ES
Fernanda Scaciota Simões da Silva
31/03/11
SEE PR
Francisco Soares
21/03/11
GAME/UFMG
Iaci Cavalcanti Pequeno
23/02/11
SEE CE
Ilda Hochman
08/02/11
SEE MG
Janine Mattar Pereira de Castro
16/02/11
SEE ES
João Filocre
08/02/11
EX-SEE MG
Leonara Margotto Tartaglia
16/02/11
SEE ES
Lina Kátia Mesquita de Oliveira
31/01/11
CAEd
Lúcia Matos
04/05/11
SEE MG
Margareth Zaponi
21/02/11
SEE PE
Maria Conceição Conholato
28/02/11
FDE SP
Maria Inêz Barroso Simões
09/05/11
SEE MG
Maurício Holanda Maia
23/02/11
SEE CE
Nilma Fontanive
05/04/11
Fundação Cesgranrio
Olivier Bezerra
22/03/11
SEE DF
Patrícia Dantas
22/02/11
SEE PE
Rafael Morais
08/02/11
SEE MG
Ruben Klein
05/04/11
Fundação Cesgranrio
Valdelina Solomão Lima
16/02/11
SEE ES
William Massei
28/02/11
SEE SP
200
© 2011. Fundação Victor Civita. Todos os direitos reservados.
ANEXO 3 Ambiente NVIVO. Queries/Políticas de Incentivos por Estado
201
© 2011. Fundação Victor Civita. Todos os direitos reservados.