As Perspectivas para os Sistemas de Responsabilização Educacional no Brasil Nigel Brooke GAME/FAE/UFMG Fevereiro, 2006. Versão Preliminar: não citar Nota: A divulgação deste documento por Cd-Rom e no Web site do programa Educação do Instituto do Banco Mundial e feita com a autorização do autor. Introdução O cabo-de-guerra entre as nações ricas para um lugar competitivo no mercado global tem levado os governos a se preocuparem cada vez mais pelos resultados dos seus sistemas de educação. Ao mesmo tempo, o volume grande de recursos dedicados à educação tem propiciado questões relativas à eficácia dos investimentos neste setor e a demandas por um escrutínio cada vez maior com relação à qualidade da educação oferecida (Anderson, 2005). Essa exigência por maiores informações sobre os resultados dos sistemas escolares tem sido respondida pela implementação de politicas de “accountability”, ou seja, de responsabilização, nas quais informações sobre o trabalho das escolas são tornadas públicas e os gestores e outros membros da equipe escolar são colocados como co-responsáveis pelo nível de desempenho alcançado pela instituição. Os dois exemplos mais citados desta nova política, implementada para induzir melhorias nos resultados escolares a partir dos anos 80, são a Inglaterra e os Estados Unidos. Com a reforma da educação inglesa empreendida pelo partido conservador da Margaret Thatcher, envolvendo a criação de um currículo comum nacional e um sistema de avaliação de desempenho dos alunos ao final de cada etapa curricular, tornou-se factível pela primeira vez fazer comparações entre as escolas em termos da aprendizagem demonstrada por todos seus alunos. Porém, os exageros das primeiras listas comparativas apelidadas de “league tables” 1 , que não levaram em consideração as diferenças socioeconômicas e de aprendizagem prévia entre os alunos, provocaram reações negativas e a perda de entusiasmo pela política de responsabilização por parte da comunidade acadêmica e as autoridades educacionais locais. Nos Estados Unidos, por outro lado, o entusiasmo por medidas de responsabilização só tem aumentado ao longo das ultimas décadas. O estimulo inicial foi a publicação em 1983 do relatório “Uma Nação em Risco” 2 que desenhou um quadro alarmante de perda de competitividade provocada por um declínio nos padrões educacionais. Os esforços dos estados pioneiros em estabelecer políticas de responsabilização ao longo da década seguinte foram reconhecidos pelo governo federal que as tornaram obrigatórias a partir da promulgação pelo Governo Bush da lei “Nenhuma Criança Deixada para Trás” em 2001. Hoje, todos os estados dos Estados Unidos têm leis que estipulam novos padrões curriculares, estabelecem novos testes alinhados com esses padrões, novas regras para a promoção e graduação de estudantes e novas metodologias para a publicação dos resultados dos testes e a comparação de escolas. Em numerosos estados também existem sistemas de incentivos e sanções que regem a oferta de recompensas e prevêem o fechamento de escolas que seguidamente não alcançam o desempenho 1 Como se fossem os resultados das ligas de futebol. “A Nation at Risk”. A Report to the Nation and the Secretary of Education by The National Commission on Excellence in Education, April 1983 2 1 considerado mínimo. Apesar de grandes diferenças nos padrões dos estados e entre estes e o padrão nacional estabelecido pela Avaliação Nacional de Progresso Educacional (National Assessment of Educational Progress) do Departamento de Educação (Ravitch, 2005), é inegável a convicção e a velocidade com a qual a responsabilização tem sido adotada como eixo central da política de gestão dos sistemas públicos de ensino. Indo além das promessas dos políticos, alguns estudos indicam que os sistemas de responsabilização podem trazer benefícios para a aprendizagem e progressão educacional dos alunos naquele pais. Avaliando todas as informações disponíveis, Carnoy, Loeb e Smith (2001) mostram que o sistema de responsabilização do estado de Texas melhorou o desempenho dos alunos nos exames locais e nacionais ao longo da década de 90, sobretudo em matemática, e que a redução nas taxas de evasão associada ao aumento nos resultados dos testes foi maior em escolas com clientelas de baixa renda. Este resultado, de grande relevância para o contexto brasileiro, foi confirmado em estudo mais recente dos mesmos autores que classifica os sistemas de responsabilização de todos os estados de acordo com o seu grau de ênfase nos resultados das escolas e analisa os impactos na aprendizagem dos alunos. Foi confirmado que quanto mais explicita a conexão entre resultados e conseqüências, maior o aumento no rendimento de matemática da 8ª série em todos os grupos raciais/étnicos e maior o rendimento de alunos negros e hispânicos na avaliação de 4ª série (Carnoy e Loeb, 2004). Os ingredientes básicos dos sistemas de responsabilização implantados durante os últimos décadas, tanto nos Estados Unidos quanto em outros paises, são quatro: 1) a decisão por parte das autoridades de tornar públicas as diferenças no nível de desempenho das escolas (ingrediente autoridade); 2) o uso de testes ou procedimentos padronizados para fornecer este tipo de informação (ingrediente informação); 3) os critérios para analisar esta informação e para determinar quais escolas tem desempenho melhor (ingrediente padrões) e, finalmente; 4) os critérios para a aplicação de incentivos ou sanções conforme os padrões estabelecidos (ingrediente conseqüências). Isto não significa, no entanto, que esta modalidade mais recente de responsabilização pelos resultados da escola seja a única. Historicamente é possível distinguir três formas ou modalidades de responsabilização onde há diferenças no que se refere às instituições que exigem a responsabilização e também no que se refere ao comportamento exigido. A primeira seria a responsabilização ‘burocrática’, onde se procura a conformidade com as normas legais ditadas pela rede de ensino na qual o professor trabalha. Neste caso, o professor é responsabilizado pelo cumprimento das leis perante a burocracia que o contratou. A segunda modalidade seria a exigência de um comportamento profissional em conformidade com as normas formais e informais estabelecidas pelos colegas de profissão. Neste cenário, a responsabilização do professor é pela manutenção dos padrões da profissão perante os seus pares. Somente no terceiro caso é que a responsabilização fica calcada nos resultados da escola. Neste caso, o educador é responsabilizado perante as autoridades e o público em geral pela aprendizagem dos alunos e as conseqüências, reais ou simbólicas, são associadas às medidas usadas para aferir o desempenho dos alunos (Anderson, 2005). Para os objetivos desta discussão, proponho a me concentrar na terceira e mais recente modalidade de responsabilização, com o objetivo de responder à questão de se no Brasil haveriam as mesmas condições e necessidade para a implantação de sistemas de responsabilização como em outros paises. Sem subestimar a diversidade nem a dinâmica própria de evolução da política educacional de cada país, há evidencia de uma disseminação da responsabilização como opção de política educacional entre diferentes paises da Europa e também da América Latina. Apresenta-se como hipótese, portanto, a idéia da migração de políticas educacionais de um país para outro--pela atuação disseminadora das agências internacionais e a circulação cada vez mais livre de informação--e a adoção da política da responsabilização pelas autoridades educacionais brasileiras. Porém, deve-se prever que esta 2 adoção dependa de semelhanças nas condições educacionais e políticas entre os paises de origem e o Brasil e que as premissas que sustentavam a formulação original da política de responsabilização encontrem eco em solo brasileiro. Em se tratando de paises de níveis de desenvolvimento dissimilares, deve-se esperar diferenças grandes no que se refere ao contexto e as condições de implantação de políticas de responsabilização que possam até inviabilizar a sua transferência para o Brasil. Por esta razão, propõe-se primeiro comparar estas condições para só depois fazer uma análise do uso que alguns estados brasileiros vêm dando aos seus sistemas de avaliação educacional para estabelecer conseqüências com base nos resultados das escolas. A partir desta análise, e a avaliação preliminar dos métodos usados, espera-se chegar a conclusões sobre a probabilidade futura de políticas de responsabilização neste país e os tipos de adaptação previsíveis levando em consideração as especificidades do sistema educacional brasileiro. As condições Apesar das múltiplas diferenças no contexto político e econômico entre a Inglaterra e os Estados Unidos na década de noventa, observam-se algumas semelhanças na motivação por trás da adoção de políticas de responsabilização nos dois paises. Ambos os governos expressaram a sua crença na relação entre a competitividade econômica internacional e a eficiência e qualidade dos seus sistemas educacionais. Aliás, a noção de que existe uma relação entre produtividade econômica e educação é de longa data nestes paises, com raízes na teoria de capital humano, e era de se esperar que, com a progressiva globalização da economia, o argumento que relaciona a qualidade da educação à produção de inovação e à conquista de mercados se tornaria uma discussão sobre a capacidade dos paises de formarem as competências necessárias para a competição global. O que mais serviu de estimulo para estas discussões foram os resultados dos programas internacionais de avaliação educacional, começando com o primeiro estudo do IEA (Associação Internacional para a Avaliação do Progresso Educacional) em 13 paises no princípio da década de 60. Ao longo das décadas seguintes o IEA organizou o Six Subject Survey em 19 paises (197374), o Second International Mathematics Survey (SIMS) em 20 paises (1981-2), a Written Composition Study em 13 paises (1984), o Second International Science Study em 24 paises (1984) e o Reading Literacy Study em 31 paises em 1992. A estes projetos, na maioria dos quais o Reino Unido e os Estados Unidos participaram, foram agregados os estudos organizados baixo a rubrica da International Assessment of Educational Progress (IAEP), incluindo o primeiro estudo de desempenho em matemática e ciência em 1988 em 6 paises e o segundo estudo, em 1991, do qual o Brasil também participou. No relatório “A Nation at Risk”, que conclamou o país para reformas educacionais profundas, a primeira evidencia citada da mediocridade do sistema educacional americano foi a performance inferior a outras nações em 19 dessas comparações internacionais e o fato de ter ficado em último lugar em 7 ocasiões. Nesse país, a performance apenas medíocre evidenciada pelos dados comparativos não só provocou a vontade de se superar, mas também deslanchou um processo amplo de debate sobre as deficiências do sistema educacional. Outra motivação, mais nítida na Inglaterra onde o governo é unitário e tem responsabilidade constitucional pela educação em todos os níveis, se relacionava com a ausência de um currículo nacional. Com a implantação do novo currículo nacional e a criação, pela primeira vez, de um sistema nacional para a avaliação da aprendizagem após cada fase do currículo, tornou-se factível comparar os resultados das escolas e das autoridades educacionais locais. Por trás desta medida também pesou a vontade do governo conservador de reduzir o poder das autoridades locais, que a essa altura estavam quase todos nas mãos da oposição trabalhista, e de estipular os parâmetros legais para o trabalho dos professores. Responsáveis pelo dia-a-dia da administração educacional com base em poderes delegados e recursos descentralizados, as 3 autoridades locais resistiam às investidas conservadoras mais acabaram vencidas. Significativamente, as reformas instituídas em favor de um currículo nacional com padrões de desempenho para cada etapa curricular não foram abandonados quando o partido trabalhista voltou ao poder. Também presente nas criticas aos sistemas de educação era a impressão generalizada, entre o público e os políticos, de uma “queda” nos padrões de qualidade e nos resultados das escolas. Na Inglaterra a crítica se direcionava de modo genérico aos métodos de ensino mais progressistas e à falta de atenção para os padrões básicos. Nos Estados Unidos a crítica foi mais específica e foram apresentadas evidências do declínio. O relatório “A Nation at Risk” já citado, falava dos 23 milhões de adultos analfabetos funcionais (incluindo 13% dos jovens de 17 anos); da queda no nível de desempenho em testes padronizados dos alunos de ensino médio; do declínio quase constante entre 1963 e 1980 dos resultados do Teste de Aptidão Escolar (SAT) usado no processo de seleção para o ensino superior; do declínio uniforme nos resultados em ciências entre alunos de 17 anos nos testes nacionais dos anos 1969, 1973 e 1977; e do aumento de 72% entre os anos 75 e 80 no número de cursos universitários para remediar o domínio insuficiente da matemática entre os recém matriculados. No seu conjunto, estes dados pareciam indicar falhas graves que eram difíceis de compreender dados o aumento no mesmo período nos recursos materiais e financeiros a disposição das escolas. Tanto na Inglaterra quanto nos Estados Unidos pesou também a própria natureza dos governos centrais e o grau de poder e autoridade que exerciam frente aos setores organizados do magistério e outros grupos profissionais da área de educação. A primeira vitória eleitoral da Margaret Thatcher foi atribuída à insatisfação generalizada com os movimentos grevistas dos sindicatos e ninguém duvidava do seu gosto para o exercício pleno dos seus poderes como primeiro mandatário. Nos Estados Unidos também é evidente que enquanto a comunidade possa influenciar nos rumos da política educacional local, o governo republicano central não pensou duas vezes em contrariar os interesses da classe de professores em nome de uma opção doutrinária a favor do controle dos sistemas estaduais de educação. Também precisa dizer que o magistério americano não parece ter a mesma unidade nem combatividade do magistério brasileiro e que para legislar a favor de uma política que prevê maiores controles sobre as atividades dos professores não precisou de negociações demoradas. No caso do Brasil, há preocupação clara com relação aos resultados do sistema de avaliação da educação básica. Mesmo não havendo uma discussão ampla destes resultados na imprensa, ou sequer nas faculdades de educação, a publicação de dois em dois anos dos resultados do SAEB sobre o nível de desempenho dos alunos brasileiros em Matemática e Língua Portuguesa tem gerado dúvidas sobre a capacidade da escola publica em garantir padrões mínimos de aprendizagem. A evidência vem do próprio MEC que em determinado momento interpretou os resultados do SAEB 2003 como prova que 59% dos alunos da 4ª série ou eram incapazes de qualquer leitura ou só conseguiam ler as frases mais simples, e que só 4,8% de crianças nessa série estaria com um nível de leitura considerado adequado para sua idade (MEC, 2003). Outros dados, incluindo o número de adolescentes com oito anos e mais de estudo com dificuldades de leitura parecem justificar a preocupação com os resultados, sobretudo do sistema público. Se não faltam no Brasil as críticas generalizadas com relação à qualidade da educação pública não há a mesma evidência, pelo menos explicita, do mesmo tipo de preocupação com a posição desfavorável do Brasil na comparação educacional com outros paises. O país vem participando de projetos internacionais de avaliação educacional desde a segunda International Assessment of Educational Progress de matemática e ciência para alunos de 9 e 13 anos em 199091. Participou posteriormente da avaliação do laboratório de avaliação do OREALC que comparou 14 paises da América Latina e, mais recentemente, do Programa Internacional de 4 Avaliação de Alunos – PISA em 2000 e 2003 onde, em companhia de todos os paises da OECD, tirou a 37ª posição entre os 41 países participantes na prova de leitura e o 40º nas provas de ciências e matemática. Mesmo havendo certa inconformidade quando da publicação dos resultados destas avaliações por conta da posição desfavorável do Brasil, não se constata a mesma polêmica aqui como aquela desencadeada, por exemplo, na Alemanha ou nos Estados Unidos quando da publicação dos resultados insatisfatórios desses paises no PISA. Os meios de comunicação não têm dado destaque a estes resultados por achar que a comparação internacional ou não é relevante ou por não acreditar que a metodologia adotada reflita o nível real de desempenho do aluno brasileiro. Neste aspecto, muito se tem criticado a comparação de resultados de alunos de 15 anos pelo fato do aluno brasileiro sofrer as conseqüências do atraso escolar e, na média, não dominar o mesmo currículo que alunos da mesma idade de outros paises. Este argumento, no entanto, é inteiramente espúrio na medida em que a comparação existe justamente para identificar as defasagens na aprendizagem em função das diferenças entre os paises. Outro resultado do PISA, que também mereceria destaque maior, mostra que os alunos das escolas privadas brasileiras não tem desempenho suficiente para alcançar o desempenho dos alunos pior colocados dos paises com desempenho melhor. Com relação a possíveis preocupações com a eficácia dos investimentos na educação, ou de uma critica a respeito dos níveis absolutos de recursos alocados ao setor, pode-se dizer que o movimento no Brasil tem sido o inverso daquilo observado nos paises ricos. Além da crítica histórica aos investimentos do governo federal na educação superior, pelos prejuízos no nível de financiamento da educação básica, não se percebe nenhum movimento que possa ser caracterizado como questionador dos níveis e modalidades dos gastos em educação. Pelo contrario, o que se observa é um consenso que o Brasil ainda está longe de alcançar o nível de investimento necessário à criação de uma educação de qualidade e, portanto, precisa encontrar métodos e fontes de financiamento novos para aumentar os recursos disponíveis. Neste debate, pouco se discute a eficiência dos investimentos atuais, ou a possibilidade de existirem métodos alternativos para o uso de recursos públicos, no suposto de que na situação atual de recursos insuficientes, todo que se gasta em educação é bem gasto. Também falta a este debate o tipo de mobilização do contribuinte que faz da política educacional nos Estados Unidos uma arena de discussão pública com participação garantida da comunidade. No Brasil, a conexão entre os impostos e o funcionamento da escola pública é indireta e opaca e a classe média, que teria condições de exercer alguma pressão a favor da melhoria dos resultados, é a que menos se interessa em função da sua opção a favor da escola particular. Neste cenário, a criação da FUNDEB e a pressão a favor de gastos maiores na educação parecem contrárias à preocupação com a eficácia dos investimentos e à demanda por uma responsabilização pelos gastos na educação pública. Ao mesmo tempo, é razoável interpretar a criação dos parâmetros curriculares nacionais e de mecanismos homogeneízadores da educação nacional como a FUNDEF, SAEB e ANRESC como tentativas de atenuar a grande diversidade de padrões e de instituir os níveis mínimos de qualidade previstas na Constituição e na LDB. Estes esforços, tanto os que eliminam as grandes disparidades de financiamento como os que propõem conteúdos básicos para todas as matérias e séries, parecem indicar a mesma tendência a favor de padrões de qualidade que acompanhou a criação dos projetos de responsabilização nos Estados Unidos e na Inglaterra. Lá, o raciocínio foi que as instâncias governamentais locais e as escolas precisavam garantir que a autonomia dos professores estivesse a serviço da aprendizagem dos alunos mediante a aferição e cobrança de resultados. Mesmo não existindo a mesma autonomia escolar e mesmo não sendo tão explicita a pressão do Governo, a política do MEC a favor de um currículo comum e a utilização de um sistema nacional de avaliação extensiva a todas as escolas parece indicar uma vontade de exercer maior controle sobre as autoridades educacionais, a escola e o ensino. Resta saber se esta vontade venha se converter em pressão a favor de sistemas de responsabilização. 5 As Experiências Brasileiras A pesar das grandes diferenças no nível de mobilização social e de preocupação com os efeitos da baixa qualidade da escola no futuro do país, encontram-se exemplos em solo brasileiro de políticas de responsabilização que se conformam, em termos gerais, à definição oferecida em parágrafo anterior. Isto significa que há sistemas oficiais que fazem uso de testes ou procedimentos padronizados para avaliar a aprendizagem, empregam critérios para determinar quais escolas tem desempenho melhor e têm conseqüências para os membros da equipe escolar mesmo quando estas são simbólicas e até imprevisíveis. Há também sistemas oficiais de avaliação de desempenho, como no estado de Minas Gerais e São Paulo, que não se configuram como sistemas de responsabilização e que não fazem parte desta análise. No caso de Minas Gerais, por exemplo, o sistema de avaliação não foi desenhado para fazer comparações entre as escolas e na sua versão atual, o SIMAVE, a legislação veda especificamente o uso dos resultados com o objeto de “classificar as escolas ou outros componentes do Sistema de Educação de Minas Gerais com vistas a modificar o proceso educativo” (art. 216). A sua finalidade sempre foi diagnóstica (Souza, 1999) e quando se menciona a responsabilidade pelo melhoramento dos resultados da educação, esta responsabilidade recai sobre a Secretaria da Educação que, de posse de informações mais precisas sobre o desempenho dos alunos estaria em condições de escolher políticas mais eficazes para a melhoria da qualidade. Os três exemplos de responsabilização que pretendo analisar são: O Prêmio Educacional “Escola do Novo Milênio – Educação Básica de Qualidade no Ceará”, em conjunto com o Sistema Permanente da Avaliação da Educação Básica em Ceará (SPAECE) O Programa “Nova Escola” da Secretaria de Educação do Estado de Rio de Janeiro. O Boletim da Escola da Secretaria de Educação do Estado de Paraná Ceará De 1992 até 1996 a avaliação anual do desempenho dos alunos de 4ª e 8ª séries em Português e Matemática foi executada de maneira tradicional sob a égide do Sistema Permanente da Avaliação da Educação Básica em Ceará (SPAECE). Em 1996 o espaçamento das aplicações foi aumentado para uma vez a cada dois anos para não mais coincidir com as aplicações de SAEB. Em 2001, a metodologia da prova foi radicalmente alterada para se tornar um CAT (Computer Assisted Testing) e o programa renomeado SPAECE-REDE. Usando o novo sistema, três aplicações foram empreendidas (2001, 2002 e 2003). Outras das modificações em 2001 foi a criação de uma conexão entre SPAECE e o Projeto de Melhoria da Escola através do Prêmio Educacional “Escola do Novo Milênio-Educação Básica de Qualidade no Ceará”. Com esta conexão foi possível estabelecer a média do desempenho das 4a e 8a series como o indicador da qualidade de escola. Conforme a lei que criou o prêmio, os membros das 100 melhores escolas recebem um prêmio financeiro se as suas médias alcancem a nota cinco ou mais (de 10). Para as cinqüenta melhores escolas, o prêmio é 100 % do valor especificado enquanto para os cinqüenta seguintes o prêmio vale 50 % deste valor. O prêmio vai para cada membro da equipe da escola e em março 2002 valia R$ 800 para todos os docentes temporários e permanentes em tempo integral e R$ 300 para o pessoal administrativo. Para os melhores alunos também há prêmios. O pressuposto do programa é que os profissionais da educação possam cooperar a favor dos resultados coletivos quando um incentivo financeiro baseado nesses resultados estiver em jogo. O programa terá que ser submetido a uma avaliação externa para determinar se este 6 pressuposto está correto, mas algumas perguntas já se saltam aos olhos. A primeira diz respeito à comparabilidade de escolas de regiões e populações estudantis bastante diferentes. Pelo uso da média de desempenho como critério único, e o não uso de grupos de referência conforme as características socioeconômicas dos alunos, pode-se prever que as escolas vitoriosas sempre serão as da capital, independentemente da contribuição de cada escola ao progresso dos alunos, com base num cálculo do valor agregado. A rotatividade de pessoal, a ausência de decisões a nível da escola sobre a contratação e dispensa de professores e a dificuldade mais geral de criar um incentivo para o grupo e não para o individuo também provocam duvidas a respeito do impacto do prêmio no fomento de um clima colaborativo a favor da qualidade. Rio de Janeiro Criada com o nome Programa Nova Escola pelo decreto 25.959 de 12 de janeiro de 2000, este programa é uma tentativa estruturada de melhorar a gestão das escolas estaduais e de enquadrar os resultados dos alunos como responsabilidade de quem administra e trabalha na escola. A Nova Escola também foi visto como maneira de estabelecer métodos mais democráticos na gestão da escola, integrar as ações governamentais, melhorar as condições de trabalho dos professores e racionalizar o uso de recursos. O mecanismo principal da operacionalização foi o Sistema de Avaliação Permanente das Escolas Públicas projetada para avaliar tanto a gestão quanto os processos educativos de cada escola. No entanto, as inúmeras transformações neste sistema e no próprio programa Nova Escola desde sua criação dão uma medida das dificuldades em estabelecer consenso em torno dos objetivos e métodos da avaliação de escolas. Em 2000, a informação de desempenho foi dos alunos da 3a e 6a series e da 1a serie do ensino médio. Na época, a esperança era que esta avaliação de desempenho marcaria o inicio de um estudo longitudinal, que permitiria separar os efeitos do nível socioeconômico e da aprendizagem anterior dos alunos dos efeitos da escola para poder determinar o “valor agregado” de cada escola. Em decorrência desta proposta, as séries testadas em 2001 foram as 4a e 7a séries e a 2a série do ensino médio. Em 2002 porém, não houve coleta de dados e em 2003 a instituição responsável pela gestão técnica do programa, a Fundação Cesgranrio, propus novos instrumentos, usando itens e a escala do SAEB para poder comparar o desempenho das escolas do Rio com as médias nacionais. O estudo longitudinal foi abandonado e os novos testes foram aplicados em 180,000 alunos da 4a e 8a séries e 3a série do ensino médio por aplicadores externos em novembro 2003. No mesmo ano foram desenvolvidos também os índices de Gestão Escolar, de Eficiência Escolar e de Aprendizagem. Criou-se grupos de referência pela média dos escores estandardizados de cada índice para impedir as comparações entre escolas com alunos de níveis socioeconômicos muito diferentes. Cinco grupos de referencia foram criados de acordo com uma medida de renda familiar. Diferentemente do caso de Ceará, isto significava que a escola só podia ser comparada com escolas parecidas em termos socioeconômicos. A pesar destes avanços, em 2004 o contrato de gestão foi transferido para o CAEd e o programa reformulado para se concentrar na avaliação das escolas por Desempenho, Fluxo escolar e Gestão. Os grupos de referência foram abandonados. Foram avaliadas 1.830 escolas, que pelas notas atribuídas pelas três áreas de atuação se distribuíram em 5 níveis de qualidade, conforme tabela 1. Tabela 1. Distribuição das escolas estaduais por nível de desempenho, pelos critérios da Nova Escola. 2004. Nivel No. Escolas 7 5 4 3 2 1 Total 15 176 667 717 255 1.830 Pela lei da Nova Escola cada nível representa uma gratificação de valor diferente, com o nível 5, o melhor, representando R$500 para professores de tempo integral e R$250 para pessoal de apoio. Em 2004 foram pagos R$16 milhões em gratificações, sendo R$8 milhões pela classificação geral das escolas e R$8 milhões pelo progresso alcançado entre 2003-2004. As gratificações do Nova Escola foram pagas a 58.008 professores, 19.843 funcionários de apoio e 9.425 concursados que começaram a atuar em 2004. Pela sua importância como modelo pioneiro de responsabilização, vale a pena olhar mais de perto o sistema de classificações do Nova Escola. A vertente principal deste sistema é a avaliação da aprendizagem e o número máximo de pontos é atribuído àquela escola que apresenta uma proporção de alunos superior a 80% com desempenho considerado satisfatório de acordo com a escala empregada pelo SAEB 3 , conforme mostrado na tabela 2. Tabela 2. A avaliação da aprendizagem. Nova Escola 2004. 5 4 3 2 1 Avaliação do aprendizado. Pontos 10 8 6 4 2 Percentual de alunos com desempenho satisfatório 80% ou mais 70 a 79% 60 a 69% 50 a 59% 49% ou menos A segunda dimensão da avaliação é a avaliação do fluxo escolar, medido pela percentual de alunos que permanecem matriculados ao longo do ano letivo. Implícito nesta avaliação é a valorização da escola que se esforça a evitar a infrequência e a evasão de seus alunos. Tabela 3. Avaliação do Fluxo Escolar. Nova Escola 2004. Avaliação do Fluxo Escolar Pontos 3 Percentual de alunos com continuidade dos estudos Os intervalos para o desempenho satisfatório de acordo com o SAEB são mostrados a seguir: Desempenho satisfatório = “mínimo esperado” (Escala SAEB) Língua Portuguesa Acima de: Matemática Acima de: 4ª serie ensino fundamental 175 175 8ª serie ensino fundamental 225 225 3ª serie ensino médio 250 250 8 5 4 3 2 1 10 8 6 4 2 90% ou mais 85 a 89% 80 a 84% 75 a 79% 74% ou menos A avaliação da gestão, por outro lado, envolve a combinação de vários critérios que somente no seu conjunto medem a qualidade da gestão e o desempenho da escola como instituição. Os critérios se intitulam: Transparência, medindo a capacidade da escola de prestar contas sem erro e nos prazos previstas; Integração com a Comunidade, medindo a participação da comunidade; Assiduidade, medindo a freqüência dos professores e outros servidores e; Gestão da Matricula, medindo o esforço da escola no combate a evasão. Em 2004, o critério de Gestão da Matricula não foi utilizado por depender da atuação de grupos de visitadores que ainda não foram instituídos. A Tabela 4 resume os critérios empregados e a pontuação oferecida para as três dimensões da avaliação da gestão escolar efetivamente empregados. Tabela 4. Avaliação da Gestão Escolar. Aspectos considerados e pontos atribuidos. Nova Escola, 2004. Transparência (Prestação de contas) Não entregue no 0 prazo Aprovado pelo órgão de fiscalização da 10 escola Parcialmente 5 aprovado pela SEE Aprovado sem 15 exigência pela SEE Assiduidade (Frequencia) Integração com a Comunidade Utilização dos equipamentos da escola pela comunidade nos períodos disponíveis Participação dos pais na vida cotidiana da escola por meio de reuniões com professores e diretores Participação dos estudantes na vida cotidiana da escola por meio de grêmios estudantis Organização e funcionamento da Associação de Amigos da Escola Realização de atividades extra-curriculares que propiciem uma integração maior entre escola e comunidade 5 98% ou mais 25 5 De 96 a 97% 20 5 De 94 a 95% 15 5 De 92 a 93% 10 5 De 90 a 91% 5 89% ou menos 0 Alem das complexidades do sistema de avaliação, que tem de ser negociado a cada ano e precisa de uma legião de avaliadores treinados, o Nova Escola enfrenta críticas pesadas. As mais estridentes vem do magistério: em agosto 2005, o Sindicato Estadual dos Profissionais da Educação – SEPE, movia 5 ações contra a governadora, três dos quais referentes ao Nova Escola: 1) Mandado de Segurança Coletivo contra o Secretário de Educação do Estado e a Governadora, requerendo a abstenção (e restituição) dos descontos nos contracheques dos servidores da diferença da gratificação Nova Escola, 2) Ação Civil Pública requerendo a extensão aos inativos da gratificação Nova Escola, 3) Mandado de Segurança Coletivo contra o Decreto 37.706 de 30/05/2005, que exige freqüência de 335 dias/ano para o servidor fazer jus ao recebimento da gratificação “Nova Escola” em 2006. O primeiro das críticas técnicas é que a classificação de escolas é principalmente normativa dada a ausência de referências ou padrões que poderiam indicar se as escolas melhor colocadas tenham de fato alcançado algum nível de qualidade. Porém, o procedimento usado pela 9 Nova Escola tem lógica na medida em que o programa é entendido mais como um plano de incentivos, onde a motivação advém da competição e da melhoria, e não somente como programa de responsabilização onde a motivação seria fornecida pela demanda para alcançar determinados padrões. Outra crítica relaciona-se com o uso de dados de desempenho do ano anterior ao da gratificação. Considerando a alta rotatividade de professores e a conseqüente volatilidade no desempenho da escola, o ideal seria avaliar e gratificar no mesmo período escolar. Porém, a aplicação de testes mais perto do começo do ano escolar mediria os resultados do ano anterior e conservaria, portanto, a mesma injustiça de gratificar professores que não foram necessariamente os responsáveis pela classificação da escola. Outras perguntas dizem respeito à dificuldade de explicar o significado dos testes mesmo com as publicações recentes que tentam explicar as escalas SAEB e as características dos itens empregados. A crítica mais política se expressa da seguinte maneira: “O estado não está dando as condições objetivas para que o trabalho seja equiparado ao que ele espera. Então, ao chegar ao final de um ano, ao se fazer esta avaliação, o que vai se ter é um descompasso muito grande entre o que é pedido na prova e que os professores não trabalham, ou às vezes trabalham na semana na prova, à luz de exames já realizados em anos anteriores. É óbvio que os meninos não estão treinados para aquilo, nem têm a concentração adequada. Isso favorece para não se tenha um resultado diferente do que está aí.” (Gama, 2004). Refletindo uma opinião dos professores, esta fala pressupõe a existência de um padrão ao criticar o descompasso entre as condições reais da escola e desempenho exigido. Há também as críticas doutrinárias, que rejeitam a programa por querer instituir a competição entre as escolas e por refletir valores neo-liberais voltados para o mercado: “O Nova Escola é um grande empobrecimento da educação. E mais do que isto, ele é uma atenção imediata às demandas do mercado produtivo. Na década de 60 já se tentou trabalhar com isso. Na época falava-se em objetivos, a partir da taxonomia de Bloom. Isso agora vem com novo significado nos anos 90, no bojo de todas as reformas educacionais feitas na Europa, na América e até mesmo no Oriente, portanto, numa ligação direta com as políticas neoliberais de reforma dos estados. Isto tem uma intenção clara de atender às demandas de mão-de-obra, o que representa empobrecimento intelectual. A formação é muito voltada para o ter, muito para o mercado, muito para as questões imediatas, enquanto estamos abrindo mão de determinados elementos mais importantes, ou mais consistentes para o ser.” (Gama, 2004) Sem dúvida, o Nova Escola tem suas dificuldades. As conseqüências da avaliação das escolas em termos das gratificações oferecidas são bastante significativas sejam em termos absolutos sejam em termos das diferenças que introduzem num ambiente até agora dominado pela idéia da isonomia salarial. Por gerar tanta animosidade, estas mudanças acabam por ofuscar o propósito da avaliação que é de oferecer informação aos membros da equipe escolar e de permitir um diagnóstico do funcionamento da escola. Também limita a participação da comunidade na medida em que a avaliação não procura a opinião dos pais nem requer a sua presença para a discussão dos resultados. O fato que a metade das gratificações não leve em consideração as características especificas da escola e da sua clientela também provoca preocupação. A eliminação dos grupos de comparação não foi compensada por cálculos alternativos do valor agregado da escola de modo que a metodologia atual permite comparações entre escolas que estão em situações distintas. Somente a gratificação com base na progressão da escola de um ano para o outro fica livre de contaminação pelo nível socioeconômico dos alunos e permite algum otimismo enquanto a assimilação dos resultados pela escola. Paraná Uma sistema de responsabilização alternativa foi oferecida pela Secretaria de Educação de Paraná na forma do Boletim da Escola. Criado em 2001, o Boletim representou mais um 10 componente numa estratégia maior de apoiar e fortalecer as associações de pais de todo o estado de Paraná. Foi projetado para ser uma influência positiva na qualidade da educação bem como uma forma de contrabalançar o poder, considerado excessivo, do sindicato de professores de Paraná. Os seus idealizadores imaginavam que a disseminação de informações quantitativos e qualitativos para avaliar diferentes dimensões da atuação da escola poderia contribuir para um processo de melhoria sem a necessidade de explicitar uma política de conseqüências na forma de gratificações ou outras vantagens para as escolas melhor colocadas. Pressupunha-se que a pressão dos pais e a vontade de aceder às demandas da comunidade agiriam como mecanismos de responsabilização leves ou “low-stakes”. O BE era compreendido de três blocos de informação. O primeiro bloco continha os resultados do programa de avaliação em Matemática e Português para as 4ª e 8ª séries das escolas estaduais. Ao lado das médias da escola para cada matéria e série, o BE também mostrava as médias das escolas do mesmo município e para o estado de Paraná. Para tornar essas médias mais prontamente inteligíveis, os escores foram localizados numa escala que tinha 250 para a média do estado e classificados conforme quatro níveis de desempenho, do nível I para nível IV. Em um anexo ao BE esses quatro níveis eram interpretados em termos das competências em Matemática e Português associadas a cada um. Na segunda versão do Boletim, distribuído em 2002, a Secretaria incorporou uma inovação importante, calculando o nível de desempenho esperado de cada escola com base no nível socioeconômico dos alunos. Uma vez determinado para todo o estado a relação entre a educação dos pais, a renda familiar e o desempenho de aluno, foi possível calcular o nível de desempenho que podia ser esperada de cada escola, considerando as características socioeconômicas dos estudantes, e mostrar se a escola estava acima ou abaixo deste nível de expectativa. Esta medida de “valor agregado” permitia comparações anteriormente impossíveis devido às grandes diferenças entre as escolas quanto ao perfil do seu corpo discente. O nível de desempenho esperado da escola foi mostrado aos pais pelo uso das abreviações AC, AB e AP (medias acima, abaixo e igual ao esperado) como demonstrado no exemplo na Figura 1. O que o BE 2002 não incorporou foram novos dados de desempenho. As médias foram baseadas na mesma avaliação executada em 2000 (AVA 2000). Figura 1. Exemplo de tabela incluída no Boletim de Escola 2002 contendo desempenho médio por escola, município e estado, por matéria e série. Avaliação do Rendimento Escolar 2000 Outras escolas no município Esta Escola Média Alunos Avaliados Alunos Alunos Alunos Alunos Nível Nível Nível Nível I II III IV Média Alunos Avaliados 242 AB 64 39% 16% 19% 27% 258 7.168 4ª 244 AB 42 29% 21% 26% 24% 263 4.871 8ª 244 AP 61 34% 21% 18% 26% 255 7.040 4ª Matemática 275 AC 35 17% 26% 17% 40% 260 4.733 8ª 240 AB 64 31% 17% 27% 25% 254 6.991 4ª Ciências 261 AP 37 19% 19% 30% 32% 260 4.769 8ª Fonte: SEED/NIE - AVA 2000 Efeito Escola: AC média acima do esperado em função do perfil dos alunos avaliados. AB média abaixo do esperado em função do perfil dos alunos avaliados. AP média aproximadamente igual ao esperado em função do perfil dos alunos avaliados. Língua Portuguesa Paraná Média Alunos Avaliados 250 250 250 250 250 250 39.239 31.125 38.441 31.007 38.033 31.125 O segundo bloco de informações foi baseado no censo escolar e mostrava dados de aprovação, reprovação e abandono, também em comparação com o município e o estado: 11 Figura 2. Exemplo de tabela incluída no Boletim de Escola 2002 contendo informações do censo escolar sobre alunos e professores. Aprovação, Reprovação e Abandono Ensino 1ª a 4ª Esta escola Ensino 5ª a 8ª Ensino Médio Ensino 1ª a 4ª Município Ensino 5ª a 8ª Ensino Médio Ensino 1ª a 4ª Paraná Ensino 5ª a 8ª Aprovação 88% 75% 78% 95% 79% 71% 89% 81% 75% Reprovação 8% 18% 6% 4% 16% 13% 9% 13% 10% Abandono 5% 7% 16% 2% 5% 15% 2% 6% 15% Ensino Médio Professores e Alunos Esta escola Ensino Ensino 5ª a 8ª Médio 1,841 655 828 358 113.573 100.754 65.965 825.850 737.602 408.02 0 Tamanho médio de turma 33 36 40 30 35 38 27 34 37 Professores 28 28 32 6.048 4.193 2.765 39.255 37.464 22.938 79% 100% 100% 67% 98% 98% 46% 97% 97% Professores com nível superior Ensino 1ª a 4ª Paraná Ensino 5ª a 8ª Total Alunos Ensino 1ª a 4ª Município Ensino Ensino 5ª a 8ª Médio Ensino 1ª a 4ª Ensino Médio Fonte: MEC/INEP/SEEC - Censo Escolar 2002 (Resultados Preliminares) O terceiro bloco de informações, colhidas de questionários diferentes, tratava da avaliação subjetiva de facetas diferentes da escola e das famílias que poderiam ser vistas como relevantes para uma avaliação global da escola. A escolha de quais opiniões dos alunos, diretor e pais para incluir nesta parte do BE obedeceu o critério que a informação deveria servir na interpretação dos resultados de desempenho da escola (Ayres, 2003). As opiniões de alunos quanto ao ensino do Português e Matemática, retirado do questionário do estudante administrado ao mesmo tempo que o AVA 2000, são um exemplo deste princípio na medida que elas facilitam a interpretação dos resultados de desempenho dos alunos da mesma escola (ver o exemplo na Figura 3.). Figure 3. Exemplo de tabela incluída no Boletim de Escola 2002 contendo opiniões dos alunos e diretores. O Aluno desta Escola diz que... seu responsável sempre lê seus boletins escolares seu responsável sempre vai à escola quando chamado seu responsável sempre ou quase sempre comparece às festas escolares nunca foi reprovado 4ª Série 8ª Série 69% 70% 55% 61% 43% 15% 55% 58% 12 pelo menos um dos pais tem ensino médio completo 16% 41% tem computador em casa 32% 35% tem automóvel em casa 52% 51% Língua Portuguesa Matemática Ciências Língua Portuguesa Matemática Ciências 53% 41% 43% 31% 15% 31% 91% 84% 85% 60% 52% 43% gosta do livro didático adotado 50% 52% 60% 38% 18% 49% não teve dificuldades para aprender 43% 39% 43% 36% 27% 43% sempre ou quase sempre requer orientação em seus deveres de casa gosta muito da maneira de seu professor ensinar A Direção desta Escola diz que... • durante a sua gestão, o diretor dedicou a maior parte de seu tempo à organização da estrutura administrativa da escola. • nas reuniões gerais da escola em que todos os pais foram convocados, os resultados da avaliação do rendimento dos alunos foi o tema mais abordado. Em média, essas reuniões contaram com a presença de • nas reuniões gerais da escola em que todos os professores foram convocados, o aperfeiçoamento do processo de avaliação do rendimento dos alunos foi o tema mais abordado. Em geral, essas reuniões cont • o Conselho Escolar reuniu-se quando necessário. Fonte: SEED/NIE - AVA 2000: Questionário da Escola As opiniões do diretor em relação à participação de pais, desempenho dos alunos e o trabalho do conselho da escola também são tomadas do questionário do AVA 2000. As opiniões de pais, de outro lado, necessitaram de um novo procedimento de coleta de dados. Em junho de 2001, os pais foram convidados a comparecer, preencher um questionário e atribuir uma nota de 1 a 10 à sua escola. Embora aproximadamente 53,000 pais respondessem a esta primeira chamada, muito mais do que tinha sido antecipado, nenhuma tentativa foi feita para assegurar uma amostra representativa de pais ao nível da escola. Quando o mesmo procedimento foi repetido em 2002, ainda sem pretensões estatísticas, o número de respondedores aumentou para 79,000. Como a Figura 4 demonstra, além de questões sobre a qualidade do ensino, os pais também tiveram que responder sobre outras questões de importância como a segurança de escola e as comunicações entre a escola e as famílias dos alunos. Figura 4. Exemplo de tabela incluída no Boletim de Escola 2002 contendo opiniões dos pais. Opinião dos Pais de Alunos desta Escola sobre... A qualidade do ensino 34 dos 40 pais (85%) estão satisfeitos com a qualidade do ensino que seu(s) filho(s) recebe(m). 29 dos 40 pais (73%) acham que as instalações da escola são bem conservadas. 39 dos 42 pais (93%) acham que as instalações da escola são apropriadas às atividades de ensino. 35 dos 40 pais (88%) reconhecem que os professores da escola são dedicados ao trabalho. 33 dos 37 pais (89%) estão satisfeitos com a assiduidade dos professores. O envolvimento dos pais 37 dos 40 pais (93%) gostariam de ter um envolvimento maior nas atividades da escola. 27 dos 35 pais (77%) acham que o diretor da escola favorece a participação de todos nos trabalhos da escola. 26 dos 41 pais (63%) indicam que a escola promoveu atividades voltadas ao envolvimento dos pais em assuntos de ensino. 13 21 deles participaram dessas atividades. 30 dos 41 pais (73%) indicam que a escola promoveu atividades voltadas ao envolvimento dos pais na administração da escola. 15 deles participaram dessas atividades. A troca de informação 26 dos 40 pais (65%) indicam que a escola promoveu reuniões regulares entre pais e mestres. 32 dos 41 pais (78%) dizem que existe um sistema regular de comunicação com os pais. 39 dos 42 pais (93%) dizem que os professores mandam tarefas à casa que promovem o interesse dos pais na educação dos filhos. 31 dos 41 pais (76%) dizem que recebem informações a respeito das lições favorecendo o seu acompanhamento. Segurança 35 dos 40 pais (88%) se sentem seguros em mandar seus filhos para esta escola. 25 dos 36 pais (69%) acham que esta escola apresenta problemas disciplinares. 22 dos 34 pais (65%) acham que esta escola apresenta problemas internos de segurança. 26 dos 37 pais (70%) acham que esta escola é sujeita a problemas de segurança de sua vizinhança. Nota da escola 7,7 (média atribuída por 40 pais). Em 2001, mais de 1.3 milhões de cópias do Boletim foram impressos para assegurar que cada pai e professor de 1,963 escolas estaduais recebessem uma cópia. Cópias também foram enviadas para cada uma das 3,647 escolas municipais. Mas a experiência não foi tão “low-stakes” quanto se pensava. Por parte dos diretores havia sempre a preocupação que a avaliação da escola poderia influenciar o processo de seleção de diretores e há evidência que esta preocupação introduziu um viés no preenchimento dos questionários dos pais. Em outras palavras, mesmo não havendo nenhuma intenção explicita da SEE em fixar resultados em termos de vantagens individuais ou institucionais, os diretores atribuíram ao Boletim um valor especial e acabaram criando conseqüências imprevistas. O suposto por trás dos esforços da Secretaria para disseminar o uso do Boletim entre as associações de pais foi que os pais podiam exercer uma pressão benéfica a favor da melhoria das suas escolas. Esta tese ainda tem de ser estabelecida empiricamente. Depende fundamentalmente do tipo da relação entre escola e comunidade, do grau em que os pais participam na discussão das atividades da escola e em que medida os professores são sensíveis às opiniões dos pais. No caso do Paraná, um movimento estruturado de associações de pais foi pré-condição pela implementação da política, mas este mesmo movimento não foi suficiente para impedir o abandono do Boletim quando o novo governo entrou em 2003. Conclusões A lógica para estabelecer uma associação entre as atividades e os resultados da escola é clara: se os membros profissionais da comunidade escolar podem ser considerados responsáveis pela qualidade da experiência educativa diretamente sob seu controle, e os resultados desta experiência medidos objetivamente, então a avaliação do desempenho do aluno pode se tornar parte de um sistema de responsabilização que visa estimular a melhoria mediante a divulgação dos resultados da escola. Porém, por mais transparente a lógica, são poucos os exemplos de políticas de responsabilização no Brasil e os exemplos do Rio e do Paraná mostram a dificuldade em legitimar os procedimentos escolhidos para fazer a conexão entre o sistema de informação e as conseqüências para os profissionais da educação. O fato de existirem poucos exemplos de programas de responsabilização sugere a ausência de algumas das condições indispensáveis para sua implementação. E pela resenha das 14 condições existentes na Inglaterra e nos Estados Unidos à época da formulação da política, parece que falta aqui tanto a disseminação ampla de informações comparativas sobre o desempenho das escolas quanto a mobilização política a favor de mudanças. Há razão para acreditar que o tipo de poder exercido pelos governos daqueles paises também tem sua importância. Em nenhum dos dois casos havia necessidade de procurar o apoio do magistério para a própria sustentação do governo e não havia risco de perda de governabilidade no setor educacional pela criação de políticas baseadas na avaliação do desempenho dos alunos. No Brasil, por outro lado, a resistência do magistério a este tipo de política é conhecida e são poucos os governos que possam abrir mão do apoio dos movimentos sindicais organizados, incluindo o magistério, para sua sustentação política. A sobrevivência do programa Nova Escola e a morte prematura do Boletim da Escola dão pistas adicionais sobre esta mesma hipótese com relação às condições para a implantação e desenvolvimento dos programas de responsabilização. A sobrevivência do Nova Escola parece estar relacionada com a existência de um governo estadual cuja legitimidade e sustentação não advêm do apoio do magistério e que pode, portanto, formular e insistir na execução de uma política para o setor educacional que encontra resistências significativas entre os setores sociais organizados. Por outro lado, a eliminação do Boletim de Escola quando das eleições de 2002 e a nomeação de novo secretario de educação com relações estreitas com o magistério, indica a dinâmica inversa, com o sacrifício da política de responsabilização como preço a pagar pelo apoio dos professores à nova gestão. A resistência dos profissionais aos sistemas de responsabilização se fundamenta no argumento que a escola não pode ser responsabilizada pelos seus resultados se as secretarias não fornecem as condições indispensáveis para um trabalho de qualidade. Parece inegável que qualquer sistema de responsabilização também precisa determinar o papel do órgão mantenedor e o nível de desempenho esperado. A entidade mantenedora é um elemento crucial na qualidade das escolas, e não somente como avaliador, e precisa ser considerada como peça central em qualquer programa de responsabilização. Desenhar um sistema de responsabilização que cria um ônus para a escola, seja em termos de gratificações não recebidas ou de medidas administrativas, sempre será vista como injusto num ambiente em que a burocracia é tida como ineficiente e até inoperante. Também é desejável aliar o diagnostico da escola com sistemas de apoio e capacitação de acordo com os problemas identificados para assegurar que as escolas com pontuação menor recebam a ajuda necessária para interpretar seus resultados e empreender mudanças. A ausência de um número maior de experiências na área de responsabilização também é fruto da própria incipiência da idéia da avaliação de desempenho e do uso dos resultados da aprendizagem cognitiva dos alunos como peça central da política educacional. Mesmo havendo alguma familiaridade com a avaliação educacional, não existe uma cultura de avaliação que permita usar a aprendizagem cognitiva como o indicador chave das atividades e produtos da escola. Se é evidente que a escola tem responsabilidade pela formação integral do aluno há necessidade de estabelecer um consenso mais amplo sobre a legitimidade da responsabilização e sobre os indicadores da qualidade na educação. 15 Bibliografia GAMA, Zacarias Jaegger. Nova Escola: Erros e acertos do programa, Folha Dirigida, 18/03/ 2004 http://www2.uerj.br/~clipping/marco04/d18/dirigida_nova_escola.htm (access: 8/10/2005) AYERS, Sandra, 2003. Boletim da Escola: Diagnóstico Multidimensional das Escolas do Paraná. Ensaio, Fundação Cesgranrio, Rio de Janeiro, 38, vol.11, jan-março. p. 33-44 MEC (2003) Qualidade da Educação: uma nova leitura do desempenho dos estudantes da 4a série do Ensino Fundamental. Ministério da Educação/INEP, Brasília. Abril 2003 ANDERSON, J.A. Accountability in Education. IAE/IIEP/UNESCO. Education Policy Series. Paris. 2005 (http://www.unesco.org/iiep/, acessado em novembro, 2005) RAVITCH, Diane. Every State Left Behind. The New York Times, November 7, 2005 CARNOY, Martin e Susana Loeb. A Responsabilidade Externa tem Efeito nos Indicadores Educacionais dos Alunos? Uma análise entre os estados dos E.U.A. Documento N° 29 de PREAL. Abril de 2004. CARNOY, Martin, Susanna Loeb e Tiffany Smith. Do Higher State Test Scores in Texas Make for Better High School Outcomes? CPRE Research Report Series RR-047 November 2001 (Consortium for Policy Research in Education, University of Pennsylvania) SOUZA, Maria Alba de. A Experiência de Avaliação Educacional em Minas Gerais: 1992- 1998. Estudos em Avaliação Educacional. Fundação Carlos Chagas, São Paulo. No 19, jan.- jun. 1999 pp. 57-76. 16