3 Avaliação em Educação 2 Cadernos Cenpec 2007 n. 3 !VALIARAAVALIA¿»O / tema da avaliação em educação, que tratamos neste terceiro Cadernos Cenpec, é de enorme relevância. Adentrou a agenda política e seu debate ganhou cobertura nacional. Temos a expectativa de que as avaliações assim publicizadas alavanquem o aprimoramento da política de educação e iluminem caminhos para a promoção de ganhos de aprendizagem dos alunos, da ampliação de sua participação na sociedade do conhecimento e da busca de maior eqüidade social. Sem dúvida, a produção de conhecimento a partir das pesquisas nacionais deve se concretizar em decisões políticas efetivas que alterem positivamente os resultados escolares e deve ser acessível a todos – comunidade escolar e sociedade. Este é um dos aspectos enfatizados pelos pesquisadores nesta edição: a necessidade de uma divulgação mais esclarecedora e de análises e debates sobre os resultados, suas causas e conseqüências para administradores, diretores, professores, pais e alunos. Sabemos que o Brasil realizou avanços na educação básica, mas ainda tem desafios enormes para superar a herança histórica de exclusão escolar que se reflete numa alta porcentagem de indivíduos analfabetos funcionais que apresentam habilidades muito incipientes de leitura, escrita e matemática. Há boas notícias que nos chegam nos estudos de caso das escolas que alcançaram os resultados mais positivos na Prova Brasil, mostrando estratégias, condutas e ações possíveis para a melhoria da aprendizagem das crianças, do Norte ao Sul do país. São as boas práticas das escolas inspirando-nos a acreditar no futuro da educação no 3 Brasil. Neste momento, além das definições políticas nos níveis centrais de governo, há um protagonismo fundamental dos sistemas municipais de ensino, em que muitas experiências inovadoras já estão acontecendo. Sabemos que impactos positivos nos sistemas educacionais resultam de muitas variáveis intervenientes e dependem de ações diferenciadas e articuladas de várias ordens e dimensões. Infelizmente, há uma tendência danosa, e mesmo ingênua, de se valorizar uma ou outra variável como responsável pelo mau ou bom desempenho da educação. A situação da educação exige hoje mais reflexão e compreensão e, sobretudo, a reafirmação da necessidade cívica de se valorizar a educação pública e de se apoiar a escola para que ela promova a aprendizagem dos alunos. Esperamos, com este número dos Cadernos Cenpec, apresentar algumas questões que podem desvelar alternativas para a educação no país, pois precisamos ajudar a responder à urgência educacional que os resultados atuais das avaliações apontam e garantir o direito a uma educação de qualidade a todas as crianças e adolescentes brasileiros. Procuramos oferecer, ao leitor, as perspectivas da avaliação em educação com diferentes recortes teóricometodológicos e muitas experiências concretas de uso das estratégias de avaliação em contextos reais para que possamos, todos, ampliar o olhar sobre essa realidade e ajudar a transformá-la. Maria Alice Setubal Diretora Presidente do Cenpec Cadernos Cenpec 2007 n. 3 3UM¹RIO editorial Maria Alice Setubal Avaliar a avaliação 3 @ artigo Maria Helena Guimarães de Castro A árdua tarefa de estabelecer padrões de desempenho escolar 7 debate Maria do Carmo Brant de Carvalho, José Francisco Soares, Naércio Menezes, Bernardete Gatti Avaliação em Educação: o que a escola pode fazer para melhorar seus resultados? 17 @ comentário: sistema nacional de avaliação da educação básica – saeb Jorge Kayano 3 Avaliar para que(m)? 42 @ artigo Terezinha Azerêdo Rios O que será da avaliação sem a ética? 45 @ relato de prática: projeto estudar pra valer! língua portuguesa Claudia Petri, Heloísa Trenche De olhos... e ouvidos no aluno 53 @ artigo Vera Masagão Ribeiro, Vanda Mendes Ribeiro, Joana Buarque de Gusmão Indicadores de qualidade mobilizam a escola 59 @ relato de prática: indicadores de qualidade na educação Waldenir (Nino) Bernini Lictenthaler Uma ferramenta para a construção da democracia 74 @ artigo Erika Himmel König A defesa de uma cultura avaliativa 81 @ relato de prática: pae – programa de aumento da escolaridade Maria Amábile Mansutti, Liliane Petris Ensino para jovens em áreas vulneráveis 90 artigo Maria de Salete Silva Conhecer as mil faces da escola para ampliar o direito de aprender 97 @ relato de prática: prêmio victor civita educador nota 10 Gabriel Grossi, Regina Scarpa Não é fácil premiar com justiça 107 @ artigo Vera Masagão Ribeiro Estatísticas para melhorar o conhecimento de letras e números 111 @ relato de prática: projeto criança Ana Luíza Mendes Borges, José Hamilton Maruxo Júnior, Sônia Maria de Oliveira Nudelman Uma experiência formativa 120 @ artigo Ana Maria Falsarella, Vanda Noventa Fonseca O impacto positivo do Programa Melhoria da Educação no Município @ estudo de caso: programa educarede Denise Blanes, Márcia Padilha Lotito, Mílada Tonarelli Gonçalves, Priscila Gonsales Internet na escola, escola na Internet 138 @ artigo Tânia Regina de Souza Romero Avaliando na perspectiva sociocultural 147 @ relato de prática: prêmio cultura viva Maria do Carmo Brant de Carvalho Critérios para premiar tradições brasileiras @ mosaico Sites, livros & filmes 156 153 127 6 Cadernos Cenpec 2007 n. 3 Maria Helena Guimarães de Castro* !¹RDUATAREFADE ESTABELECERPADRÍES DEDESEMPENHO ESCOLAR ! avaliação educacional, em geral, e a avaliação escolar, em particular, vêm se revelando instrumentos fundamentais para se elevar a qualidade do ensino. A experiência internacional, assim como a brasileira, mostra que, para isso, as ações efetivas são as centradas na aprendizagem e na escola. Pesquisas recentes, realizadas por diferentes organismos internacionais — como Unesco - Organização das Nações Unidas para a Educação, a Ciência e a Cultura; OCDE - Organização para a Cooperação e o Desenvolvimento Econômico; e Preal - Programa de Promoção da Reforma Educativa na América Latina e Caribe, entre outros — destacam a importância e as diferentes finalidades das avaliações educacionais para melhorar a qualidade do desempenho dos alunos e das escolas. A realização de avaliações em larga escala, nacionais e internacionais, como forma de conhecer melhor a dinâmica dos processos e resultados dos sistemas educacionais, é, sem dúvida, uma tendência cada vez mais presente em países de diferentes culturas e orientações ideológicas de governo. Prova disso é a existência de sistemas nacionais de avaliação em 19 países da América Latina e a sua crescente participação nas avaliações internacionais, como o PISA - Programa Internacional de Avaliação de Alunos e o TIMSS - Third International Mathematics and Science Study, conduzido pelo IEA - International Association for the Evaluation of Educational Achievement, ao * Maria Helena Guimarães de Castro é professora de Ciência Política da Universidade Estadual de Campinas/Unicamp e pesquisadora associada do Núcleo de Políticas Públicas da Unicamp. Foi presidente do Instituto Nacional de Estudos e Pesquisas Educacionais/INEP, de 1995 a 2001, e secretária-executiva do MEC em 2002. Entre janeiro de 2003 e março de 2006, foi secretária estadual de Desenvolvimento Social do Estado de São Paulo. Foi secretária estadual de Ciência e Tecnologia de São Paulo em 2006. Atualmente é secretária de estado de Educação do Distrito Federal. 7 Cadernos Cenpec 2007 n. 3 lado de países da União Européia, Ásia, África e América do Norte. Além disso, observa-se uma tendência mais acentuada para o desenvolvimento de sistemas subnacionais em todo o mundo, assim como no Brasil. Esta convergência em torno das avaliações “estandardizadas” origina-se de visões, interesses e perspectivas distintas quanto ao papel dos sistemas educativos, como destaca Pedro Ravela (2006), em recente documento do Preal. Em alguns casos, predominam a preocupação com a formação cidadã e a consolidação de uma sociedade democrática; em outros, a produtividade da força de trabalho e a competitividade da economia nacional. Alguns valorizam as avaliações para promover mais oportunidades para o desenvolvimento integral das pessoas e mais possibilidades de participação na sociedade do conhecimento; outros consideram a educação de qualidade uma política estratégica para melhorar a eqüidade e um dos caminhos para superar a pobreza. Independente das razões que levam à criação de sistemas de avaliação, parece haver consenso quanto ao seu papel como instrumento para se conquistar mais qualidade no ensino. Como os resultados da educação não são diretamente observáveis, nem imediatos, dada a heterogeneidade do corpo docente e da situação socioeconômica familiar dos alunos, só é possível obter uma visão geral do desempenho dos sistemas educacionais mediante uma avaliação externa em larga escala. Democratização e massificação No passado recente, media-se a qualidade de um sistema educativo com base nos indicadores de acesso e permanência na escola, como: matrícula, cobertura, repetência, evasão, anos de estudo etc. O ingresso na educação formal era limitado e a maioria dos pobres estava praticamente excluída do sistema ou permanecia poucos anos na escola. A entrada e a permanência no sistema eram consideradas sinônimos de aquisição de conhecimento e das competências básicas. A progressiva universalização do acesso à escola e a ampliação do número de anos de estudo modificaram essa situação. Os novos alunos, em geral oriundos de famílias pobres e mais vulneráveis, chegam ao sistema educativo em desvantagem em termos de aquisição de bens culturais e de manejo da linguagem oral e escrita. Nesse contexto, a equivalência entre anos de estudo e acesso ao co- 8 nhecimento, ao domínio das competências básicas e capacidades simbólicas nem sempre se concretiza. É verdade que a maior permanência nos sistemas educativos traz alguns benefícios, mas não significa necessariamente que os cidadãos estão aprendendo e incorporando os conhecimentos, as atitudes e as habilidades necessárias para o seu desenvolvimento pessoal e social. Além disso, a democratização da educação provocou também significativo aumento do número de professores, os quais, infelizmente, não contaram com mecanismos que lhes garantissem sua adequação à nova realidade e a uma boa qualidade de formação. Em geral, o Estado foi omisso na formulação de políticas e no desenvolvimento de mecanismos de controle da qualidade da formação inicial e de programas de aperfeiçoamento docente. Nesse quadro, o desenvolvimento de sistemas de informação e avaliação transformou-se em peça-chave dos processos de reformas educacionais, que tiveram lugar em diferentes países, especialmente a partir de meados da década de 1980. Com o objetivo de subsidiar ações para melhorar a qualidade do ensino, as avaliações passaram a dar maior ênfase e divulgação a aspectos centrais do processo de aprendizagem, procurando responder questões, como: 1. O que os alunos estão aprendendo? Em que medida os resultados obtidos correspondem ao que se espera deles ao final dos diferentes ciclos ou níveis de aprendizagem? 2. Qual é o grau de eqüidade observado nos resultados da aprendizagem? Como estão evoluindo os índices de aprendizagem entre os diversos grupos sociais? Como as desigualdades sociais, econômicas e culturais de uma sociedade incidem sobre as oportunidades de aprendizagem? 3. Quais e como os fatores associados afetam, positivamente ou não, os resultados da aprendizagem? Quais os efeitos da repetência ou do processo de alfabetização nas séries iniciais? Ou do tamanho das turmas, tipo de formação dos professores, acesso à educação infantil? Ou da participação dos pais? Como e em que graus tais fatores afetam a aprendizagem? 4. É possível identificar escolas e professores que conseguem fazer com que todos os alunos aprendam, mesmo em contextos sociais desfavorecidos? Quais as características das “boas práticas” que resultam em bom desempenho? Cadernos Cenpec 2007 n. 3 5MSISTEMANACIONALDE AVALIA¿»OEMLARGAESCALA PODEPROVERINFORMA¿ÍES INDISPENS¹VEISPARA APROFUNDARODEBATESOBRE ASITUA¿»OEDUCACIONALDE UMPAÅS 5. Quais os efeitos das políticas de educação sobre os resultados da aprendizagem? Em que medida aspectos como salários, carreira e formação dos professores incidem sobre os resultados? Qual o impacto das mudanças curriculares ou mesmo da aquisição de novos materiais didático-pedagógicos sobre a aprendizagem? Em suma, um sistema nacional de avaliação em larga escala pode prover informações indispensáveis para aprofundar o debate sobre a situação educacional de um país e mostrar o que os alunos estão aprendendo, ou o que deveriam ter aprendido, em relação aos conteúdos e habilidades básicas estabelecidos no currículo. Como os currículos geralmente são muito extensos, a elaboração de provas nacionais obriga a se definirem quais aprendizagens devem ser consideradas fundamentais e asseguradas a todos os alunos, o que se aplica também às avaliações internacionais, que permitem comparações entre países ou regiões. No Brasil, o desenvolvimento de um sistema de avaliação da educação básica é bastante recente. Até o início dos anos 1990, com exceção do sistema de avaliação da pós-graduação sob a responsabilidade da Capes, as políticas educacionais eram formuladas e implementadas sem qualquer avaliação sistemática. Não era possível saber se elas produziam os resultados desejados. Em pouco mais de uma década, foi construído um complexo e abrangente sistema de avaliação educacional no país, que cobre todos os níveis da educação. Esse sistema produz informações que orientam as políticas educacionais em todos os níveis de ensino: 1. Sistema de Avaliação da Educação Básica – SAEB Avalia os sistemas públicos e privados de ensino fundamental e médio, com base em amostra de alunos e escolas. 2. Exame Nacional de Ensino Médio – ENEM De caráter voluntário, avalia as competências e habilidades adquiridas por estudantes que concluíram ou estão concluindo o ensino médio. 9 3. Sistema Nacional de Avaliação do Ensino Superior – Sinaes Engloba a avaliação de desempenho de cursos e instituições. 4. Prova Brasil Avalia o universo dos alunos das séries finais dos ciclos I e II do ensino fundamental obrigatório. Além das avaliações nacionais, o Brasil passou a participar de avaliações internacionais, como o Programa Internacional de Avaliação de Estudantes – PISA, coordenado pela OECD, e o Laboratório de Avaliação da Qualidade da Educação – LECE, coordenado pela Unesco/OREALC – Escritório Regional da Unesco para a América Latina e Caribe, do Chile. Neste artigo, examino apenas o SAEB e algumas experiências estaduais de avaliação escolar. O contexto dos anos 1990 No plano educacional, assim como no plano socioeconômico, as diferenças entre estados e regiões brasileiras são bastante pronunciadas. Em 2004, no estado de São Paulo, 94% da população com mais de dez anos era alfabetizada, enquanto no estado de Alagoas, apenas 68% o era. Metade dos trabalhadores da região Nordeste tinha, no máximo, quatro anos de estudo e apenas 27% completavam oito anos de estudo ou mais, situação oposta à da região Sudeste, onde mais de 55% dos trabalhadores estudavam durante oito anos ou mais. Segundo a Constituição brasileira, Governo Federal, estados e municípios têm responsabilidades distintas e complementares em todos os setores de políticas públicas, inclusive no educacional. A Lei Magna garante, ainda, ampla autonomia aos estados e municípios para estruturarem os seus próprios sistemas de ensino e estimula a descentralização. Assim, a oferta de educação pública, que já era descentralizada e bastante estadualizada, ganhou novo impulso descentralizador com a Constituição de 1988 e com a Lei de Diretrizes e Bases da Educação Nacional, de 1996, que fomenta a criação de sistemas municipais de ensino. Hoje, existe, no Brasil, um número quase tão grande de sistemas de ensino quanto de estados e de municípios! Nesse sistema altamente descentralizado, em um país marcado por extrema heterogeneidade e desigualdade, foram atribuídas, ao Governo Federal, funções de regulação e de assistência técnica e financeira a estados Cadernos Cenpec 2007 n. 3 e municípios. A legislação em vigor determina também que cabe ao Governo Federal avaliar a qualidade do ensino em todo o país e em todos os níveis, com o objetivo de definir prioridades e de elevar a qualidade do ensino. É nesse contexto que foi montado o sistema de avaliação do Brasil. Sistema Nacional de Avaliação O Sistema Nacional de Avaliação da Educação Básica - SAEB foi criado e aplicado em caráter experimental no início da década de 1990, contando com o apoio financeiro do Banco Mundial. O objetivo do SAEB é avaliar a qualidade da educação oferecida pelos sistemas de ensino existentes, identificando o que os alunos sabem e são capazes de fazer nas diferentes etapas do seu percurso escolar. A partir de 1995, o SAEB foi reformulado do ponto de vista metodológico e passou a ser regularmente realizado a cada dois anos em todo país. O SAEB consiste de questionários aplicados a uma amostra de professores e diretores de escolas e de provas ministradas a uma amostra de alunos de escolas públicas e privadas que cursam a última série de cada ciclo de estudos do sistema de educação básica. Assim, participam da amostra: • alunos da 4ª série do ensino fundamental; • alunos da 8ª série do ensino fundamental, último ano de educação obrigatória; • alunos da 3ª série do ensino médio, último ano da Educação Básica. A amostra do SAEB é aleatória, baseada nos resultados do Censo Escolar realizado anualmente e na melhor técnica estatística. Representa os alunos das escolas estaduais, municipais e particulares, urbanas e rurais, de cada um dos 26 estados da Federação e do Distrito Federal. No SAEB, são testados, a cada dois anos, os conhecimentos dos alunos em Matemática e Língua Portuguesa. Eventualmente, são também testados seus conhecimentos de História, Geografia e Ciências. Para representar este enorme universo de cerca de 44 milhões de alunos em mais de 200 mil escolas, distribuídas entre uma miríade de sistemas de ensino, a amostra do SAEB 2001 envolveu cerca de 280 mil alunos de sete mil escolas, localizadas em mais de dois mil municípios em todo o país. Em 2003, foram 300 mil alunos, 6.300 escolas e 17 mil professores. 10 Cadernos Cenpec 2007 n. 3 A partir dos resultados dessas provas, os alunos dos diferentes estados e, dentro de cada estado, das diferentes redes de ensino, são classificados em uma escala de desempenho que permite identificar aquilo que eles sabem e são capazes de fazer e aquilo que eles não sabem, mas deveriam saber naquela etapa de seus estudos. Essas informações são de extrema importância para que os professores e as autoridades educacionais possam tomar medidas para melhorar o desempenho dos alunos em suas escolas. Além de avaliar o nível alcançado pelos alunos, o SAEB coleta uma série de informações sobre os fatores associados ao desempenho escolar por meio da aplicação de questionários a alunos, professores e diretores de escola. Dessa forma, são obtidas informações socioeconômicas, sobre hábitos de estudo dos alunos, formação e prática dos professores e sobre a gestão das escolas. O cruzamento dessas informações com os dados de desempenho dos alunos permite detectar quais fatores escolares e extra-escolares exercem uma influência mais forte, positiva ou negativa, sobre o preparo dos alunos. Por intermédio do SAEB, já foi possível identificar uma série de tendências presentes no diagnóstico da educação no Brasil, as quais passaram a orientar a formulação e reformulação das políticas educacionais. Por exemplo, o SAEB diagnosticou que, quanto maior é a defasagem série-idade, pior é o desempenho do aluno. No Brasil, o número de alunos em atraso escolar é bastante alto devido às altas taxas de repetência. A repetência, que idealmente serviria como uma nova oportunidade para os alunos de fraco desempenho fortalecerem os seus conhecimentos para, posteriormente, prosseguirem seus estudos, tem-se mostrado mais perversa do que benéfica. Alunos repetentes acabam ficando desestimulados, apresentando desempenho cada vez mais baixo, até abandonarem a escola. Os resultados do SAEB indicaram que, para melhorar o desempenho geral dos alunos, seria necessário reduzir a defasagem série-idade. Foram criados, então, os programas de aceleração de aprendizagem, voltados para os alunos com mais de dois anos de atraso. Estes programas, aplicados em diversas partes do Brasil, vêm tendo efeitos positivos na correção do fluxo escolar e na redução das taxas de abandono. Espera-se que, nos próximos anos, esses efeitos positivos também se façam sentir no desempenho escolar dos alunos. 11 Cadernos Cenpec 2007 n. 3 O SAEB também constatou que alunos cujos professores receberam formação de nível superior têm melhor desempenho na avaliação. Por isso, o Ministério da Educação criou incentivos para os professores obterem uma formação adequada. Quanto à influência da escola sobre o desempenho dos alunos, o SAEB percebeu que certos estilos de gestão do diretor e a participação dos pais na vida da escola têm efeito positivo. Para elevar o desempenho escolar nas regiões menos favorecidas, foi criado um projeto, com financiamento do Banco Mundial (Fundescola), voltado para o desenvolvimento das escolas. Na avaliação desse projeto, utilizaram-se os resultados do SAEB e, mais uma vez, emergiu uma correlação significativa entre o desempenho escolar e a forma de gestão da escola, confirmando a tendência anteriormente identificada. Alunos de escolas que participaram do projeto Fundescola tiveram um desempenho superior nos testes do SAEB em relação aos alunos de outras escolas, com características similares, que dele não participaram. Avaliações estaduais Embora o SAEB não apresente resultados por escola, e sim por sistemas de ensino em cada estado, as informações que ele reúne permitem identificar claramente que tipo de escola favorece um bom desempenho de seus alunos nos testes. Esse fato, por si só, já indica o caminho a ser seguido pelos sistemas de ensino, a fim de elevar a sua qualidade. No entanto, o SAEB não substitui a avaliação centrada na escola, nem pretende fazê-lo. Ao contrário, no período de 1995 a 2002, o INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, instituição responsável pelo SAEB, estabeleceu uma linha de apoio e assistência técnica aos estados e municípios para que desenvolvessem os seus próprios sistemas de avaliação. O SAEB oferece um diagnóstico consistente da situação educacional em todo país, permitindo comparações entre os diferentes sistemas de ensino. No entanto, cabe a cada um deles desenvolver os seus próprios sistemas de avaliação para retratar a realidade de cada escola, sob sua direta responsabilidade, e definir ações de melhoria e monitoramento sistemáticos. Nesse sentido, o Governo Federal passou a oferecer, aos estados e municípios interessados em desenvolver os 12 #ABEACADASISTEMA EDUCACIONALDESENVOLVER SEUSMÁTODOSDEAVALIA¿»O PARARETRATARAREALIDADE DECADAESCOLASOBSUA DIRETARESPONSABILIDADEE DEÙNIRA¿ÍESDEMELHORIA EMONITORAMENTO SISTEM¹TICOS seus próprios sistemas de avaliação, treinamento para as equipes elaborarem os seus próprios testes. Além disso, disponibiliza alguns itens-âncora para integrar as provas, assegurando assim a comparabilidade dos resultados regionais com os nacionais. O desenvolvimento de sistemas regionais ou locais de avaliação, em articulação com o sistema nacional, apresenta uma série de vantagens. Primeiro, eles proporcionam uma investigação mais aprofundada sobre as especificidades regionais ou locais, o que não é possível no SAEB. Segundo, eles permitem a obtenção dos resultados por escola, o que não é viável em um sistema nacional de avaliação como o brasileiro, devido à complexidade envolvida na sua operacionalização e os seus elevados custos. Terceiro, eles possibilitam a coleta de informações de interesse do gestor da rede, o que tampouco é possível em uma avaliação nacional. Atualmente, cerca de 13 estados brasileiros e duas capitais já possuem sistemas próprios para avaliar as suas redes de ensino, produzindo resultados por escola. Há algumas iniciativas recentes, como a implantação de uma avaliação escolar reunindo um conjunto de municípios gaúchos, situados na região de Caxias do Sul, os quais criaram um consórcio e pactuaram os critérios de avaliação de todas as suas escolas. No final de 2005, o MEC aplicou, pela primeira vez, a Prova Brasil em 44 mil escolas. Foram testados 5,4 milhões de alunos de 4ª e 8ª séries das escolas públicas em Língua Portuguesa e Matemática. Os resultados permitiram comparar os resultados das escolas com a escala de proficiência do SAEB. O principal aspecto positivo da Prova Brasil é possibilitar a comparação entre as escolas da mesma rede de ensino e, com isso, prover informações para apoiar diretores e professores nos projetos pedagógicos. Infelizmente, Cadernos Cenpec 2007 n. 3 as escolas e sistemas de ensino têm tido dificuldade em usar os resultados e compreender a metodologia adotada. Falta uma política séria e consistente de divulgação e uso dos resultados das avaliações. O Brasil avançou muito na montagem e desenvolvimento de sistemas nacionais e estaduais, mas o grande problema é a dificuldade das escolas e dos professores em usar os resultados para melhorar suas aulas. A título de exemplo, apresentarei um breve panorama de dois sistemas estaduais de avaliação dos dois maiores estados do Brasil: São Paulo e Minas Gerais. São Paulo e Minas Gerais Em 2005, havia, no estado de São Paulo, aproximadamente, oito milhões de alunos matriculados no ensino fundamental e médio, 87% dos quais em cerca de 12.500 escolas públicas estaduais e municipais. No mesmo ano, no estado de Minas Gerais, havia cerca de quatro milhões e 400 mil alunos matriculados nos mesmos níveis de ensino, 93% deles em mais de 14.500 escolas públicas. Para monitorar a qualidade do ensino ofertado por suas escolas, que concentram quase um terço dos alunos do país, os governos desses dois estados decidiram estabelecer seus próprios sistemas de avaliação. O estado de São Paulo criou, em 1996, o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo Saresp, e Minas Gerais, o Programa de Avaliação da Rede Pública de Educação Básica - Proeb. Esses sistemas estaduais de avaliação são abertos à participação dos municípios daqueles estados que tiverem rede de escolas municipais e que a eles desejarem aderir. Como o SAEB, esses dois sistemas avaliam periodicamente os conhecimentos de seus alunos em Português, Matemática, Ciências, História e Geografia e, por meio de questionários, recolhem outras informações associadas ao desempenho. O Proeb de Minas Gerais O Proeb aplica testes a todos os alunos de 4ª, 8ª e 11ª série da rede estadual. O ciclo de avaliação do Proeb se completa a cada dois anos. Por exemplo, em 2000, foram aplicados testes de Português e de Matemática, e, em 2001, de História, Geografia e Ciências. Integram a avaliação, questionários destinados aos alunos, professores e 13 diretores de escola, com o objetivo de se levantar dados sobre o processo de gestão das escolas, o perfil dos profissionais da Educação e dos estudantes atendidos, e os recursos e serviços disponíveis nas escolas. Os resultados dos testes e dos questionários fornecem um conjunto de dados que possibilita um diagnóstico detalhado da situação educacional no estado. Diferentemente do SAEB — que analisa comparativamente o desempenho dos alunos entre os diferentes estados e sistemas de ensino sem atentar para as políticas educacionais específicas —, o Proeb avalia o desempenho dos alunos à luz das políticas educacionais implementadas no Estado. Ainda que orientado para subsidiar a formulação e a redefinição das políticas educacionais do governo do estado, o sistema de avaliação de Minas Gerais utiliza a mesma escala de proficiência do SAEB, a fim de garantir a comparabilidade dos seus resultados com os resultados nacionais. O Proeb faz parte do Sistema Mineiro de Avaliação da Educação Pública - Simave, rede que abrange 27 instituições de ensino superior, públicas e privadas, 41 superintendências regionais de ensino, representantes dos municípios, dos alunos e dos professores. Ao integrar os diferentes segmentos da sociedade envolvidos com a educação no sistema de avaliação, o Simave procura desenvolver uma nova cultura de avaliação que leve à ruptura das práticas tradicionais e ineficientes ainda em vigor no cotidiano de muitas escolas. A participação direta das instituições de ensino superior no processo de avaliação é crucial, uma vez que são elas as responsáveis pela formação dos professores para as escolas da região. Por meio do trabalho conjunto, procura-se aproximar as instituições de ensino superior do trabalho pedagógico da escola em todas as suas dimensões. Esta associação favorece e estimula a discussão de possíveis mudanças nos cursos de formação de professores, para torná-los mais sensíveis às necessidades do ensino público. A distância entre a universidade e seus cursos de formação de professores e as reais necessidades da escola pública tem-se revelado um dos grandes entraves para a elevação da qualidade da educação no país. A avaliação das escolas pelo Proeb está pautada pelos princípios da eqüidade e publicidade. Ao identificar os problemas de uma escola e apontar os caminhos para saná-los, age-se no sentido de proporcionar uma educação de qualidade para todas as crianças, e, ao se divulgarem os resultados da avaliação, informa-se, Cadernos Cenpec 2007 n. 3 aos cidadãos, sobre a qualidade do serviço público que lhes está sendo oferecido. São Paulo e o Saresp O Saresp foi criado em 1996, com o apoio do Banco Mundial. Tal como o Proeb, a aplicação do sistema de avaliação do estado de São Paulo é descentralizada, englobando as escolas da rede pública estadual, as autoridades regionais de ensino, os professores e pais de alunos. O Saresp procura analisar a evolução dos mesmos alunos em anos seguidos, de forma a possibilitar a realização de estudos longitudinais. As provas são elaboradas com base nos conteúdos curriculares de determinada série e aplicadas aos alunos da série imediatamente superior. Por exemplo, a prova de matemática, sobre o conteúdo da 4ª série, é aplicada aos alunos da 5ª; a elaborada com os conteúdos da 5ª série, aplicada aos alunos da 6ª, e assim por diante. Em 1996, foram aplicadas provas aos alunos da 3ª e 6ª séries; em 1997, aos da 4ª e 7ª; e, em 1998, aos da 5ª e 8ª, processo que sofreu descontinuidade em 2006. Entre 1996 e 2005, foram construídas séries históricas com o intuito de acompanhar a evolução de um mesmo aluno, dos alunos de uma mesma escola, das escolas de uma região, subordinadas à mesma autoridade regional de ensino. As avaliações do Saresp são realizadas no início do ano letivo, para identificar imediatamente as deficiências existentes e permitir a orientação dos alunos durante o ano. As provas do Saresp são ministradas e corrigidas pelos próprios professores, ficando, os resultados da avaliação, disponíveis na escola. Isso permite rapidez na análise dos dados e na utilização dos resultados pela equipe da escola no planejamento pedagógico e na definição das ações e metas. Os professores participam de todas as etapas da avaliação: da elaboração das provas à análise dos resultados. Com isso, procura-se viabilizar uma aproximação entre a teoria e a prática, estimular o trabalho em equipe e reforçar sua responsabilidade individual e coletiva. Para assegurar a qualidade do instrumento de avaliação, as provas são pré-testadas em uma amostra de alunos. Estes primeiros resultados são submetidos à análise estatística e de conteúdo, de modo a verificar se as provas conseguem, de fato, medir aquilo que pre- 14 tendem. Com base nessa análise, elas são reformuladas e, então, aplicadas a todos os alunos. Medir os eventuais ganhos de aprendizagem dos alunos ao longo do tempo é fundamental para o Saresp. No entanto, não é possível conhecer os progressos de um aluno, ou do conjunto dos alunos, na passagem de uma série para outra, simplesmente comparando os resultados gerais das provas, uma vez que elas abordam conteúdos diferentes. Por isso, o Saresp, assim como o SAEB, utiliza procedimentos estatísticos reconhecidos internacionalmente, derivados da Teoria de Resposta ao Item (TRI), sobretudo a equalização (equating), para comparar resultados de provas diferentes. Para realizar a equalização, é dada uma prova-âncora a uma amostra de alunos, que reúne itens de provas aplicadas em diferentes anos e séries. Com isso, é possível construir escalas, cujos pontos representem diferentes níveis de desenvolvimento cognitivo e de aprendizagem. A análise final dos resultados é feita considerandose sempre o contexto de ensino. Além das provas que medem o desempenho dos alunos, a avaliação incorpora diversas informações coletadas por intermédio de outros instrumentos: questionário da escola, que recolhe informações sobre o projeto pedagógico da escola, sua infra-estrutura e formas de capacitação de professores; relatório de observação dos pais, em que os responsáveis pelos alunos expressam suas opiniões sobre o processo de avaliação utilizado pela escola; relatório do aplicador da prova e relatórios da escola e da Delegacia de Ensino. Cadernos Cenpec 2007 n. 3 Considerações finais O desenvolvimento e o aperfeiçoamento dos instrumentos de avaliação são um trabalho contínuo e dele depende os futuros progressos na educação. Se os instrumentos para a avaliação de conteúdos já são razoavelmente desenvolvidos, ainda há muitas dificuldades para se elaborarem instrumentos capazes de medir a aquisição e o desenvolvimento de competências e habilidades cognitivas. Além do domínio propriamente cognitivo, seria importante investigar o desenvolvimento de outras habilidades e competências necessárias ao indivíduo na sociedade contemporânea, mas, disso, estamos ainda mais longe. No plano nacional, segue sendo um grande desafio estabelecer padrões (standards) de desempenho escolar passíveis de comparação num quadro de grande diversidade regional, como o brasileiro. Também nas avaliações estaduais ou municipais, muito ainda resta a ser aperfeiçoado para se medir o valor agregado pela escola ao aluno, tendo em vista a variada bagagem cultural que cada um traz ao entrar na escola, variação acentuada pelas enormes desigualdades socioeconômicas que marcam o país. Enfim, ainda nos falta maior precisão na identificação e ponderação dos fatores internos e externos à escola que incidem no desempenho dos alunos. No entanto, o grande desafio continua sendo a utilização, em sala de aula, dos resultados obtidos por meio dos instrumentos já existentes para o aperfeiçoamento da prática docente e para a elevação da qualidade do ensino. 15 Para além dos fatores socioculturais que incidem diretamente no desempenho dos alunos, sobre os quais a influência do sistema educacional é muito pequena, existe uma grande margem de ação que é propriamente educativa e que se desenvolve em sala de aula. A participação do professor em todas as etapas da avaliação, proporcionada por algumas experiências estaduais, como o Saresp, parece ser uma boa estratégia de levar, para a sala de aula e para a prática docente, os conhecimentos trazidos pela avaliação. O trabalho conjunto entre as instituições de ensino superior e as autoridades regionais de educação de Minas Gerais, propiciado pelo Proeb, também é aparentemente um caminho bastante sugestivo para encurtar a distância que separa a formação dos professores das necessidades reais das escolas, as teorias de ensino e aprendizagem das práticas docentes. Para que os resultados tenham impacto sobre as políticas educativas, é preciso investir pesadamente na análise, compreensão e discussão dos resultados, envolvendo, no processo, todos os atores relevantes, autoridades educativas, professores, pais de alunos e dirigentes. É imprescindível devolver os resultados das avaliações censitárias ou universais para as escolas, professores e pais de alunos. É fundamental que todos estabeleçam um acordo para enfrentar as deficiências identificadas e definir ações e estratégias para superá-las. Além da disposição em dar transparência aos resultados, os gestores devem investir muito na comunicação apropriada e permanente dos resultados para a opinião pública. Apesar de todas as dificuldades e dos obstáculos a serem superados, é certo que a avaliação é um bom caminho para a melhoria da qualidade do ensino. No caso brasileiro, o sistema de avaliação deve compatibilizar o imperativo da eqüidade, sem a qual não existe uma nação propriamente dita, com a diversidade constitutiva de suas dimensões continentais e formação histórica. A integração flexível entre um sistema nacional de avaliação – como o SAEB e a Prova Brasil – e os sistemas locais ou regionais de avaliação – como o Saresp e o Proeb – parece ser o modelo mais condizente com a estrutura político-administrativa de nossa Federação e com as necessidades da educação brasileira. Cadernos Cenpec 2007 n. 3 Maria do Carmo Brant de Carvalho Mediadora Coordenadora geral do Cenpec, doutora em Serviço Social pela Pontifícia Universidade Católica de São Paulo e pela École des Hautes Études en Sciences Sociales, Paris. José Francisco Soares Estatístico, professor da Universidade Federal de Minas Gerais – UFMG, presidente da Associação Brasileira de Avaliação Educacional. Naércio Menezes Economista, professor associado da Universidade de São Paulo, professor titular da IBMEC Educacional S.A., consultor da Fundação Itaú Social. Bernardete Gatti Coordenadora do Departamento de Pesquisas Educacionais da Fundação Carlos Chagas, consultora da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, membro do Conselho de Administração do Cenpec. 16 Cadernos Cenpec 2007 n. 3 !VALIA¿»OEM %DUCA¿»O O que a escola pode fazer para melhorar seus resultados? 1 17 uanto a escola contribui para a educação? Os resultados do SAEB – Sistema Nacional de Avaliação da Educação Básica revelaram que 59% das crianças nas 4as séries não sabem ler. Os resultados do PISA – Programa de Avaliação Internacional de Alunos, realizado em 2003, mostram que 50% dos avaliados estão abaixo do nível 1 de proficiência. O INAF 2001 – Indicador Nacional de Alfabetismo Funcional apurou que: • 9% da população, entre 15 e 64 anos, está em situação de analfabetismo absoluto; • 31% consegue apenas localizar informações em textos curtos; • 34% localiza informações em textos de extensão média; • 26% é capaz de ir além da localização de informações, comparando partes do mesmo texto ou textos diferentes entre si, realizando inferências e sínteses. Esses diagnósticos se tornam mais drásticos quando se comparam os resultados obtidos por crianças e jovens brasileiros com os de outros países. Diante desse quadro, muitas indagações emergem: • As iniciativas de intervenção em processos e currículos escolares, formação de professores, melhoria salarial, investimentos em infra-estrutura básica e material escolar, ampliação do horário escolar, entre outras ações em curso, podem melhorar o ensino escolar e proporcionar novos patamares em termos de qualidade da educação brasileira? • Os dados divulgados estão gerando recomendações de políticas que alavanquem a melhoria nos resultados? • Que estruturas, práticas e recursos escolares podem potencializar o aprendizado de alunos que vivem em contextos de pobreza? • Como as escolas, diretores, alunos, pais e professores podem participar e aproveitar o conhecimento produzido nas avaliações para, de fato, atuar objeti- Cadernos Cenpec 2007 n. 3 vamente em processos que ajudem a melhorar seus resultados? • Com que concepção de avaliação de aprendizagem estão se organizando os Planos e Programas das Secretarias de Educação? • Que papel têm os diferentes níveis de governo na política de avaliação educacional? A partir desses questionamentos, nossos convidados apresentaram suas considerações, em um tom realista, mas não desesperançoso. Desejamos que este debate contribua para aumentar a nossa esperança de que o poder público crie e implemente políticas que conduzam a um sistema educacional melhor e a uma sociedade com mais justiça socioeconômica. -ARIADO#ARMO "RANTDE#ARVALHO %SCOLACOMUNIDADEEEDUCA¿»O Para início de conversa, vamos propor alguns questionamentos. O que fazer com as informações Primeira questão: produzimos inúmeras pesquisas avaliativas; realizamos diversos debates em torno delas. Entretanto, esse conhecimento não chega às equipes escolares. Uma enquete, realizada pela Fundação Vitor Civita e pela revista Nova Escola, mostrou que apenas 26% dos professores do país conhecem os resultados de avaliações como o SAEB – Sistema Nacional de Avaliação da Educação Básica ou o Programa Internacional de Avaliação de Alunos – PISA. Ainda não criamos um meio de devolver os resultados avaliativos para a ponta do sistema e para as comu- 18 nidades. Entende-se, por comunidade, não só os pais, as famílias, como também todos os sujeitos do território em que a escola se insere. Pela ausência deste processo devolutivo, é possível inferir que os dados avaliativos não são apropriados pelos professores, pela escola, pelos alunos e pela comunidade, comprometendo-os a alterar o status quo do baixo rendimento escolar das crianças e adolescentes brasileiros. Faltam recomendações Uma segunda questão: os resultados avaliativos sobre o desempenho dos alunos, em geral, constatam o baixo rendimento escolar, mas não fazem recomendações, ou melhor, não mobilizam estratégias para operar mudanças nesse quadro desalentador. Também não mapeiam alterações significativas que já ocorrem na gestão em alguns municípios e escolas. O Cenpec trabalha com cerca de 3.300 municípios brasileiros por meio de diversos programas, entre eles, o Programa Melhoria da Educação no Município (que atinge particularmente os municípios pequenos, situados no chamado “polígono da pobreza”) e o Prêmio Escrevendo o Futuro, que alcançou, em 2006, 24.533 escolas. Por meio dessa atuação, temos acesso a inúmeras e excelentes experiências de gestão municipal da educação e a projetos escolares que asseguram a aprendizagem. Esse registro avaliativo é muito importante, não apenas para gerar esperança e se sair do imobilismo, como também para explicar e disseminar os fatores do bom desempenho escolar. Família e comunidade Uma terceira questão importante: alguns estudos têm destacado a influência do background sociofamiliar e cultural como fator importante na proficiência dos alunos, registrando que o chamado efeito-escola, ou seja, a influência da ação da escola nos resultados escolares é menor do que se imagina. De fato, o efeito-escola, hoje bastante estudado e debatido entre nós, sinaliza para o efeito relativo que a escola tem nos ganhos de aprendizagem de crianças e adolescentes. Tais estudos demonstram que o efeito-família e o efeito-comunidade têm muito peso e influência na aprendizagem dos alunos, considerando tanto os maiores quanto os menores resultados de aprendizagem. Cadernos Cenpec 2007 n. 3 Comunidades e famílias pouco letradas, com baixa renda e acesso precário a bens e serviços, acabam por interferir nos resultados de aprendizagem de crianças e adolescentes. No entanto, é possível potencializar o efeito-escola quando a instituição é capaz de se unir à família e à comunidade. O estudo recém-divulgado, Aprova Brasil, realizado pelo Ministério da Educação e Unicef, atesta que as 33 escolas pesquisadas (as com melhor desempenho de seus alunos na Prova Brasil) se tratavam de escolas, em geral, inseridas em comunidades castigadas pela pobreza, onde o efeito-escola é expressivo porque elas têm equipes docentes estáveis, projetos pedagógicos duradouros (contínuos), apostam no aluno e, por fim, mantêm estreita relação com as comunidades, realizando aquilo que mais se almeja: uma comunidade de aprendizagem. Preocupação latino-americana Uma quarta e última questão: ações promissoras. Participei de uma reunião latino-americana sobre educação, realizada em Santiago do Chile, em 29 e 30 de novembro de 2006. Ficou claro que todas as nações latino-americanas estão preocupadas com o mau desempenho escolar em seus países: com o abandono, as defasagens de idade-série, a reprovação e a baixa efetividade da escola. Nessa reunião, os ministérios do Chile e da Argentina apresentaram novas diretrizes para a melhoria dos resultados educacionais. A Argentina alterou sua LDB, a fim de conceber ações flexibilizadas e compostas com outros espaços de aprendizagem, capazes de assegurar, a crianças e adolescentes, a permanência no sistema, com elevação de rendimentos educacionais. No Chile, propõe-se a criação de um fundo para financiamento de ONGs, para que se viabilizem ações complementares à escola. Foram mostrados diversas experiências dos países latino-americanos, cujo resumo pode ser assim expresso: temos alunos que não respondem ao sistema escolar normal e que, às vezes, precisam de ações complementares, para as quais as ONGs estão mais preparadas, porque conseguem oferecer um atendimento individualizado a esse adolescente e, com isso, fazê-lo, aos poucos, retornar ou se manter no sistema, aprendendo. Eles reconhecem que retornar ao sistema não é uma coisa tranqüila. 19 Querem também trabalhar com a parceria escolaONG, criando outros espaços de aprendizagem para compor um tipo de articulação e complementaridade que contemple a diversidade, a heterogeneidade de seus alunos. Nós, do Cenpec, no programa Educação e Comunidade, estamos procurando uma articulação maior entre ONGs e escolas para garantir uma jornada integral de educação. Lá, estão pensando além disso. Eles reconhecem que algumas crianças e adolescentes encontram muitas dificuldades para se manter na escola e alcançar o rendimento esperado. Foi muito bom ouvir isso porque, quando realizamos o Programa de Aceleração de Aprendizagem para alunos da rede de ensino fundamental no estado de São Paulo e Paraná — e foi para apresentá-lo que fomos convidados a participar dessa reunião latino-americana —, uma de nossas avaliações foi a de que a criança ia muita bem no Programa e conseguia dar os saltos necessários. Porém, quando regressava à escola regular, recomeçavam as defasagens. Segundo a nossa análise, isso acontecia porque a escola não estava capacitada para receber esse tipo de aluno e mantinha seu formato padronizado para ensinar e avaliar. Conhecemos também o sistema nacional de avaliação do Chile, chamado SIMCE – Sistema de Medición de la Calidad Educativa. É uma proposta avaliativa semelhante ao SAEB – Sistema Nacional de Avaliação da Educação Básica e ao ENEM – Exame Nacional do Ensino Médio. O diferencial marcante é que o Chile já inaugurou um processo rico de preparação das escolas para a avaliação nacional, assim como introduziu um dia específico do ano (feriado nacional) para dar um retorno desta avaliação. Nesse dia, cada escola compartilha — com seus professores, alunos, pais e comunidade — o desempenho educacional obtido. Os dados nacionais são apresentados depois de se categorizarem as escolas conforme o meio socioeconômico e cultural em que estão inseridas, portanto, após se considerar a variável “background sociofamiliar” no desempenho escolar. Vale registrar que, para eles, esse retorno, talvez por ser recente, não acontece de maneira tranqüila; não tem funcionado ainda como gostariam. Observou-se que é muito difícil conquistar a adesão das escolas para esse evento. Uma das razões está no fato de que as escolas chilenas recebem recursos financeiros de acordo com o Cadernos Cenpec 2007 n. 3 número de matrículas. Se elas apresentam o desempenho dos alunos para a comunidade e para as famílias, eles podem ser comparados com os de outras instituições e, se os resultados não forem bons, as famílias podem mudar seus filhos de escola. Assim, há resistência à prestação de contas que, tanto lá quanto aqui, não é tão fácil na rede escolar. Educação integral e ações extra-escolares Por fim, vale comentar outro fato promissor, agora em relação ao Brasil. A Undime – União Nacional dos Dirigentes Municipais de Educação, em reunião nacional realizada em Brasília, no início de dezembro de 2006, debateu a questão da articulação de redes sociais e as alternativas que viabilizem jornadas maiores de atenção diária às crianças, porque tal medida não depende apenas da escola. No debate, todos reconhecem que a expansão do horário escolar, desejada e indicada pelo Plano Nacional de Educação, não é tão fácil de se implantar. Para isso, seria recomendável se fazer uma composição com as demais políticas sociais públicas e superar este mar de setorização. Sugeriu-se a realização de uma reunião no começo de 2007, juntando não só a Undime, como também as outras organizações de dirigentes da assistência social, como o Congemas – Colegiado Nacional de Gestores Municipais de Assistência Social, e o Conasems – Conselho Nacional de Secretários e Dirigentes Municipais de Saúde, da área de saúde, e outros organismos que possam representar os gestores municipais de Cultura e Esportes. Há programas de grande importância educativa em todas essas políticas que promovem ações extra-escolares. Esta recomendação é altamente promissora. Todos sabemos que a pouca efetividade das políticas ditas sociais tem direta relação com o fato de a sua gestão ser muito setorizada: elas são dominadas pelo corporativismo, conduzidas de forma fragmentada e paralela. Essa situação mantém a maioria da população brasileira na condição de pobreza e dificulta seu acesso aos serviços públicos, preserva e reforça a desigualdade. A educação vai melhorar se for compreendida em sua dimensão multidimensional e, portanto, se for articulada e integrada a um projeto de política social mais ampla, com metas claras para o desenvolvimento do cidadão brasileiro. 20 *OSÁ&RANCISCO3OARES !ESCOLACOMOTEMPO EESPA¿ODEEDUCA¿»O O tema proposto para este seminário nos convida a refletir sobre o sentido de algumas palavras — avaliação, resultados e melhoria — todas muito incômodas quando relacionadas à educação. Vou concentrar minha atenção na educação escolar, aquela parte da educação que ocorre na escola. Recentemente, li um livro, L’obligation de résultats em education,1 com os artigos apresentados em um simpósio na Universidade de Laval, em Quebec, Canadá. Os diversos autores mostram como são de diferentes origens as dificuldades com o uso da categoria resultados para a análise da instituição escolar e como todos nós que trabalhamos em escolas não fomos preparados para analisar os resultados dos processos escolares. Acostumamo-nos a pensar como cada um desses processos deveria funcionar e quais recursos são necessários, mas não se seus resultados atendem aos alunos e à sociedade. Diferentemente daqueles autores, entretanto, em relação ao Brasil de hoje, entendo que é útil e necessário analisar os processos escolares pelos seus resultados. Isso é uma das conseqüências da redemocratização do nosso país. Depois da constituição “cidadã”, é legítimo que todos questionem o tipo de serviço que as diversas instituições prestam: hospitais, órgãos do Estado, polícias, comércio e, também, as escolas. Em oposição à opinião de muitos outros comentaristas educacionais, creio que a idéia de resultado não está associada a uma visão meramente instrumental da instituição escolar, que não pode ser reduzida a uma “empresa prestadora de serviços”. Cadernos Cenpec 2007 n. 3 Depois, a palavra avaliação. A avaliação começa com a caracterização dos resultados escolares. O sistema brasileiro de educação básica conta com milhões de alunos. Nesse caso, só se pode caracterizar o resultado medindo-o. Entretanto, numa sala de aula, onde o aluno pode ser tratado individualmente, há outras formas mais apropriadas de avaliação do resultado escolar. Costumo dizer que todo estudante tem o direito de ser avaliado, imitando Mário Quintana que, na quadra “Da indulgência”, no livro Espelho Mágico, diz que tratar a todos igualmente bem é a melhor maneira de desprezar alguém. Ou seja, negar a avaliação da aprendizagem a um aluno é uma forma sofisticada de excluí-lo. Isso nos leva, naturalmente, à terceira palavra do nosso tema: melhoria. Conhecido o resultado da avaliação de um aluno, o que a escola pode fazer para melhorálo? Novamente, minha proposta é buscar a justiça. Todos e cada um dos alunos de uma escola têm o direito de aprender e, constatado que isso não aconteceu, é preciso encontrar o motivo e implementar a intervenção necessária para que a aprendizagem ocorra. Procurarei, nesta minha exposição, explicitar o sentido e a relevância educacional dessas palavras para a análise da situação da educação no Brasil de hoje. Educação escolar Todas as sociedades oferecem oportunidades educacionais a suas crianças e jovens com o objetivo de lhes possibilitar a aquisição de competências cognitivas ou não, conhecimentos e atitudes, de forma que possam viver uma vida produtiva e feliz, além de ter uma inserção crítica na sociedade. Nesse sentido amplo, a educação ocorre dentro e fora da escola. A escola não pode excluir qualquer um dos objetivos da educação, mas deve enfatizar a aquisição de competências cognitivas, que não podem ser adquiridas em outros ambientes. Trata-se de um equilíbrio necessário, porém difícil. Não é legitimo que um projeto pedagógico, elaborado para um sistema de ensino público, não explicite que um de seus objetivos é a aquisição de competências, como a leitura e a matemática, embora isso seja realidade no Brasil. Pessoalmente, estou tranqüilo, em paz, quando defendo que a educação acontece também fora da escola e, portanto, ela é ainda função de outras estruturas so- 21 ciais, contudo, o aprendizado é a ênfase natural da escola. Falo de ênfase, não de redução de propósitos a uma única meta. Escolho a escola para meu filho e minha filha pensando nesse compromisso. Entretanto, considerando a história recente das intervenções pedagógicas implementadas em nosso país, ser progressista atualmente é dizer que todos os alunos devem aprender e que o ensino e a aprendizagem devem ser os objetivos da escola. Entre tantas aprendizagens necessárias, pessoalmente, gosto de priorizar a leitura, aceitando a provocativa frase de Ziraldo, em uma de suas crônicas, que afirma: “ler é mais importante do que estudar”, pois, só lendo e entendendo, é que podemos aprender. Diante disso, considero um escândalo o fato de um número enorme de crianças e jovens passar pela escola e pouco aprender. Resultados escolares Quando falo de resultado escolar, refiro-me ao aprendizado dos alunos. Todavia, não temos acesso direto ao aprendizado, apenas o conhecemos por meio do desempenho dos alunos em um teste. Portanto, temos apenas uma forma indireta, e muitas vezes precária, de saber se houve aprendizado. Há testes que permitem uma boa visão do aprendizado, como o PISA2 e o SAEB,3 embora suas propostas sejam diferentes. Estamos interessados em analisar o desempenho dos estudantes como expressão do trabalho da escola. Aqui, a situação é mais complexa. O desempenho do aluno é fruto não só dos seus esforços individuais, como também das opções históricas de sua família e da pressão dos grupos sociais de referência. Atribuir pesos a estas diferentes origens não é tarefa fácil. Diante da lista dos aprovados no vestibular das famosas universidades, as escolas vão dizer: “Fomos nós’’; os cursinhos também dirão: “Fomos nós’’. Mas talvez os pais devessem dizer: “Fomos nós’’, e, certamente, cada aluno pode dizer: “Foi o meu esforço”. Na realidade, sabemos hoje que o desempenho acadêmico é devido à ação concomitante de todas essas estruturas. É quase impossível separar a contribuição específica de cada uma. No entanto, quando isso é feito, por meio do uso de modelos estatísticos, verifica-se que a maior parte da variação nas notas dos alunos em um teste está associada aos fatores extra-escolares. Isso é equivocadamente resumido na frase: “a escola não faz Cadernos Cenpec 2007 n. 3 diferença”, como se fosse possível aprender sem freqüentar uma escola. Idealmente, uma escola deveria ser avaliada pelo que acrescentou a cada um de seus alunos, considerando-se seu conhecimento individual ao ser admitido. Isso implica um acompanhamento dos alunos ao longo do tempo. Ou seja, para se verificar, de fato, o efeito da escola, é preciso olhar a trajetória de seus alunos para valorizar a diferença entre o que sabiam antes e o que sabem agora. Há crianças com histórias de vida com tanta exclusão que, necessariamente, sua trajetória até o aprendizado será mais longa, muito mais difícil. Há muitos exemplos de projetos pedagógicos bem-sucedidos, que conseguiram levar os seus alunos mais longe. São as boas escolas. No entanto, se não posso deixar de considerar a trajetória, também não posso deixar de observar até onde a criança chegou. Se não houve aprendizado, houve uma falha da escola. Aprender é direito da criança. Adiante, tratarei um pouco mais da questão do desempenho, sua medida e uso. Mas este é um tema mais amplo, impossível de se esgotar em uma conversa como esta. Quero apenas assinalar: medir o desempenho por meio de um teste — SAEB, ENEM, vestibular etc. — sem se fazer a necessária contextualização pedagógica é má prática acadêmica. Avaliar ensino e aprendizagem Como já disse, a primeira etapa da avaliação é a medida dos resultados. Se vocês aceitaram a forma como eu analiso os resultados, o fato de eu defender a necessidade de medir resultados escolares não deve criar tanta resistência, como é usual em uma platéia de educadores. Mas medir não é avaliar, para isto, é necessário associar os resultados observados aos processos — e, na escola, o processo central é o de ensino-aprendizagem. São muitos os processos em uma escola e, por isso, diferentes devem ser os olhares sobre essa estrutura. Alguns analistas, não educadores, com freqüência dizem que a escola é apenas mais um exemplo de uma “indústria de serviços”. Com isso, querem se apropriar dos mesmos esquemas utilizados para bancos, restaurantes, clubes esportivos para pensarem sobre a escola. Não gosto disso. Para mim, a escola é uma interação entre pessoas, cuja finalidade é o aprendizado — algo especial. 22 Por outro lado, a instituição escolar tem seus processos de limpeza, secretaria, manutenção, atendimento às famílias; além de contabilidade e estrutura administrativa, como qualquer outra organização. Não há motivo algum para negligenciar esses processos, tanto dentro da escola quanto fora dela. Mas, quando falamos de avaliação escolar, tenho que privilegiar o processo de ensino e aprendizagem e reconhecer que alguns deles registram ótimos resultados. Essa forma de pensar precisa ser aceita com mais tranqüilidade dentro da escola. Mesmo quem não defende o aprendizado como o resultado maior de uma escola ganharia se pensasse em como obter os outros resultados que privilegia. Medir para monitorar e entender Em ambiente de educadores, há usualmente rejeição às medições. Por isso, sempre tenho de justificar sua necessidade e importância. Novamente, busco a justificativa na organização democrática de nossa sociedade. Todos os alunos devem ser considerados. Mas como fazer isso se somos muitos, milhões mesmo? A única maneira é medir, de forma padronizada, os resultados e comparálos com os pretendidos pelo sistema de ensino. Interessante que outras áreas sociais, como a saúde, já superaram a aversão ao indicador. Percebam que não há crítica ao uso de medidas para avaliar a mortalidade infantil e a esperança de vida na análise da situação de saúde de um grupo populacional. Como disse na introdução, se estou em uma sala de aula, onde posso, por meio da observação, conhecer o aprendizado de todos os alunos, não preciso e não devo medi-lo; contudo, para determinar se um sistema educacional, que reúne milhares de alunos, está funcionando, é preciso criar uma medida. Há medidas de resultados para o monitoramento do sistema e para o entendimento ou explicação desses resultados. O SAEB, por exemplo, é voltado para o monitoramento do sistema de educação básica brasileira. Historicamente, foi muito ruim a utilização da palavra “avaliação” no seu nome, sugerindo assim que pode fornecer mais do que foi planejado. Com ele, situamo-nos em termos de aprendizado. Mas também deveríamos saber quais objetivos deveríamos ter alcançado e por que estamos nessa situação. Responder a essas perguntas exige outras medidas im- Cadernos Cenpec 2007 n. 3 possíveis de serem obtidas em um levantamento baseado na idéia de que o monitoramento vai conseguir resolver o problema. Para entender a situação, não podemos depender apenas do dado coletado para outras finalidades — os dados obtidos nos vestibulares, por exemplo, são pobres, pois sua única finalidade é a seleção. Precisamos de pesquisa educacional empírica, que é longa, cooperativa e cara. Infelizmente, o Brasil tem pouca tradição em pesquisas desse tipo. Nosso grupo de pesquisa, que conta com colegas de quatro outras universidades, participa do projeto Geres – Estudo Longitudinal da Geração Escolar 2005. Estamos acompanhando mais de 20 mil alunos das séries iniciais do ensino fundamental, para entender as atuais dificuldades da alfabetização. Precisamos, na pesquisa educacional, perder o medo da medida, colocando-a no seu devido lugar: quando o foco é o monitoramento, ela serve para conhecer os resultados; quando procuramos a explicação, auxilia para a indicação não-viciada de boas práticas e políticas. O bom uso das medidas A comparação dos resultados entre escolas semelhantes é um exercício sempre útil. Comparações bem-feitas são fonte de conhecimento. Por exemplo, ao analisar os resultados das escolas de Belo Horizonte que atendem a alunos de mesmo nível socioeconômico, encontrei diferença equivalente a dois anos de escolarização. Este é um dado que poderia ser usado para a melhoria de muitas escolas. Se algumas delas podem produzir um bom resultado, o que impede as outras de também o fazerem? Um importante exemplo internacional vem do Chile. Lá, são três os tipos de escolas: • as públicas, administradas por sistemas públicos, como aqui; • as escolas privadas, mantidas pelo Estado; • as escolas privadas pagas pelos próprios alunos. Mesmo com a possibilidade de seleção dessas escolas, a comparação dos resultados não lhes foi favorável. A importância da escola Pode parecer estranho, mas é necessário enfatizar a importância da instituição escolar. Muitos educadores 23 falam da escola como se ela fosse dispensável para os objetivos maiores da educação. No entanto, em uma sociedade desigual, como a brasileira, com milhões de crianças e jovens que precisam que as suas necessidades cognitivas sejam atendidas, penso que é irresponsabilidade cívica sugerir que a escola não é necessária. Na sua ausência, apenas alguns poucos, os filhos dos privilegiados, serão contemplados. Em contraposição, creio que precisamos de uma escola aberta a todos e em que todos aprendam. Sua construção é nosso desafio. Para isso, vamos ter que jogar fora algumas concepções, começando com certos determinismos, de esquerda e de direita. Bourdieu é um sociólogo francês que, embora com uma produção acadêmica rica e complexa, é citado apenas quando se quer dizer que a escola é somente reprodutora das diferenças sociais. Levada ao pé da letra, esta idéia é, desculpe-me a força da expressão, “castrante”. De que maneira ter, como opção de vida, a participação em um projeto escolar, se essa instituição reproduzirá as diferenças sociais existentes? No outro extremo político, há os resultados da pesquisa de base econométrica americana, afirmando que a escola faz pouca diferença e que mais recursos nela aplicados também não produzirão os resultados desejados. Esses estudos foram realizados em um país onde as escolas têm todos os recursos pedagógicos necessários. Não se podem aplicar esses resultados cegamente ao Brasil, onde as carências escolares são tão grandes ainda. Contrapondo-se a essas posições pessimistas e, no fundo, simplistas, surgiu a pesquisa sobre o efeito da escola e da escola eficaz. É uma linha de pesquisa ainda pouco difundida no Brasil e ampla demais para ser sintetizada em uma fala como esta. Minha inserção nesta temática, entretanto, influencia minhas posições. Há, no Brasil, uma forte corrente que advoga que a mudança da escola será obtida pela ação sobre um único aspecto. O mais freqüentemente escolhido é o “treinamento” dos professores. Enormes recursos já foram gastos com essa opção, politicamente atraente. No entanto, para o aluno aprender não basta que o professor saiba; a escola precisa funcionar. Escolas diferentes funcionam de forma diferente. Alguns exemplos mostram que elas podem melhorar, como percebi na minha pesquisa sobre as escolas públicas de Belo Horizonte. Cadernos Cenpec 2007 n. 3 Matrizes para uma nova escola Preliminarmente, é preciso enfatizar que não há um único caminho. A padronização, idéia muito cara para os consultores que trabalham com a melhoria da qualidade de produtos industriais, não se aplica bem às escolas. Entretanto, há pesquisas e sólidas evidências empíricas que devem ser consideradas para se buscar o caminho apropriado a cada escola. Mas, antes de elaborar essa idéia, é preciso rebater o conceito da especificidade radical da escola, tese tão cara a muitos colegas. Ao se basear nessa visão, assumese que nada do que foi feito fora das fronteiras de minha escola é relevante. Na realidade, a literatura mostra exatamente o contrário, e traz muitos exemplos de sucesso a partir do uso da experiência alheia. Identifico três matrizes de pesquisas que podem ser utilizadas, com sucesso, para a escolha do nosso plano de ação para a intervenção escolar. Novamente, descrever detalhadamente cada uma delas ultrapassa os limites impostos a esta apresentação. Naturalmente, todas têm suas potencialidades e limitações. A primeira matriz está relacionada à influência gerencial, e a sua linha básica de ação é o empoderamento da direção da escola. Ela teria o poder de contratar professores, escolher as formas de ensino, controlar o seu orçamento. Essa linha de pensamento também absorve muito da teoria das organizações; seus diferentes modelos de gestão são adequados para uma organização tão específica como a escolar. Uma segunda linha são as escolas eficazes. Essa linha de pesquisa iniciou-se logo após a publicação do Relatório Coleman,4 em um esforço de mostrar que as suas conclusões eram equivocadas. Escolas consideradas capazes de obter bons resultados foram selecionadas e, por meio de estudo de caso, identificadas suas características. Há hoje muita literatura sobre o tema. Entretanto, ela tem sido difundida muito lentamente no Brasil. No entanto, durante a vigência do Fundescola – Fundo de Fortalecimento da Escola, uma atividade denominada PDE – Plano de Desenvolvimento da Escola procurava disseminar, por meio de uma metodologia participativa, essas idéias nas escolas públicas, na área de atuação daquele programa. Atualmente, no Brasil, há uma terceira matriz difusa que é chamada de construção do projeto político-pe- 24 dagógico da escola. A idéia básica é que a escola deve construir seu plano de ação, ouvindo seus alunos, pais e professores. Essas atividades são organizadas em “constituintes” escolares. Com freqüência, essa abordagem fez com que a discussão pedagógica desaparecesse diante da dimensão política. Como quem lidera o processo é a corporação dos professores, o resultado é uma enorme complacência com a ausência de resultados escolares. Essas três matrizes de pensamento sobre como organizar uma transformação escolar ainda não receberam, no Brasil, a atenção devida. Assim, não podem ser avaliadas pelos seus fracassos. Entendo que é preciso estar aberto a todo o conhecimento acumulado na área e fazer as opções mais adequadas e viáveis para a escola real. Não se podem excluir idéias, mas as escolhas para uma escola específica exigem coerência. Tenho dúvidas, entretanto, se é viável que uma escola crie e implemente uma nova proposta de ação ao mesmo tempo que executa o projeto atual. Entendo que é função dos órgãos centrais dos sistemas e das ONGs oferecerem opções, esqueletos de propostas que seriam concretizadas pela comunidade escolar. As três matrizes de pensamento são muito adequadas para planejar uma nova escola, mas não necessariamente para mudar uma já existente. Construir uma comunidade educativa Entretanto, alguma atitude concreta deve ser adotada em relação às escolas. Prescrever a construção de um projeto completamente novo, articulado, é fugir da realidade. Assim, listo algumas idéias que, entendo, devem circular mais e influenciar a quem está na organização dos sistemas e na direção das escolas. Entre as idéias que fico “martelando”, a primeira é a necessidade de aumentar a autonomia da escola. Hoje, nos sistemas públicos, o usual é esperar que as iniciativas venham das secretarias, para serem criticadas. Um amigo meu estava no governo e, orgulhosamente, mostrou-me um folheto que enviava para todas as escolas, solicitando que elas limpassem as calhas dos prédios escolares porque ia chover e, no ano anterior, tinha havido muita reclamação sobre as goteiras. Se a escola não tem iniciativa ou recursos para cuidar de algo tão previsível, como preparar o prédio para as Cadernos Cenpec 2007 n. 3 chuvas, é difícil imaginar que cuidará de obter melhores resultados para seus alunos. Meu segundo conceito é também muito simples: rotina, infelizmente, uma palavra politicamente incorreta. Mas precisamos ter as escolas funcionando com seus ritos e ritmos identificados. Nesse sentido, é importante tratar, de forma mais evidente, o enorme absenteísmo de alunos e professores. Uma aluna mencionou que, em um dia de dezembro de 2006, faltaram sete professores, dos 15 de sua escola. Como funcionar dessa forma? Além da rotina, é preciso preservar um grupo estável de trabalho em cada escola. Nas grandes cidades, a mudança é de tal ordem que, a cada ano, parece uma escola nova. Há um outro conceito que tenho defendido: a escola tem de estar conectada com a comunidade à qual ela serve e lhe dar as devidas explicações. A escola precisa dizer: “Eu faço isso, mas não dá pra fazer aquilo’’. Ela deve estabelecer uma linha de comunicação direta e mais tranqüila com a comunidade, e vice-versa. Sua atenção deve estar voltada para o aluno real. É má idéia imaginar que, por exemplo, 180 escolas usarão a mesma pedagogia. Elas são diferentes. Vejam esta questão com a qual nos deparamos em Belo Horizonte: o aluno da grande periferia da cidade. Esse tipo de aluno nunca esteve na escola. Não sabemos o que fazer exatamente com ele. A solução parece caminhar na direção de juntar os conteúdos a atividades como o esporte, o que implica a ação conjunta da educação e da assistência social. Para isso, precisamos de uma pedagogia específica. Ela necessita existir, estar sacramentada e ser reconhecida. A escola particular está trabalhando nesse sentido. Apoio: as secretarias de educação existem para ajudar as escolas e não para fazer exigências pouco razoáveis. Isto não ocorre, entretanto, na prática. As pessoas que trabalham nas secretarias mantêm processos que beneficiam a elas mesmas. Estudos comparativos mostram que isso não é privilégio da escola brasileira. O sistema católico de Los Angeles, constatou-se, tinha um décimo do número de pessoal alocado à supervisão do sistema público. Provavelmente, isso está acontecendo no Brasil: temos muito mais gente trabalhando na supervisão. Para melhorar, a escola precisa se transformar numa comunidade educativa. Não é simples, mas acredito que é exatamente por aí que chegaremos aos melho- 25 res resultados. As formulações participativas instituídas, como os colegiados de pais, mostram que esta é uma direção que deve ser seguida. A comunidade não conhece a escola Embora nossa escola pública possa ser melhor e o conhecimento necessário para isso já esteja desenvolvido, há sérias dificuldades que impedem sua transformação. Talvez a maior seja a tradição de o professor, o funcionário público e o gestor do sistema não perceberem que a escola existe em função do aluno. Aos poucos, foram sendo criadas vantagens, consagradas em leis e rotinas, sem a consideração deste fato simples: o aluno é a justificativa da existência da escola. Mudar isso é muito difícil — por exemplo, deixar de considerar normal que um professor possa faltar sem qualquer explicação. A escola tem muitos problemas que não são dela. Desenvolvemos cidades que são muito pouco razoáveis. Como é que você vai fazer uma escola funcionar num lugar que, no fundo, no fundo, é inabitável? Perdemos a noção de como poderia ser uma cidade plausível. Nós nos lembramos disso quando vemos, na televisão, a seleção brasileira naquela cidade da Alemanha, e pensamos: “Gozado, as pessoas andam na rua... naquela área, o carro não entra...”. Eu não sei como enfrentar estas dificuldades, embora novamente insista que os dados apontam que é possível melhorar os resultados da escola real. Mas, no fundo, a população está satisfeita com a péssima escola que a atende. Desconsidera a urgência educacional que temos. Termino com os dados de desempenho do SAEB, que falam por si. Nossos alunos vão à escola, mas não aprendem. Urgência educacional PORTUGUÊS – SAEB 2003 Série Níveis de desempenho Abaixo do Básico Básico Satisfatório 51,6 19,4 29,0 8ª E.F. 57,1 28,2 14,7 3ª E.M. 79,1 14,0 6,9 4ª E.F. Cadernos Cenpec 2007 n. 3 MATEMÁTICA – SAEB 2003 Série Níveis de desempenho Abaixo do Básico Básico Satisfatório 4ª E.F. 55,4 19,0 25,6 8ª E.F. 45,6 34,3 20,1 3ª E.M. 38,6 34,5 26,9 Há uma urgência educacional. Precisamos atingir um nível básico satisfatório na educação. Vamos considerar o caso da leitura. Uma prova, qualquer que seja ela, parte de um texto, começa com uma leitura. O SAEB não é uma prova de Língua Portuguesa, é uma prova de leitura. Dá-se um texto e a criança lê. Um texto básico, extremamente simples. E qual é o resultado? Em Língua Portuguesa, a maioria dos alunos — 55,4% — está abaixo do básico. Eu não consideraria essas pessoas analfabetas... Entretanto, utilizando uma metáfora da área de saúde, eu diria que esse problema com a leitura é uma epidemia que precisa ser erradicada. Uma das razões para isso é que não é possível se pensar em cidadania se esses alunos não entendem o que lêem. Precisamos avaliar para mudar esse quadro. Preocupamo-nos com o resultado, porque, se não corrigirmos essa deficiência, não vamos conseguir ensinar direito. A atual situação faz com que tenhamos que caminhar. Não podemos ficar parados, achando que tudo vai se resolver por si. 3 4 dessas áreas. Em 2000, o foco estava na Leitura; em 2003, a área principal foi a Matemática; em 2006,a ênfase da avaliação foi em Ciências. Alguns elementos avaliados pelo PISA, como o domínio de conhecimentos científicos básicos, fazem parte do currículo das escolas, porém, o PISA pretende ir além desse conhecimento escolar, examinando a capacidade dos alunos de analisar, raciocinar e refletir ativamente sobre seus conhecimentos e experiências, enfocando competências que serão relevantes para suas vidas futuras. Em 2003, participaram do PISA 250 mil adolescentes, com 15 anos de idade, em 41 países, 30 deles são membros da OCDE e os demais, convidados. Da América Latina, participaram Brasil, Uruguai e México. Em 2006, o Brasil participou pela terceira vez do programa, com mais cinco países latino-americanos: Argentina, Chile e Colômbia, além de Uruguai e México. Ver em: <http://www.inep.gov.br/internacional/PISA/>. A partir de 2005, o SAEB – Sistema Nacional de Avaliação da Educação Básica passou a ser composto por duas avaliações: a Avaliação Nacional da Educação Básica – ANEB e a Avaliação Nacional do Rendimento Escolar – Anresc. A ANEB é realizada por amostragem das Redes de Ensino, em cada unidade da Federação, e tem foco nas gestões dos sistemas educacionais. Por manter as mesmas características, a ANEB recebe o nome do SAEB em suas divulgações; A Anresc é mais extensa e detalhada que a ANEB e focaliza cada unidade escolar. Por seu caráter universal, recebe o nome de Prova Brasil em suas divulgações. Ver em: <http://www.inep.gov.br/basica/SAEB/default.asp>. O Relatório Coleman apresenta os resultados de uma pesquisa, realizada nos anos 1960 com alunos norte-americanos, que gerou reações de desânimo entre os educadores, pois parecia concluir que a escola teria pouco impacto no desempenho dos alunos ou que “as escolas não fazem diferença”, como se costumava comentar na época. .AÁRCIO-ENEZES 0ARAALÁMDASSALASDEAULA Notas 1 2 LESSARD, Claude; MEIRIEU, Philippe. L’obligation de résultats en éducation – Évolutions, perspectives et enjeux internationaux. Première edition. Editions de Boeck, 2005. p. 342 (Collection Perspectives en éducation et formation). PISA – Programa Internacional de Avaliação de Alunos. O PISA é um programa internacional de avaliação comparada, cuja principal finalidade é produzir indicadores sobre a efetividade dos sistemas educacionais, avaliando o desempenho de alunos na faixa dos 15 anos, idade em que se pressupõe o término da escolaridade básica obrigatória na maioria dos países. Esse programa é desenvolvido e coordenado internacionalmente pela Organização para Cooperação e Desenvolvimento Econômico – OCDE, havendo em cada país participante uma coordenação nacional. No Brasil, o PISA é coordenado pelo INEP – Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. As avaliações do PISA incluem cadernos de prova e questionários e acontecem a cada três anos, com ênfases distintas em três áreas: Leitura, Matemática e Ciências. Em cada edição, o foco recai principalmente sobre uma 26 Círculo Virtuoso A educação passará a ser mais valorizada pelos pais, que passarão a demandar educação de mais qualidade e controlar a presença do professor, que passará a ensinar melhor e ganhar melhores salários, o que vai melhorar ainda mais a qualidade da escola. Ester Duflo, 2006. Na raiz da desigualdade social Sempre me incomodou o problema da desigualdade social no Brasil. Desde minha graduação em economia, eu tinha vontade de entender melhor porque o Brasil é Cadernos Cenpec 2007 n. 3 um dos países mais desiguais do mundo; porque tão poucas pessoas se apropriam de uma parcela tão grande da renda, ao passo que a maioria vive numa situação de pobreza. Para responder a estas perguntas, fui estudar. Fiz meu doutorado no exterior, voltei, aprendi técnicas estatísticas, de econometria. E pensei: “Agora que tenho um instrumental, vou tentar entender o problema’’. Comecei analisando a distribuição de renda no Brasil. Em todos os lugares em que eu pesquisava, a educação aparecia como principal fator para explicar a desigualdade. As diferenças educacionais entre as pessoas justificam cerca de 50% da distribuição de renda do Brasil. Então, em tese, se dermos a mesma educação para todo mundo, uma coisa impossível, a desigualdade de renda se reduziria em 50%. Esta é a primeira conclusão a que cheguei. Por quê? Porque aqueles que se educam mais têm um salário muito maior, e porque pouca gente atingiu, por exemplo, o ensino superior no Brasil. Historicamente, o país avançou muito pouco em termos educacionais. Países como a Coréia, Chile e Argentina colocavam as crianças na escola muito mais cedo, e elas permaneciam lá por muito mais tempo. O Brasil, apesar de ter uma população bem maior, nunca se preocupou em criar um sistema adequado ao desenvolvimento educacional. Por isso, pouca gente se educou formalmente. Um dos resultados é esta grande desigualdade de renda. É fascinante tentar entender a qualidade da educação. Nós temos indicadores que permitem uma boa análise da situação. Então, fiz a pergunta crucial: “Como podemos melhorar este quadro?’’. Quantidade e qualidade Nos anos 1990, tivemos uma melhora educacional muito rápida no Brasil, em termos quantitativos, no que diz respeito à matrícula e à freqüência. O porcentual das pessoas que atingiram o ensino médio era cerca de 20% na geração nascida em 1970. Entre os nascidos em 1972, que têm 34 anos agora, 55% passaram pelo ensino médio. Quer dizer, houve um aumento extraordinário na matrícula no ensino médio. Refleti: “Estamos avançando bem”. Mas notei um problema grave: a transição do ensino médio para o ensino superior continua estagnada, porque há muita gente chegando ao ensino médio e pouca entrando no ensino 27 superior. Algumas pessoas até ingressam no ensino superior, uma pequena porcentagem. Porém, elas desistem rapidamente, muitas vezes porque não têm os recursos necessários para pagar a faculdade. A renda média no Brasil é de R$ 500,00 por mês. E então, pensei: “Em grande parte, o problema de freqüência, matrícula e permanência, até o ensino médio, já está sendo resolvido’’. Agora, falta resolver o problema básico: a qualidade da educação. Surgiram estudos, nos Estados Unidos, mostrando que, para estimular o crescimento econômico dos países, mais importante do que a média dos anos de escolaridade da população é a qualidade da educação. E qualidade é o que se avalia nos exames de proficiência. Perguntei-me: “Como é a qualidade do ensino no Brasil? Há algum indicador?”, porque os economistas precisam de números, de indicadores, senão eles não conseguem trabalhar. É uma limitação da área. Descobri os dados do SAEB, do ENEM... Ao mesmo tempo, começaram a ser divulgados, cada vez mais, os índices de exames de proficiência. “Pronto, agora tenho meus indicadores”. “Eles ainda são limitados, mas, ao menos, podemos fazer alguma coisa com eles”. Comecei a analisar os dados... É assim: a gente começa com o problema da desigualdade social, vai caminhando, caminhando, e chega à qualidade da educação... Mau desempenho internacional Vamos agora aos dados. A proficiência, de acordo com o SAEB, vem caindo. Conforme o SAEB de 2003, na 4ª série: • 12% dos alunos têm desempenho muito crítico; • 40%, crítico; • outros 40%, intermediário; • apenas 8%, adequado. Ou seja, mais de 50% dos alunos da 4ª série tiveram desempenho crítico ou muito crítico. Isso significa que, basicamente, eles não sabem fazer contas de multiplicação, ver as horas no relógio, coisas desse tipo. Aqueles com desempenho intermediário já avançam um pouco mais, ainda assim não conseguem fazer multiplicação com três algarismos. Quer dizer, é menos do que se espera no sistema. Se você analisar também a 8ª série, há cerca de 60% dos alunos situados no nível muito crítico e crítico. E, no Cadernos Cenpec 2007 n. 3 3º ano do ensino médio, ainda mais: cerca de 70%. Quer dizer, os alunos estão indo muito mal nesses exames. O PISA – Programa Internacional de Avaliação de Alunos é um caso preocupante. Neste teste internacional, realizado em vários países em 2003, os alunos brasileiros tiveram o pior desempenho. O Brasil foi o último colocado. A maioria desses países é da OCDR – Organização para Cooperação e Desenvolvimento Econômico. São países mais desenvolvidos. Talvez não esperássemos que o Brasil tivesse um nível como o deles, mas lá estão também o México, o Uruguai, alguns países menos desenvolvidos que, ainda assim, obtiveram melhor resultado do que o Brasil nos testes de matemática. Se considerarmos só os alunos de elite, os 5% de melhor desempenho em cada país, o Brasil também está entre os últimos nesse teste internacional. Quer dizer, nem mesmo os melhores alunos brasileiros estão indo bem. Há alguma coisa muito errada com o ensino do Brasil. Por que os alunos brasileiros são os piores?... maria do carmo brant de carvalho — Achei interessante a análise que o INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira fez sobre o PISA: como os exames são todos para adolescentes de 15 anos, há uma séria distorção na relação idade-série escolar. Dependendo do país, os alunos de 15 anos podem estar na 6ª, 7ª ou 8ª série. Os alunos de 15 anos, nos Estados Unidos, estão no ensino médio... naércio menezes — É verdade. Vou até mostrar um dado que corrigi exatamente por causa disso. Esta é uma distorção do PISA. Eu ia justamente tocar nesse assunto. Em outros países, a criança chega aos 15 anos sabendo muito mais do que as nossas. As crianças brasileiras, muitas vezes, entram mais velhas nas escolas ou repetem muito e não chegam à série com a idade adequada. Isso é uma das explicações possíveis para o mau resultado do Brasil. Mas há uma deficiência real: as nossas crianças alcançam os 15 anos sabendo muito menos do que as crianças com a mesma idade em outros países. Mesmo comparando nossa elite econômica com a de outros países, o Brasil fica em último lugar, próximo de Tunísia, Indonésia e México. Isso é intrigante. Ao estudar a nossa distribuição de renda, aprendi que a elite consegue preservar muito bem seus interesses: ela matricula seus filhos nas melhores escolas e consegue os melhores empregos. E isso também é reflexo da nossa péssima distribuição de renda. 28 Contudo, no geral, o desempenho dos alunos da elite também é muito ruim. Precisamos analisar com cuidado essas informações. Se isso for verdade, então temos um problema geral com o método de ensino brasileiro que se reflete na baixa qualidade, na medida em que até os filhos da elite vão mal. O efeito-escola Vamos então ao efeito-escola, o centro da minha apresentação. Temos um banco de dados com as notas de todos os alunos, uma amostra de escola por estado. Portanto, podemos verificar de quanto é essa variação de notas dentro de escolas e de quanto ela é se for feita uma comparação entre as escolas. Não precisamos de qualquer teoria, de qualquer modelo econômico. Basta olhar os números e fazer um exercício simples de matemática, estatística. Cerca de 20% a 30% da diferença entre as notas dos alunos ocorre entre as escolas, o restante, 70% a 80%, dentro delas. Há todos os outros fatores sociais envolvidos nessa equação, a escola não é a única responsável pelo desempenho do aluno. Você pode ter uma visão otimista e pessimista sobre isso. Pessimista: isso é pouco, se você aprimorar muito a escola, só vai melhorar o desempenho dos alunos em 20% ou 30%. Na visão otimista, podemos pensar que esse efeito é grande. Além disso, os alunos de hoje serão os pais de amanhã. Então, o efeito na escola atual vai operar na família de amanhã. Em longo prazo, esse efeito é bem maior do que 20%. Por isso, é óbvio que vale a pena investir na escola. Essa análise é só para a gente ter noção de que, mesmo melhorando bastante a escola, o alcance dessa ação, em curto prazo, no desempenho dos alunos, é limitado. Além disso, é importante comparar escolas públicas e privadas. A gente sabe que as escolas privadas no Brasil são melhores do que as públicas. Em média, os alunos da escola privada no Brasil têm um desempenho 20% superior aos alunos da escola pública. Mesmo descontando todos os efeitos familiares, de livros em casa, computador, automóveis, educação dos pais, tudo. E isso eu atribuo à gestão mais eficiente na escola privada do que na pública. Esse aspecto varia muito de estado para estado. Em alguns estados, como Pará e Tocantins, a melhor escola Cadernos Cenpec 2007 n. 3 /SALUNOSCUJAM»E TEMESCOLARIDADE ELEVADAAPRESENTAMUM DESEMPENHOMUITOSUPERIOR OQUEÁESPERADO pública — quando você elimina os fatores familiares — é melhor do que a melhor escola privada. Mas a pior escola pública é muito pior do que a pior escola privada. É interessante perceber que, na mesma rede, no mesmo estado, você tem escolas públicas muito boas, melhores do que as privadas, e escolas muito ruins. Seria interessante saber o que determina que algumas escolas da mesma rede tenham um desempenho tão bom e outras, um desempenho tão ruim. Há uma diferença muito grande entre as escolas, e isso significa pontos no SAEB. Vamos ver São Paulo: a pior escola pública tem desempenho de 40 pontos abaixo da média e a melhor, 40 pontos acima da média. São 80 pontos e isso representa uma enormidade na 4ª quarta série, corresponde a mais do que quatro anos de escolaridade. Por que a desigualdade é muito grande? Se se conseguisse tirar o aluno da pior escola e colocá-lo na melhor, ele daria um enorme salto na proficiência. Então, o fato de a escola ter peso de só 30% não significa que ela não faz diferença. Significa que a heterogeneidade, antes da escola, é enorme no Brasil, e é aí que esses 30% causam um impacto muito grande. Assim, se melhorarmos a escola hoje, teremos um impacto muito forte no futuro. Quanto antes interviermos, principalmente na pré-escola, melhor. Isso é o que eu estou mostrando. Quanto mais tarde, mais difícil será consertar uma escolaridade que já começou atrasada. Há vários estudos mostrando que, quanto mais a criança é exposta a problemas que ela não consegue resolver, mais difícil sua aprendizagem, e ela tende a desistir do estudo. Um outro aspecto: é importante ressaltar que não há correlação entre gastos e proficiência. Os estados que gastam mais em educação têm os alunos com proficiência maior. Entretanto, para se atingir uma proficiência de 240, pode-se gastar R$ 400,00 por aluno/ano 29 ou R$ 1.000,00 por aluno/ano. O que significa também que é muito importante a maneira como se usam os recursos, assim como a maneira como se motivam os professores, os diretores. Tudo isso é fundamental para explicar o desempenho escolar. Vamos pensar em uma possível avaliação da proposta de educação integral. Os dados do SAEB não informam se o aluno freqüenta outras atividades em ONGs, mas mostram quantas horas os alunos permanecem na escola. E podemos usar esta informação para tentar imaginar como seria a avaliação quantitativa de um projeto de educação integral. Segundo o SAEB, nas escolas municipais: • 48% delas, no Brasil, têm quatro horas ou menos de aula; • 47% têm entre quatro e cinco horas; • 5% têm mais do que cinco horas. Essa informação foi dada pelo diretor da escola, portanto, deve corresponder à realidade. Nas escolas estaduais, é muito parecido: nas particulares, a maioria tem até quatro horas de aula; e, nas federais, que têm um desempenho muito bom, a maioria recebe entre quatro e cinco horas de aula. Então, será que aqueles alunos que têm mais horas/aula apresentam um desempenho melhor nos exames de proficiência? Analisando o SAEB, percebemos que aquelas escolas que oferecem entre quatro e cinco horas — ou até mais do que cinco horas — têm um desempenho positivo e significativo. Mesmo controlando todos os outros fatores, pode-se afirmar que o aluno que passa mais horas na sala de aula aprende mais. A participação da família Outra variável de grande impacto é a família. Os alunos cuja mãe tem escolaridade elevada apresentam um desempenho muito superior, o que é esperado. José Francisco Soares disse que essas crianças já chegam com background familiar: algumas freqüentaram a creche e outras não; algumas, a pré-escola; outras tinham pais que incentivavam os estudos, a leitura, e outras, não. Tudo isso vai se acumulando. Então, chega-se à 4ª série. Os dados estão mostrando que há uma diferença muito grande dentro de uma mesma escola, proveniente da criação, da formação familiar, das diferenças de aptidão. Essas diferenças podem estar influindo nas desigualdades. Cadernos Cenpec 2007 n. 3 Uma variável importante é a quantidade de livros que o aluno tem em casa. Se há mais de 20 livros em casa, seu desempenho é superior. Se ele trabalha, o desempenho cai. Outro fator relevante são as suas expectativas com relação à vida. Se o aluno quer continuar estudando no futuro, terá um desempenho muito melhor. O que concluímos? Como disse, há escolas boas e ruins dentro da mesma rede. Então, só pode ser um problema de gestão. Por isso, é preciso aumentar a participação dos pais, a divulgação dos resultados do tipo Prova Brasil. Hoje, todo pai que tem um filho na escola pública pode acessar a Internet, ver a nota média da escola do seu filho e comparar com a nota dos alunos das escolas próximas da mesma região. Para os pais pobres, sem acesso à Internet, acho que eles deveriam receber uma carta do INEP, informando o desempenho da escola de seu filho e o das escolas da mesma cidade, para eles poderem comparar. Permanência na escola Como é que podemos melhorar? Quando selecionamos algumas notas dos alunos e tentamos explicá-las a partir de uma série de características: dos alunos, das escolas, dos professores, dos pais, dos diretores, o que vemos não é uma casualidade. Onde estão os melhores alunos? Em que escolas? Quais as características dessas escolas? Esta é a melhor maneira de interpretar esses dados. Concluímos, por exemplo, que o principal impacto no desempenho escolar é o número de horas que o aluno permanece na escola. O tempo faz a diferença. Outra variável que eu investiguei foi “o tamanho da classe”. Ele não parece muito importante quando você controla uma série de outras características, como a do background familiar. Então, o que temos de fazer? Se acreditarmos nesse resultado, precisaremos aumentar o número de horas que os alunos passam nas escolas, mesmo que tenhamos que aumentar o número de alunos por classe. Em vez de três turnos, com classes pequenas, deveríamos ter dois turnos, com classes maiores. Porque mais horas na escola proporcionam melhor proficiência e o número de alunos por turma parece não causar um impacto tão forte. Outras constatações: a existência de computadores na escola parece não influenciar os resultados, e 30 sim o fato de o diretor ser indicado; se o projeto pedagógico é desenvolvido pelo diretor, ele tem peso relativo e a seleção de turmas parece ser importante, isto é, se você forma uma turma heterogênea — por exemplo, melhores alunos numa turma e piores na outra — ou se mistura os melhores com os piores. Parece que isso faz alguma diferença. Contudo, as variáveis que mais importam são as características familiares. Por exemplo, a escolaridade da mãe é muito importante. Outra coisa: o aluno que está com defasagem de três anos ou mais em relação à série tem um desempenho muito pior do que o aluno que está na idade certa. Uma variável interessante é a média de escolaridade das mães, que também tem um impacto muito grande, principalmente, no 3° ano do ensino médio. Sobre esse fator, precisamos investigar mais. Suponhamos que seja verdade que a escolaridade das mães afeta o desempenho escolar. Talvez se conclua que é importante estar numa escola em que a educação da mãe dos amigos seja melhor. Será que é porque elas pressionam mais, cobram mais do professor, se um professor falta, elas reclamam? Ou será que, quando todos os alunos apresentam bom rendimento, o professor tem mais facilidade para transmitir o conhecimento, mesmo com interrupções na aula? Mas também acredito na pressão dos pais por melhor qualidade de ensino. Porque, nesse caso, contamos com a sua capacidade política. Se conseguirmos fazer com que as pessoas acompanhem mais o desenvolvimento de seus filhos na escola, briguem por melhor qualidade, isso poderá ter um efeito muito grande na proficiência dos alunos. Entretanto, seria temeroso decidir com base apenas nessas suposições. Precisamos entender melhor o que está por trás dos resultados. Gosto de citar Esther Duflo, uma economista brilhante, que estuda muito a educação no Quênia, África. Ela fala que algum dia — esse dia vai chegar — a educação será mais valorizada pelos pais, que passarão a demandar educação de mais qualidade e controlar a presença do professor, que ensinará melhor e ganhará melhores salários, o que vai aumentar ainda mais a qualidade da escola. Contudo, é preciso dar este pontapé inicial para gerar um processo desse tipo, para melhorar a qualidade da escola pública, que é o que todos nós queremos. Cadernos Cenpec 2007 n. 3 "ERNARDETE'ATTI 0RECISAMOSDEPOLÅTICAEDUCACIONAL EFETIVAANTESDEAVALIAR A quem servem as avaliações gerais com as quais nos deparamos? Parece-me que servem muito mais a um controle, por meio de comparações indevidas, de rankings, para dar assunto “escandaloso” ao gosto dos jornais, do que para se estimular soluções educacionais que atinjam as populações necessitadas. Investe-se muito dinheiro nessas avaliações. Dado seu não-emprego na melhoria da educação escolar — o tempo vem mostrando isso— pergunta-se se não seria melhor que se investisse esse dinheiro em outros aspectos do dia-a-dia das escolas. Quem acompanha os estudos de avaliação de desempenho escolar aqui no Brasil, percebe que estamos patinando. Os resultados não nos levaram, até agora, a lugar algum. Alavanca social O que vem sendo apresentado por Naércio Menezes é pertinente e importante, mas a literatura sobre a avaliação educacional já vem mostrando essas relações e questões há muito tempo: no exterior, em análises desde o princípio do século passado; entre nós, em análises do final da década de 1970 até a de 1990. Seria interessante estabelecer relações com a literatura nos variados tempos. Aspectos fundamentais da estrutura social — trabalho, renda, condição socioeconômica e educacional da família — são apontados há tempos como determinantes do desempenho escolar. A questão principal da educação brasileira continua sendo a desigualdade socioeconômica que gera certas condições de vida e determina a qual escola as crianças poderão ter acesso. E onde entra a avaliação? Avaliação educacional só tem sentido se for conseqüente e tiver origem em uma visão pedagógica. Para que serve essa visão pedagógica? Ela é feita para desenvolver as pessoas, não para es- 31 tigmatizar, não para provocar mais seleção ou debates jornalísticos inconseqüentes. A avaliação educacional, se feita realmente como política educacional, com seriedade, deve ter a função de alavanca social. Mas não sou ingênua de acreditar que apenas mudando a escola, transforma-se a sociedade. Mudanças efetivas na escola só podem ocorrer também com certas condições de contexto. Professores e alunos pertencem a uma comunidade histórica, com suas crenças e ritos. A sociedade tem o ritmo do possível em sua história. Temos que ter paciência histórica. Isso não quer dizer “nada fazer”, e sim que é preciso saber como fazer para provocar mudanças. Não vou fazer uma análise técnica das avaliações existentes, porque elas são complexas. Vou só abordar um ponto que acho interessante para nós, da educação, pensarmos: as avaliações não influenciaram políticas locais, nem regionais e, muito menos, federais. Causam certa comoção no dia em que são divulgadas; no dia seguinte, são esquecidas. As propostas educacionais esparsas que temos passam ao largo das informações avaliativas. A apresentação dos resultados não realiza o que poderia ajudar os professores nas escolas: as análises de cunho pedagógico. Acho até que, na maioria dos casos, os dados não são visitados, nem estudados, nem refletidos: o que eles nos revelam sobre as necessidades pedagógicas, o currículo escolar, a formação dos professores e diretores e como ajudam os gestores a pensar seus planejamentos educacionais? A pergunta: “A quem servem essas avaliações?”, para mim, fica absolutamente sem resposta porque, até agora, parece que elas para nada serviram. Não há políticas consistentes para a educação básica, quer em nível federal, quer estadual. Sabemos que somos uma federação e que os estados e os municípios têm seu grau de autonomia e devem responder pela educação básica, mas é prevista uma articulação efetiva entre os três poderes, que pouco tem ocorrido. Então, cabe a pergunta: sem políticas claras e efetivas, implementadas, o que estamos avaliando, mesmo quando avaliamos desempenho escolar? Uma avaliação consistente de políticas seria bem-vinda: como foram implementadas? Antes, foram mesmo implementadas? Foi executado o orçamento previsto? Como? Não tenho visto muito futuro naquilo que estamos chamando de avaliação... Cadernos Cenpec 2007 n. 3 É preciso ser conseqüente. Não temos percebido resultados, e sim muito palavrório: “Precisamos melhorar a qualidade do ensino, porque o rendimento está baixo”; “Para resolver, vamos dar educação continuada para os professores etc.” Qual a dimensão demográfica disso, qual a dimensão qualitativa? Com exceção de alguns poucos programas, acho que esse tipo de proposta é muito questionável. Então, que resultado tem todo o dinheiro investido nessa área? Por que não se investe devidamente na formação pré-serviço dos professores? Por que não se melhoram as condições da carreira docente? A média de salário inicial dos professores, no Brasil, está em torno de R$ 300,00 e o valor médio final — após 25 anos de trabalho — em torno de R$ 1.000,00. Isso não é importante considerar-se nas avaliações e na análise de seus conseqüentes? Faltam bons cursos de licenciatura A escola tem um impacto na vida do aluno e em seu desenvolvimento, que não pode ser desprezado, e isso é visível nos estudos apresentados. Responder por mais ou menos 30% da variabilidade do desempenho é bastante. É muito mesmo, quando consideramos que a criança nasce numa família, aí tem sua socialização iniciada em tempo integral, convive em uma comunidade; ali ela aprende a falar, a se comportar, adquire seus hábitos... Se essa família e esse meio social não tivessem importância, seria um absurdo. Ainda assim, a escola tem um efeito forte, que é considerável, e lembramos que ela passa aí umas poucas horas de seu dia. Este efeito é que chama muito a atenção para a qualidade necessária ao sistema escolar. Outra coisa: temos mais de um milhão de professores atuando na pré-escola e no ensino fundamental, dois milhões e 500 em todos os níveis. Se observarmos o número de professores atingidos por projetos de educação continuada, veremos que ele é pequeno. E, dentre esses professores, há uma grande porcentagem que leciona no ensino médio, tendo, como formação, apenas o ensino médio ou somente o ensino fundamental; e outros que lecionam de 1ª a 4ª série tendo cursado apenas o ensino fundamental, até a 5ª série, alguns até a 8ª série. De qualquer modo, as avaliações, bem ou mal, nos levam a pensar sobre a questão da qualidade. Mas percebo que há pouca discussão sobre os cursos de licenciatura e os cursos de formação de professores de 1ª a 4ª série e educação infantil: como instrumentam os professores para seu trabalho? 32 Currículo nacional básico Há uma outra questão que causa impacto na avaliação de desempenho: não temos um currículo nacional básico claramente definido, norteando não só as questões filosófico-éticas, como também os conteúdos. O que temos é vago. Os parâmetros foram a política de um período. Os livros didáticos são a referência concreta. Bons ou maus, são a referência. Mas não há, dentro das escolas, uma referência clara, orientadora, dos professores, diretores, coordenadores, um consenso nacional norteador, ao menos, por um período maior. Os países desenvolvidos têm um currículo estipulando o que as crianças devem aprender em cada fase do seu desenvolvimento. Nós tivemos currículos de 1930 a 1980. E tínhamos aqui, no estado de São Paulo, o livro “Verdão”, apelido de um guia curricular pelo qual os professores podiam se orientar, dentro da sala de aula, para saber o que ensinar em determinada etapa do desenvolvimento do aluno, fazendo, inclusive, a sua escolha didática. Não temos mais isso... E as pesquisas de que dispomos mostram que a sala de aula é um problema, e esse problema aparece bem claro quando os alunos se transferem de escola, o que é bastante comum nas periferias urbanas. Não sabemos o que é, de fato, ensinado para essas crianças, especialmente nas escolas públicas, porque muitas escolas particulares têm seu sistema, materiais e tudo mais. A escola pública não tem uma orientação mais precisa. Então, a matriz que fundamenta um SAEB ou um ENEM contempla quais conteúdos curriculares? O que nós estamos avaliando? Talvez uma coisa idealizada, um padrão um tanto abstrato que pouco tem a ver com o trabalho escolar desenvolvido. Essas matrizes poderiam orientar as escolas. Talvez. Mas quem as conhece, quem as entende? O que está sendo ensinado? Estou trazendo essas reflexões para que pensemos com mais objetividade. Precisamos olhar esta questão cuidadosamente. Qual é a aderência da matriz que subsidia estas avaliações? Não foi feito qualquer estudo de validade para amparar certas discussões que teriam uma função pedagógica. Como realizar uma avaliação consistente se não existe um consenso nacional mínimo sobre o que deve ser ensinado? Cadernos Cenpec 2007 n. 3 Temos os livros didáticos como referência, mas, se os examinarmos, conforme a área, cada texto toma uma direção e contempla ou não certos conteúdos. De acordo com o livro didático adotado, a criança aprenderá determinadas coisas ou não aprenderá... Há também o fator tempo e oportunidade de desenvolvimento, ou não, de certos aspectos curriculares pelo professor em seu trabalho em sala de aula. Como não temos pontos de referência mais concretos... Esta situação do currículo no Brasil é diferente em relação a outros países que definem um pouco melhor suas propostas curriculares, aonde querem que as escolas e os alunos cheguem. Vários países da América Latina têm esses referenciais; na Europa, eles são comuns, assim como na China, no Japão, na Rússia. Nós não sabemos o que está sendo ensinado nas nossas escolas. Há um vazio de informações. E, nas condições atuais, é difícil saber. Isso nos deixa muitas lacunas que dificultam a compreensão dos desempenhos escolares. Lida-se, em geral, nos trabalhos existentes, com algumas suposições, na maioria das vezes, advindas da experiência limitada e localizada dos autores. Está na hora de começarmos a pensar conseqüentemente nessas questões. O primeiro passo seria sugerir uma discussão consensual sobre o currículo para ser proposto, ao menos, um currículo orientador, que cada estado aprimoraria. Isso sim seria norteador. Proponho, primeiro, orientar o ensino, depois, avaliar o aluno. As discussões sobre educação em geral acabaram deixando de lado a questão do ensino em particular, nas suas especificidades. Vale discutir com os gestores e os professores: “Para que serve o ensino fundamental no Brasil? E o médio?”; “Que papel se espera que cada um assuma na sociedade brasileira?”; “Os alunos precisam sair da escola com quais conhecimentos?”. São temas insuficientemente discutidos. O mal das mudanças políticas Defrontamo-nos com outro problema nos sistemas escolares: não há continuidade nas administrações públicas. A educação não é tratada como algo suprapartidário. Temos partidos adversários governando. Um não quer seguir os caminhos abertos pelo outro, mesmo que ele esteja se revelando um bom caminho. Então, não existe continuidade nas propostas educativas 33 escolares. Cada um que chega quer inventar a roda de novo e desfaz o já feito. Nós não temos, também, o desenvolvimento dos processos de avaliação que começaram a ser implementados, porque cada um que chega quer introduzir uma novidade, e aí invalida uma base que permitiria fazer estudos talvez mais amplos, comparativos, longitudinais. Poder-se-ia lembrar que as escolas têm seus projetos pedagógicos. Eles são absolutamente necessários, sem dúvida, porém, nas condições concretas de funcionamento, do horário escolar e do contrato dos professores, da disponibilidade de tempo (que praticamente não há...) etc., é idealismo pensar que eles realmente sejam elaborados coletivamente e coletivamente levados às práticas de sala de aula. O que existe, e os estudos mostram isso, são cópias de ano para ano. Durante o ano, durante os trabalhos escolares, e para cada professor, esse projeto, na verdade, não existe. A idéia do projeto pedagógico virou um slogan, mais um instrumento burocrático. Inversão de valores E fica aí a grande pergunta: com tudo o que já foi feito em termos de sistemas de avaliação, de propostas de educação continuada, de subsidiar alunos com bolsa e tudo o mais, por que não acontece a melhoria do desempenho escolar no país? Não acredito que essas avaliações possam contribuir para qualquer melhora se elas não trouxerem conseqüências diretas na esfera da gestão federal, estadual e municipal, com impactos nas escolas. Vou terminar com uma observação de Luís Carlos Freitas: o Brasil inverteu a posição da avaliação educacional; colocou-se, em primeiro lugar, a avaliação, como se ela, por si, determinasse políticas educacionais consistentes. A avaliação acompanha as políticas. Aqui se pôs a avaliação como “a’’ política e se esqueceu de se fazer a política educacional propriamente dita, o que é um absurdo do ponto de vista de qualquer avaliador mais sério. A partir do momento em que existam políticas e planejamentos educacionais e escolares claros e disseminados, conhecidos, apropriados, então poderemos ter avaliações mais adequadas e conseqüentes, que acompanhem os processos e desempenhos escolares em um certo período. Cadernos Cenpec 2007 n. 3 @ @ @ @ @ @ @ @ @ @ ! Qual a influência da quantidade de alunos em sala de aula na aprendizagem? Qual o verdadeiro peso da questão social, da origem socioeconômica e cultural dos alunos na aprendizagem? Por que há uma diferença tão grande, em termos de avaliação, entre Tocantins e os outros estados? Apesar de existirem muitos dados e informações sobre desempenho dos alunos em escolas públicas, eles não são utilizados. As escolas nem os consultam. Como torná-los mais úteis para o planejamento, ao menos, das escolas? Para criarmos uma boa equipe escolar, precisaríamos oferecer algum tipo de incentivo ao professor? Seria financeiro? Ao dar esse incentivo para o professor ficar na escola, não criaremos um outro problema: começaria a existir uma diferenciação salarial e isso poderia ser problemático? Como se analisa a questão da qualidade de ensino, se ele for considerado apenas um produto da atividade de docentes e alunos? Atualmente, a avaliação fica restrita aos alunos. Tem tanto mérito esse sistema de avaliação? Até que ponto se comprova que ele mede aquilo que diz medir? Como é elaborado? Ele parece utilizar concepções complicadas, um pouco confusas. Como validar esses testes com relação a competências e habilidades? Uma outra questão é a qualidade do ensino privado. Muitos colégios de ótima qualidade fazem uma cuidadosa seleção: os alunos considerados ruins sequer vão para as séries piores, porque elas não existem. Essas crianças são excluídas. Quando um aluno é reprovado, ele é convidado a sair da escola. Discutimos qualidade na escola pública e esquecemos um pouco da questão da finalidade da educação. O que se pode melhorar em educação fundamental? Ela tem sido pobre e fica por isso mesmo? Não se discute? Constatamos que há muita avaliação e pouca política. Isso não significa que essas discussões ficam centralizadas e restritas quase sempre em um mesmo grupo que digere e problematiza esses dados? Não seria interessante que essas informações entrassem mais na escola, para que ou- 34 0ERGUNTASE RESPOSTASQUENOS FAZEMPENSAR pós o debate, algumas questões foram encaminhadas aos palestrantes. Nem todos os questionamentos foram contemplados. Contudo, reproduzimos aqui algumas perguntas e as considerações da platéia porque, mesmo não totalmente respondidas, elas instigam nossa reflexão e estimulam nossa busca por soluções. @ @ @ @ @ @ tras pessoas pudessem compartilhar dessa discussão? Será que a democratização dessa discussão avaliativa, já que nós temos uma quantidade tão grande de dados e a medição é importante, não estaria ocupando o lugar de uma discussão sobre a falta de currículo, a falta de parâmetro de avaliação dentro da escola, a ausência dos professores? É comum haver pesquisa a respeito da participação da família e da comunidade na escola? Sabemos que ela é importante, mas quanto? Os pais e os alunos têm se apropriado dos resultados das pesquisas para, quem sabe, fazer uma pressão para que haja uma mudança no currículo, na política municipal? Quem sabe as ações de mudança não tenham que vir “de baixo para cima”, já que “de cima para baixo” está difícil de acontecer. É importante se discutir assuntos como: a formação inicial do professor e seu impacto, a formação continuada, o horário de trabalho pedagógico, a questão da equipe permanente. Preocupamo-nos em avaliar se o professor realmente é assíduo e há quanto tempo está na instituição. Percebemos que esses fatores são muito importantes, fazem diferença. Gostaríamos de ter exemplos mais concretos de pesquisa nesse sentido... e também no que diz respeito à escolaridade de pais e mães, constituição da família etc. Temos aqui vários dados importantes, mas eles são apenas descritivos. Precisamos ultrapassar essa discussão e pensar mais em qual é a explicação para eles, estabelecer relações, ir mais a fundo. Assim, talvez, possamos adquirir um conhecimento que nos ajude de maneira mais significativa. Por exemplo, a formação pré-serviço. Esta é uma discussão que temos de ter a coragem de enfrentar. Qual é a perspectiva de implementação desse tema? Houve uma proposta de avaliação comparativa entre as escolas. Mas, certamente, há diferença entre os sistemas estaduais e municipais, tendo em vista a presente municipalização. O que temos e o que se poderia avançar nesse sentido? Em termos de avaliação, que lugar tem ocupado a nossa universidade na formação inicial dos professores? Cadernos Cenpec 2007 n. 3 .AÁRCIO-ENEZES Economia e Educação Todo mundo quer melhorar a qualidade da educação para que as crianças aprendam mais. Então, a união de diferentes áreas é muito importante. Se pudéssemos unir o conhecimento estatístico dos economistas ao conhecimento dos educadores, com mais freqüência, certamente teríamos melhores interpretações dos números e poderíamos indicar melhores políticas públicas para a educação. Esta conversa aqui no Cenpec segue nessa direção. O conhecimento estatístico, por exemplo, nos ajudaria a compreender melhor a variável “tamanho da classe”, compará-la com o background familiar e até entender o quanto ela influencia no aprendizado. Heterogeneidade Quando falamos que a escola tem um peso de 30% na formação do aluno, não devemos entender, com isso, que os 70% restantes estão relacionados à família. Devemos considerar também a heterogeneidade. Este é um conceito amplo porque envolve alunos de níveis culturais bem diferentes, professores com múltiplos interesses, gestores polivalentes com boa formação. Nesses 70%, estão incluídos alguns fatores que influenciam o ambiente escolar, mas vêm de fora. Eu suponho que o mais importante deles seja a família. Por exemplo, se tivermos ótimos alunos convivendo com outros, com mais dificuldade, isso denota heterogeneidade, cuja origem pode ser familiar. E esta heterogeneidade pode beneficiar a aprendizagem dos alunos mais defasados. Background familiar As boas escolas privadas tendem a selecionar estudantes com muito background familiar. Certamente, elas terão melhor desempenho e melhores resultados — uma das conseqüências é a entrada desses alunos nas melhores universidades. Isso já sabemos. O que não sabemos é como ampliar a capacidade de aprendizagem das crianças que são mais desfavorecidas em termos de background familiar. Esse é um dos principais desafios da escola pública. E não é a progressão continuada que vai resolver. Também não adianta ameaçar o aluno com repetição. O desafio é 35 ensinar e as crianças aprenderem. O desafio é enfrentar crianças muito indisciplinadas, com pouco background familiar, que assistem à aula em salas cheias, com professores mal-preparados. Gilberto Dimenstein, no seu programa de rádio, deu um exemplo muito interessante: a classe de um famoso colégio de São Paulo, o Porto Seguro, recebeu alunos da favela Paraisópolis. Os alunos tiveram oportunidades equivalentes em termos de instalações, equipamentos e professores. Da turma da favela, apenas 12 conseguiram entrar numa faculdade privada, enquanto os demais alunos do Porto Seguro ingressaram nas melhores universidades públicas. Os estudantes da favela Paraisópolis que foram para o Porto Seguro tiveram um aprendizado muito melhor do que os que não tiveram essa oportunidade. Contudo, ele não foi suficiente para colocá-los nas universidades públicas. Certamente, uma das explicações é a deficiência de background familiar. Apesar disso, eles tiveram um desempenho melhor do que os outros alunos, do mesmo nível, das escolas públicas. Participação dos pais A participação dos pais é indispensável. Como aumentar a participação deles na escola pública? Eles precisam ser informados sobre os resultados das avaliações, pois têm pouco conhecimento a esse respeito. Devemos divulgar as notas da Prova Brasil para as famílias e dizer para os pais diretamente: “Não sabemos o que está acontecendo com a sua escola, mas ela está ruim ‘à beça’. Vamos juntos saber o porquê”. Esta seria uma tentativa de agir tanto “de baixo para cima” quanto “de cima para baixo”. O professor Uma coisa, porém, precisa ficar muito clara: o professor continua sendo o principal promotor da aprendizagem. Alguns estudos norte-americanos também mostram isso. O professor faz uma diferença enorme, mas não o professor que ganha mais, nem o mais fragilizado, e sim aquele que tem melhor didática, que sabe dar aula melhor. Cadernos Cenpec 2007 n. 3 "ERNARDETE!'ATTI Amplas avaliações No Brasil, não temos o hábito de lidar com a avaliação, muito menos com os dados quantitativos. O pessoal que trabalha com educação não gosta de lidar com quantificação, nem procura entender o seu sentido. Essa é uma dificuldade. Além disso, as escalas interpretativas comumente não têm um referencial pedagógico que nos ajude a dar sentido aos números. Qual o sentido concreto dos itens em relação aos conteúdos? Tivemos a experiência do Saresp – Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo. Quando foi implantado, esperava-se que o professor participasse da aplicação e da correção dos testes. Havia um manual para ele aprender a calcular uma média, uma variância; interpretar e entender a sua escola; incluía até uma orientação psicopedagógica para interpretar as respostas. E esses dados não iam para a Secretaria da Educação: o objetivo era que a escola se apropriasse deles, para que a direção, a coordenação pedagógica e os professores discutissem o sentido pscicopedagógico das respostas dos seus alunos. Mesmo assim, não se tem idéia de qual foi o seu impacto nas ações dos gestores e dos professores. Agora, imaginem uma avaliação de fora, um instrumento externo, que não tem significado para aquelas escolas. É uma rotina burocrática que elas cumprem porque alguém, algum órgão, mandou. Falta um trabalho sério de esclarecimento. Uma discussão sobre o nível do ensino nos estados, nos municípios. O envolvimento das escolas, nessa avaliação, deveria ser proativo, e não só reativo. Para que houvesse esse envolvimento proativo, seria preciso haver um período para se trabalhar com os educadores dos diferentes níveis de ensino. Não sei se essas grandes avaliações contribuem realmente para se conhecer e melhorar a situação localizada, específica, dos municípios. Por isso, acontecem essas comparações espúrias, concluindo, por exemplo, que o rendimento dos alunos do Vale do Jequitinhonha é péssimo, quando comparado com o dos alunos de Florianópolis. A questão do desempenho não pode ser tratada em abstrato; ela deve ser compreendida no contexto que a produziu. Ao não reconhecerem as diferenças entre as escolas, essas comparações (que, aliás, de um ponto de vista ge- 36 ral, revelam o que seria mesmo esperado, dadas as diferenças geo-socioeconômicas e culturais) servem apenas para a imprensa ampliar a humilhação pública das escolas e a de seus professores e alunos. Creio que isso é uma grande irresponsabilidade, para não falar na desconsideração aos aspectos éticos. Não estou dizendo que, do ponto de vista dos critérios adotados para a avaliação, essas diferenças não sejam observadas, apenas que elas precisam ser analisadas sob a luz do contexto e das questões pedagógicas, com o objetivo de ajudar a melhoria do ensino na direção desejada. Isso exigiria apoio financeiro, pedagógico, de infraestrutura etc. para essas escolas, ou seja, elas não poderiam ser humilhadas publicamente, e sim, ajudadas com ações efetivas e diretas. Esta seria uma ação social e educacional condizente com os princípios de eqüidade social. Nada disso é realizado. O que se faz equivale à situação de alguém que caiu num poço profundo e escuta uma pessoa à beira do poço, lá em cima, constatar: “Você caiu no poço!”, e, depois, ir embora. Será que quem está lá, no fundo do poço, vai conseguir sair sozinho? Equipe escolar Na verdade, ter uma equipe na escola — equipe mesmo, integrada, com período de contrato para permanecer mais tempo na instituição — já é um problema em si. Com o número grande de professores contratados temporariamente, não-efetivos, com as remoções, licenças, colocação fora de função etc., as escolas enfrentam uma rotatividade de pessoal muito grande. Isso dificulta a fixação de equipes integradas. Seria necessário alterar a política de atribuição de aulas, alicerçando-a numa perspectiva pedagógica mais integradora, que pensasse mais nos alunos, nas crianças e jovens. Talvez fosse importante, para minimizar certos problemas e equilibrar interesses, que muitos estados e municípios alterassem os estatutos dos professores. Para tanto, precisaria haver uma negociação mais ampla entre os executivos públicos com os pais, os sindicatos e os partidos políticos, procurando formas de definir melhor os módulos de equipes escolares e os modos de fixação dessas equipes por certo tempo. A questão da carreira do professor e do seu estatuto precisa ser repensada, se quisermos ter verdadeiras equipes escolares, assim como criar condições, como incenti- Cadernos Cenpec 2007 n. 3 vos de carreira ou salário, para que os professores se interessem em permanecer em regiões mais afastadas. Há bons caminhos, mas, em negociações, muitos focos de interesse entram em choque. Educação acima dos partidos Uma coisa que não existe na educação é a capacidade negociadora dos gestores. Eles não se exercitam neste aspecto. Improvisam. Até a escolha de secretários de educação ou ministro é feita muito ao sabor do desejo dos partidos, dos acordos de diferentes naturezas, sem se considerar a função especializada que o cargo exige. A questão do conhecimento do sistema, dos problemas da escolarização etc. é relegada a décimo plano. Entidades representativas das categorias profissionais, associações de peso, não são consultadas e não se envolvem nestas escolhas. Nunca se procurou, de fato, fazer com que a educação esteja acima dos interesses particulares dos partidos políticos, tratando-a como uma política de Estado de longo prazo, acima de interesses partidários que pouco têm a ver com o bem público. Se conseguirmos isso, quem sabe, daí derive algo significativo e permanente. Talvez possamos começar com a negociação da fixação das equipes escolares nos municípios, que é mais fácil. Se conquistássemos isso nos municípios de porte médio, começaríamos a mexer com a educação fundamental. Talvez assim a situação melhorasse um pouco. A fixação de equipes escolares, dentro de certos limites, é muito importante, porque, a partir daí, se poderia pensar na formação da equipe escolar como um todo. É um sonho! Articulação dos sistemas A articulação dos sistemas escolares — federal, estadual, municipal — prevista na LDB, não acontece, ficou no papel, e muitas das razões para isso têm a ver com o contexto político-partidário. Como já foi dito, esse cenário particulariza a educação, fragmenta-a, impede acordos e planejamento conjunto, parcerias e conjugação de financiamentos. Modificar esta situação seria um exercício de democracia: demandaria um esforço muito grande, políticas claras, superação de interesses particulares e de birras partidárias. Estamos muito longe disso. 37 Avaliação do ENEM O ENEM é problemático desde a sua associação com um rol de competências abstratas e habilidades pouco objetivas até o tipo de análise que processa e, principalmente, a sua divulgação pela mídia. A prova não atende às condições dos referenciais propostos, sua validade é discutível. Isso não quer dizer que o ENEM não meça alguma coisa, só não sabemos o que ele realmente está medindo. Mas foi feita muita propaganda do ENEM e negociações em torno dele, deixando-se de lado a questão da adequação desse tipo de prova à realidade da maioria das escolas brasileiras e seu currículo. Acreditou-se que o ENEM forçaria as escolas a repensarem seus currículos, o que é mais uma falácia (que, aliás, também foi, ou ainda é o pressuposto de alguns organizadores de vestibular, como o da USP, Unicamp e outros). Esses instrumentos não têm a penetração que se imagina. Uma pesquisa interessante seria a de verificar quantos docentes de escolas públicas estudaram a prova do ENEM, verificaram seus conteúdos e, baseados neles, mudaram suas aulas. Penso que a maioria esmagadora, e estamos falando de mais de milhão, do pessoal das redes de ensino, não fez isso. Professores de cursinhos devem ter feito, mas não os do ensino regular. A mesma observação vale para os itens dos vestibulares. Além disso, parece um recurso desesperado querer que provas balizem o currículo escolar, e não o contrário. Aliás, esse desejo sinaliza a ausência de política de currículo. Participação dos pais A participação dos pais é um problema quando temos pais e mães trabalhadores. A escola, pelo menos no ensino fundamental e na educação infantil, não funciona à noite, só a partir da 5ª série. Há pais que trabalham à noite e aos sábados. Exigir que venham à escola em seu horário de trabalho é prejudicá-los financeiramente e, em muitos casos, até profissionalmente. A participação dos pais precisa ser pensada em função das características da comunidade à qual pertencem. Querer que pais de crianças de escola pública ensinem seus filhos, auxiliem em trabalhos etc. também é uma questão espinhosa, porque a maioria tem poucos anos de escolaridade e não se sente em condições de ajudar seus filhos. Além disso, em grandes centros urbanos, seu dia de trabalho é muito estendido, devido ao cansaço, à dificul- Cadernos Cenpec 2007 n. 3 dade que enfrentam com o transporte. No campo, isso também acontece. Esses fatores não prejudicam a classe média, ou prejudicam menos. Portanto, querer que esses pais interfiram no currículo escolar também é problemático. Essa geração de pais estudou muito pouco e não se sente em condições de questionar o professor de Português, de Matemática, de Ciências no que se refere a conteúdos e métodos de ensino. Eles são mais retraídos porque são mais oprimidos socialmente, inclusive, sentemse pouco à vontade diante dos diretores, dos professores. Ao falarmos em participação dos pais, temos que nos perguntar de quais pais estamos falando. A escola deve levar esse fator em consideração e criar formas diferenciadas de os pais participarem, em alguns momentos, de acordo com suas possibilidades concretas. Há que se desenvolver um trabalho social ampliado para que eles possam realmente começar a ter voz. Formação de professores As grandes universidades não se interessam pela formação do professor, sua preocupação é se destacar pela pesquisa, e não pelo ensino. As licenciaturas são cursos fragmentados demais e as discussões sobre a renovação dessa modalidade de graduação esbarram em conceitos e interesses tão arraigados que tanto elas, quando acontecem, quanto os projetos “morrem na praia”. Os cursos de licenciatura não são “a menina dos olhos” das administrações universitárias, nem das políticas educacionais, federais ou estaduais. Não estou falando dos programas de educação continuada, e sim da formação pré-serviço, que deveria ser mais bem cuidada. Não são as universidades que formam a maioria dos professores: 80% deles saem de faculdades isoladas, privadas, noturnas. Vamos parar de nos iludir com o que fazem a USP, a UFRJ etc.: não é daí que estão saindo os professores da rede de ensino público. O que não significa que elas também não precisem repensar suas licenciaturas. Chamo a atenção para as licenciaturas porque os dados de 2005 são assustadores: há dois ou três anos, entram quase 400 mil alunos para fazer o curso de formação de professores, e não se formam nem 50 mil. A evasão é enorme — mais que o dobro de qualquer curso — e eu não acho que é por causa de dinheiro e, sim, porque o curso é ruim e as perspectivas profissionais também não são tão atraentes. Ainda não estudamos devidamente a questão da evasão dos estudantes de licenciatura, por ela ser inusitada. 38 *OSÁ&RANCISCO3OARES Malhando o ferro frio? Em um debate como este, temos a oportunidade de levantar muitas questões, mas o tempo disponível não permite analisar cada uma delas completamente. Quero aproveitar esta fala final para citar algumas idéias que apresentei e, creio, não ficaram totalmente claras. Tenho artigos publicados em que elaboro vários desses pontos. Porém aqui, no debate, opto por usar uma linguagem com tons mais fortes, quase emocionais. A essência da minha contribuição para este debate é a defesa de que a discussão sobre a educação atual no Brasil precisa incorporar os dados que descrevem os nossos sistemas educacionais. Seu uso não pode ficar restrito à análise econômica ou sociológica, deve ser parte também da área pedagógica. Assim, é urgente superar, no debate universitário educacional, o desprezo pelo dado ou a omissão de seu uso nas análises. Vejamos se forneço evidências convincentes dessa necessidade. Necessidade da coleta de dados educacionais Em uma sociedade democrática de massas, na qual todos devem ser tratados igualmente, o funcionamento das instituições deve ser verificado. O grande número de beneficiados pelas diferentes instituições exige a coleta de dados padronizados. A educação não pode fugir a esta realidade. Precisamos saber o que ocorre no sistema educacional, por meio da coleta de dados sobre o acesso dos alunos, seu fluxo escolar e o que estão aprendendo. Isso custa dinheiro, mas é um erro pensar que esses recursos seriam mais bem usados para atender a alguns alunos, como, ainda que subliminarmente, foi defendido. Produzir bons dados para descrever a realidade educacional é tão necessário quanto produzir os dados, que já acostumamos a coletar, para acompanhar as várias dimensões da economia de nosso país. Para isso, utilizase a PNAD, uma pesquisa muito consultada pelos economistas. Ela é realizada todo ano, em setembro e outubro, e custa cerca de R$ 10 milhões. Não há qualquer crítica a ela, pois a nossa sociedade já se acostumou a receber essas informações, importantes para o monitoramento e a mudança de políticas públicas. Na realidade, a PNAD coleta alguns dados educacionais que precisam ser mais bem utilizados pelos educadores. Cadernos Cenpec 2007 n. 3 Por exemplo, ela nos dá a boa notícia de que as mulheres de 20 a 24 anos têm, hoje, em média, nove anos de escolaridade. Esse dado traz esperança, pois mostra que as mães dos futuros brasileiros têm mais educação do que tiveram suas mães. Portanto, elas poderão ajudar mais os filhos e exigir melhores escolas. Faço uma comparação com o IDH – Índice de Desenvolvimento Humano. Ele surgiu há uns 15 anos e mede o nível de desenvolvimento humano dos países, utilizando, como critérios, os indicadores de educação (alfabetização e taxa de matrícula), a longevidade (esperança de vida ao nascer) e a renda (PIB) per capita. A questão inicial era encontrar uma forma de reduzir toda a complexidade social a três indicadores. Com o passar do tempo, percebeu-se que, apesar da limitação da síntese escolhida, o resultado era muito útil para o monitoramento de políticas públicas. E hoje ele é utilizado no mundo inteiro. O Brasil calcula o IDH para todos os seus municípios. Eu me lembro de ler a entrevista com um prefeito que, ao receber o IDH de seu município, inicialmente, criticou os dados, sugerindo que não descreviam corretamente a realidade de sua cidade. Disse mesmo que os pesquisadores tinham uma visão deturpada da realidade, pois reduziam toda a complexidade do local a um único número. No entanto, depois, humildemente, reconheceu que a mortalidade infantil era alta e que poderia ser reduzida. Era uma cidade pequena. O projeto de redução da mortalidade infantil que idealizou, usando sua experiência de médico, foi concretizado e produziu os resultados captados na posterior rodada de cálculo. Precisamos imitar este tipo de postura na educação: reconhecer que os dados contam uma história verdadeira, ainda que de forma esquemática, e agir para mudá-la. A educação precisa de dados de várias categorias. Dou alguns exemplos: Acesso e desempenho Atualmente, temos, no Brasil, praticamente todas as crianças na escola. Em alguns lugares, o índice é de 99%. Na década de 1990, colocamos os 25% mais pobres na escola. São sucessos importantes que devemos comemorar, embora nossa escola básica não esteja conseguindo ensinar a essas crianças. Eu lhes mostrei um item do teste do SAEB que verifica se os alunos compreendem o seguinte poema de Manoel Bandeira: 39 “Irene preta/ Irene boa/ Irene sempre/ de bom-humor. //Imagino Irene/ entrando no céu:/ — ‘Licença, meu branco?’ —/ E São Pedro, brincalhão:/ — ‘Entre, Irene./ Você não precisa/pedir licença’”. Infelizmente, apenas 55% dos alunos de 8ª série que fizeram o teste entenderam o poema. Ou seja, os alunos de nossas escolas não estão entendendo textos simples. Por isso, terminei minha fala afirmando: “Temos hoje uma urgência educacional”. Coletar este tipo de informação, na forma do SAEB, custa entre R$ 8,00 e R$ 10,00 por aluno. Assim, o SAEB custa cerca de R$ 4 milhões. Embora seja um valor considerável, gera informações preciosas para o monitoramento do sistema educacional. Desprezar esta informação em nada ajuda; é como matar o mensageiro da má noticia. Custo-aluno e desempenho Outro dado com grande potencial de descrição da realidade educacional é o do custo-aluno. Há uma grande variação no Brasil. O INEP tem uma pesquisa recente sobre o assunto. O custo-aluno, na rede municipal de Belo Horizonte, estava, em 2005, em torno de R$ 2.500,00 por ano. Ainda é um valor baixo, mas não tão baixo em termos de investimento. O salário-padrão do professor da rede municipal de Belo Horizonte é o dobro do salário do professor da rede estadual. No entanto, o resultado da Prova Brasil da rede municipal de Belo Horizonte foi um pouquinho pior que o da rede estadual. A diferença não é significativa em termos estatísticos, mas favorece os alunos dos professores que ganham menos. Precisamos incorporar estes dados na nossa reflexão educacional, pois, caso contrário, outros o farão, com interpretações preconceituosas e prejudiciais para o sistema educacional. A mera omissão, a desqualificação de dados tão informativos, precisa dar lugar a uma busca sistemática das explicações para a realidade que eles nos apresentam. Relação professor-aluno Na mesma direção, precisamos conhecer o que os dados nos informam sobre o tamanho ideal de uma escola e de turmas. Há um experimento muito citado, feito nos Estados Unidos, que mostra que faz muita diferença diminuir o número de alunos até 25 por turma. Depois de 25, os resultados só aparecem quando o valor chega a 15. Poucos Cadernos Cenpec 2007 n. 3 sabem que a relação professor/aluno no Brasil, nas escolas públicas, é de um professor para menos de 25 alunos. Em Belo Horizonte, esse número cai para menos de 20. No entanto, o tamanho das turmas é bem maior. Ou seja, não faltam professores, e sim a alocação mais criteriosa dos profissionais. Dados e eqüidade O Brasil é um país injusto e desigual, e são os dados educacionais que estão nos permitindo caracterizar esta dura realidade, primeiro passo para a sua superação. O SAEB foi o primeiro levantamento a coletar os dados considerando a etnia. Sabemos hoje das diferenças de desempenho dos diversos grupos de alunos, por exemplo, que, depois de considerado o nível socioeconômico, há uma diferença substancial entre os alunos que se declaram brancos e aqueles que se declaram negros. Esse dado evidencia a necessidade de políticas públicas e escolares para a superação destas diferenças. Ainda é pouco apreciado o fato de o estudo da eqüidade exigir a coleta de dados sobre o coletivo. Quando dizemos que o efeito da escola brasileira na educação é de 30%, fazemos analogias com outras realidades e concluímos que esse efeito é pequeno. No entanto, na Finlândia, o efeito-escola é de 8%. Será que a escola na Finlândia tem pouco efeito? Claro que não! É que lá as escolas são muito parecidas e a decisão por uma outra escola não tem grandes conseqüências. É isso que é captado pela medida. No Brasil, apesar de termos valores mais altos, também as escolas são muito parecidas entre si. Mas concordo que o nome de “efeito da escola” é, neste caso, ruim. Trata-se mais de um indicador de heterogeneidade das escolas. As baixas porcentagens do “efeito da escola” estão nos levando, desnecessariamente, a um pessimismo pedagógico, pois o ideal é ser como a Finlândia, onde todas as escolas se parecem e o efeito é pequeno. Ensino O sistema educacional precisa aprender a usar melhor os dados coletados. Noto isso na Faculdade de Educação da Universidade Federal de Minas Gerais, onde sou professor desde maio deste ano. Incluí na minha disciplina algumas aulas a respeito das grandes bases de dados sobre o nosso sistema educacional; em particular, sobre o 40 censo escolar. Para minha surpresa, dei-me conta de que os alunos dos anos anteriores não haviam sido expostos a esse conteúdo, embora a coleta dos dados do censo escolar seja uma rotina em todas as escolas brasileiras. Os questionários são preenchidos no fim de março. Este é apenas um pequeno exemplo da dificuldade que os educadores têm com um instrumento gerencial básico do sistema educacional. Além da questão dos dados, gostaria de introduzir, embora de forma esquemática, alguns outros temas que precisamos, à luz dos dados existentes, discutir. Assumo o risco de apresentá-los, mesmo sem ter feito ainda uma reflexão mais madura sobre eles. O salário do professor e a avaliação Sobre o salário dos professores — um dado que também precisamos conhecer em toda a sua variação — lembramos a afirmação muito corajosa da professora Bernadete: “Temos que fazer um novo acordo com a categoria dos professores para pagá-los melhor”. Com as carreiras como estão e a quantidade de vantagens existentes, é impossível aumentar os salários de todos os professores. Mas precisamos pagar muito mais a muitos deles. Para isso, necessitamos examinar e, eventualmente, mudar, as decisões tomadas em outras épocas. Por exemplo, a isonomia entre os salários de professores de escolas que atendem a alunos de condições completamente diferentes deve ser revista. O salário que é ridículo na grande cidade garante vida digna e respeito em uma pequena cidade do interior. As escolas que atendem aos muito excluídos devem ter mais recursos, principalmente, para pagar os seus professores. Rotinas pedagógicas Gostaria de explicitar um pouco mais o que chamei de rotina pedagógica. Minha reflexão começa com a constatação de que o sistema de educação básica tem de atender a um número enorme de pessoas. Todos têm direitos iguais. Para isso, o sistema precisa implementar algumas rotinas. O exemplo da saúde também ajuda aqui. Os médicos de família canadenses usam, no atendimento rotineiro, os mesmos protocolos para todos os pacientes, e, assim, oferecem o melhor para todos. Na educação, não podemos ter apenas uma opção, precisamos de métodos claros. Cadernos Cenpec 2007 n. 3 A reflexão pedagógica brasileira, adotada na escola pública, tem sugerido a criação, em cada unidade escolar, de um projeto pedagógico diferenciado. No entanto, a escola privada não pensa assim. Elas estão se organizando em grandes redes que usam o mesmo material didático e fornecem treinamento, focado nesse material, para os professores. É muito fácil criticar essas opções, mas será que elas são tão ruins? Eu fiz uma pesquisa com os dados do SAEB, comparando as escolas privadas e as públicas. Depois de considerar as diferenças de nível socioeconômico entre o alunado, encontrei diferenças de 20 pontos entre a escola pública e a privada. Isso corresponde a, aproximadamente, um ano de escolarização. Uma das possíveis explicações está no que chamo de rotina: as aulas acontecem regularmente, com uma proposta entendida por todos. Se este sistema fosse tão ruim, será que a classe média o procuraria tanto quanto o faz? Entendam minha opinião: defendo que as escolas públicas implantem rotinas adequadas, que recebam apoio fundado nas suas opções, e não que as atuais rotinas do sistema privado sejam acriticamente levadas para o sistema público. Os nossos filhos, dos que estão aqui presentes, aprendem independente de a escola ter ou não rotina. Mas a rotina, criteriosamente escolhida, é necessária para o atendimento correto dos milhões de alunos que freqüentam o sistema público e são filhos de famílias com menor capital cultural. A questão da seleção As boas e prestigiadas escolas privadas devem o seu sucesso a suas políticas de seleção de alunos; e o mesmo acontece com a escola pública. Veja-se o resultado do ENEM. As boas escolas públicas são as técnicas, onde se entra por meio de um vestibular mais difícil do que o da USP. Existe algum espaço, em algum projeto público de educação, para a idéia de seleção? Pessoalmente, tenho um grande desconforto com a atual solução. Nós obrigamos o aluno pobre e brilhante a se matricular na escola do bairro. Entretanto, é legítimo a classe média atravessar a cidade para colocar o filho na escola de sua escolha. Com alguma freqüência, o aluno pobre e brilhante não recebe incentivo, pois, na sua escola, os valores dominantes não são os acadêmicos. Claro que o ideal é que todas as escolas funcionassem bem. Mas, com tanta desigual- 41 dade, não seria razoável concordar com a importância social do trabalho de algumas ONGs? Elas estão oferecendo bolsas e colocando 40, 50, 100 destes alunos em boas escolas privadas. Entendo que é preciso pensar sobre o uso restrito da idéia de seleção para o sistema público. Garantido o acesso a todos, poderíamos, a exemplo das escolas técnicas, ter escolas de educação básica, com acesso apenas por transferência, compostas por alunos que assumissem um compromisso especial de dedicação e desempenho. Aprender com a economia e a administração Agradeço a oportunidade de estar aqui esta tarde com vocês. Permitam-me registrar a grande satisfação de ser convidado para uma mesa com a professora Bernardete Gatti, uma das pensadoras educacionais mais influentes no Brasil. Como devem ter observado na minha fala, sou um otimista em relação ao efeito da escola. A escola brasileira pode fazer muito mais para os seus alunos. Para isso, entretanto, a sua transformação deve vir por meio de uma reflexão pedagógica que incorpore o conhecimento acumulado em outras áreas. Precisamos de mudanças na gestão; para isso, temos de aprender com a reflexão econômica e administrativa. Não faz sentido rejeitar os avanços obtidos e nem transladar, de maneira acrítica, o que se faz em outras áreas para a educação. No entanto, necessitamos nos dar conta de que os resultados atuais são tão ruins que algo precisa ser feito urgentemente. Relembro a minha idéia da urgência educacional. O preço da manutenção do status quo está sendo pago pelos alunos que aprendem pouco e, conseqüentemente, só têm acesso a uma vida menos digna. Temos de sonhar que a escola pode ajudar a construir um Brasil onde todos tenham acesso não só aos frutos econômicos do conhecimento, como também à leitura e a seu entendimento. Assim, quem sabe, todos possamos apreciar os belos poemas de Manoel Bandeira. Cadernos Cenpec 2007 n. 3 COMENTÁRIO: SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA – SAEB Avaliar para que(m)? Jorge Kayano* A repercussão, pela imprensa, dos resultados do SAEB – Sistema Nacional de Avaliação da Educação Básica foi intensa, destacando a piora no desempenho dos alunos nos dez anos compreendidos entre 1995 e 2005. Esta piora teria sido contínua e acentuada no 3º ano do ensino médio, mas apenas na rede pública, tanto em Língua Portuguesa quanto em Matemática. Os alunos da rede particular do ensino médio mantiveram seu desempenho em Português e melhoraram em Matemática, aumentando assim a distância entre as duas redes. Esse triste resultado ocorreu também em relação aos alunos da 8ª série do ensino fundamental, só que de forma menos acentuada, já que os da rede particular mantiveram o desempenho em Matemática, mas revelaram piora no exame de Língua Portuguesa — apesar de obterem sempre notas médias mais altas do que os da rede pública. Os alunos da 4ª série da rede pública demonstraram melhora no desempenho nas três últimas edições do SAEB — 2001, 2003 e 2005 — entretanto, continuaram com rendimento abaixo do de 1995. A interpretação predominante desses resultados é a de que o Brasil conseguiu aumentar e quase universalizar o acesso das crianças, de sete a 14 anos, ao ensino fundamental: atualmente, mais de 80% dos jovens, de 15 a 17 anos, estão nas escolas. Continuamos, ainda, com uma baixa cobertura na educação infantil, especialmente em creches, atendendo a menos de 15% das crianças até três anos. O Censo Escolar de 2006 mostra um aumento de menos de 1% de matrículas em creches, comparado com o ano anterior. E temos ainda altas taxas de distorção idade-série, com quase 40% dos alunos na 8ª série do ensino fundamental com, no mínimo, dois anos de atraso escolar. Esta distorção é ainda maior no ensino médio, de modo que apenas pouco mais de 10% dos jovens, de 18 a 24 * é pesquisador do Instituto Pólis: <www.polis.org.br>. 42 anos, encontram-se hoje no ensino superior. Entendido e apropriado pela sociedade Retornemos à questão do aprendizado: o que significam os dados do SAEB? Podemos afirmar que a simples menção ao resultado médio de 169 em Língua Portuguesa, obtido em 2003, por 92 mil alunos daquela série, em cerca de cinco mil escolas do país, pouco esclarece. Esse valor está situado numa escala que varia de 100 a 350, válida também para os alunos da 8ª série e do terceiro ano do ensino médio. Em Matemática, a nota média dos alunos da 4ª série, em 2003, foi 172, numa escala que vai de 100 a 375. Estes números ganham mais sentido quando técnicos do Ministério da Educação1 informam que, em 2003, 60% dos alunos da 4ª série do ensino fundamental tinham baixa proficiência em Língua Portuguesa, e 56%, em Matemática. Isso denota que mais da metade dos alunos dessa série apresentavam um nível de aprendizagem abaixo do esperado. E os resultados do SAEB de 2005 permitem estimar que esses números continuam praticamente inalterados. A partir desses dados, podemos estimar que os alunos da rede municipal de ensino do Rio Grande do Norte, que apresentaram nota média de 141 em Língua Portuguesa — a menor média entre os estados — tiveram bem mais do que 60% de baixa proficiência; e que os alunos da rede municipal de Minas Gerais, com uma média de 183 — a maior entre os estados — devem ter tido melhor aproveitamento do que os de São Paulo, que ficaram com a média de 174, próxima da nacional. Em relação à rede estadual de ensino fundamental, temos mais uma vez o Rio Grande do Norte com a menor média, de 144; sendo 191, no Distrito Federal (e 177 no estado de São Paulo). A menor média da rede particular de ensino fundamental ocorreu em Sergipe, com 197 — portanto, maior do que na rede pública do DF; e a maior média da rede particular foi em Minas Gerais, com 232 (em São Paulo, 225). Cadernos Cenpec 2007 n. 3 Verificamos que os valores médios variam bastante, de acordo com as redes, e também entre os estados e as cidades, por exemplo, quando se comparam as redes de ensino das capitais com os demais municípios, ou entre as escolas rurais e urbanas. Por outro lado, o SAEB de 2005 revela melhora nas redes em alguns estados e piora em outros, refletindo, em alguma medida, os investimentos dos diferentes gestores, tanto na rede física, nos equipamentos, quanto na qualificação do corpo docente, na revisão da grade curricular, no estímulo à permanência dos alunos, na gestão participativa das escolas etc. É neste ponto que pretendemos nos deter: um sistema de avaliação como o SAEB, e mesmo o ENEM — Exame Nacional do Ensino Médio —, permite um diagnóstico adequado da situação e evolução da educação básica, mas só vale se for utilizado como uma ferramenta para transformar, para melhor, a situação encontrada. A condição essencial para que isto ocorra é que ele seja entendido e apropriado pela sociedade — concretamente, pelos pais dos alunos, os próprios alunos, principalmente os do nível médio, pelos empresários, sindicatos, entidades de defesa de direitos, e, especialmente, os gestores, mas não só os públicos das diferentes esferas, como também os diretores das escolas, os professores, os parlamentares etc. Alocação de recursos Na medida em que o INEP já produziu um SAEB censitário,2 envolvendo boa parte da rede pública de ensino fundamental e, inclusive, produziu cartazes com os resultados de 2005 de cada escola, a quem caberia iniciar este processo de apropriação dos dados, para desencadear o debate público e a definição das ações necessárias? Neste ponto, lembramos da importância do envolvimento da mídia. Entretanto, o que nos parece fundamental é que, preferencialmente, a iniciativa deve ser, de forma simultânea e convergente, do secretário municipal, da Câmara de Vereadores, das entidades associativas dos professores, dos diretores, das associações de pais e mestres e de bairros — e, por que não, da iniciativa de pessoas físicas, pais, professores, imprensa local... Os gestores podem começar com uma medida muito concreta — que a implementação do Fundeb - Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação, a partir deste ano, pode facilitar — que é a proposta de alocação de re- 43 cursos, priorizando as escolas que apresentam os piores indicadores: por exemplo, destinando os recursos necessários para melhorar sua infra-estrutura e criando mecanismos de remuneração que atraiam os melhores professores, os mais experientes e dedicados. Porque, só assim, será possível reverter os indicadores que já mostram que 80% dos alunos mais pobres, da classe E, brancos ou negros, têm notas consideradas críticas ou muito críticas. E poderiam propor, em negociação coletiva, que uma parte variável da remuneração fosse vinculada à melhora no desempenho dos alunos, medido por meio de metas também negociadas — nesse processo, estariam envolvidos, além dos professores, os próprios alunos e pais. Essa abordagem requer uma gestão participativa, que não apenas envolva a comunidade local em tarefas como a limpeza e manutenção da escola, como também abra o debate sobre a adequação da grade curricular à realidade do entorno da instituição, estimulando, dessa forma, a participação dos pais e a curiosidade e a sede de conhecimento dos alunos. Uma pesquisa recente, desenvolvida pela Unesco e o INEP,3 levanta outra questão, bastante polêmica, mas que precisa ser enfrentada em cada escola: naquelas freqüentadas pela classe socioeconômica A, 10,3% dos estudantes brancos e 23,4% dos negros têm notas consideradas “críticas” ou “muito críticas” — um diferencial bem maior do que nas escolas freqüentadas pela classe E. Para Mary Garcia Castro, uma das coordenadoras do estudo, nas escolas das classes mais altas, os negros são minoria, causando o aumento do preconceito racial, o que acaba se refletindo nas notas. Segundo ela, a maioria dos entrevistados — não-negros — disse que o desempenho escolar era “questão de mérito” ou “problema da família”. Ela cita o exemplo da Escola Comunitária Luíza Mahim, em Salvador, onde a maioria das crianças é negra e o desempenho delas é melhor em comparação com os brancos: “Lá se trabalha a questão da raça negra, mas não de maneira inferiorizada. Fala-se dos heróis negros da escravidão, o que ajuda a levantar a auto-estima dos alunos”. Notas 1 2 3 SIMÕES, Armando A.; GOULART, O. M. T. Brazil’s national award for innovation in education management: an incentive for local education authorities to improve municipal education systems toward the goals of the National Education Plan. The Innovation Journal: The Public Sector Innovation Journal, v. 11(3), art. 6. Dados por escola disponíveis em: <http://www. inep.gov.br/basica/saeb/ anresc.htm>. Relações raciais na escola: reprodução de desigualdades em nome da igualdade. Disponível na página da Unesco. Cadernos Cenpec 2007 n. 3 44 Cadernos Cenpec 2007 n. 3 Terezinha Azerêdo Rios* /QUESER¹ DAAVALIA¿»O SEMAÁTICA A obsessão do uso do termômetro nunca fez baixar a temperatura. Philippe Meirieu Haverá algo mais educativo e libertador do que exercitarmos nossa capacidade de avaliar a avaliação, reconhecendo que sua complexidade não se encontra na seleção de dados a coletar, mas na decisão do olhar interpretativo que será utilizado? Mara Regina de Sordi . ão se pode deixar de concordar com os que afirmam que a avaliação é, muitas vezes, “uma pedra no caminho” do trabalho das instituições, das escolas, dos educadores. Dizemos sempre que avaliar não é fácil. A pergunta que imediatamente se propõe é: por quê? Que características tem a avaliação que a tornam “difícil”? O que se exige num processo avaliativo que o faz converter-se freqüentemente num problema para os que com ele estão envolvidos? Minha área de trabalho é a Filosofia da Educação. A Ética tem sido um espaço privilegiado de minha reflexão. É no âmbito da Filosofia da Educação e da Ética, portanto, que tenho me voltado para as diversas questões que nos desafiam no nosso cotidiano de educadores. Neste texto, pretendo centrar a reflexão na necessidade da presença da ética no terreno da avaliação. Em um trabalho anterior (Rios, 2000), procurei apontar alguns aspectos desse tema. Aqui, quero levar adiante a discussão, explorando alguns elementos provocativos, encontrados na prática de professores e indicados por * Terezinha Azerêdo Rios é doutora em Educação, professora do Mestrado em Educação do Centro Universitário Nove de Julho – Uninove e do Departamento de Teologia e Ciências da Religião da PUC/SP: <[email protected]>. 45 Cadernos Cenpec 2007 n. 3 eles em algumas situações. Vou destacar uma experiência que, embora tendo um caráter bastante particular, representa, de certa forma, algo que é vivenciado por muitos educadores. Uma vivência em Moçambique De 2004 a 2006, trabalhei como professora num convênio da PUC-SP com a Universidade Pedagógica, em Moçambique. Tratava-se de um mestrado desenvolvido pelo Programa de Estudos Pós-Graduados em Educação/Currículo e cujos alunos eram professores dos diversos cursos da universidade moçambicana. Ali, ministrei a disciplina Avaliação: Teorias e Práticas. O objetivo central da disciplina, apresentado na proposta de programa, era discutir sobre o significado da avaliação no contexto escolar, identificando suas funções e percebendo suas conseqüências e implicações políticopedagógicas. Buscou-se analisar o processo avaliativo no interior das tendências da educação contemporânea e refletir sobre as políticas de avaliação na educação em Moçambique, seus fundamentos e sua significação na organização curricular da escola daquele país. No relatório apresentado ao final do trabalho, afirmo que foi uma experiência muito gratificante, pois pude contar, no decorrer dos trabalhos, com a disponibilidade e a atenção de todo o grupo. Todas as propostas apresentadas foram acolhidas com interesse e foi grande o envolvimento de todos nas discussões. Revelaram-se a curiosidade e o empenho de ampliar o conhecimento para aprimorar a atuação profissional, especificamente no que diz respeito à avaliação educacional. Pôdese perceber que a exploração sistemática dos conceitos trouxe, a alguns dos participantes, uma nova forma de se apropriar deles. Num dos momentos do trabalho, depois de discutirmos a natureza da avaliação, suas funções, os tipos de avaliação, solicitei, aos alunos-professores, que indicassem quais eram as certezas e dúvidas que tinham sobre a questão. No plano das certezas, apontavam-se: • a importância do processo avaliativo no contexto da educação; • as vantagens de um olhar crítico sobre a prática pedagógica; • a necessidade da atenção dos professores para todos os elementos envolvidos nessa prática. 46 Algumas afirmações já indicavam uma preocupação com o eixo da reflexão que aqui pretendo desenvolver: • “Tenho certeza de que uma avaliação justa motiva os alunos para a aprendizagem”; • “É preciso ser um bom educador para garantir uma avaliação justa”; • “A avaliação é um gesto crítico que visa trazer a justiça na relação professor-aluno”. No plano das dúvidas, concretizaram-se as preocupações que já se anunciavam nas “certezas”: • “Será que existe um professor que faz uma avaliação justa?”; • “É possível fazer justiça no processo da avaliação?”; • “A subjetividade do processo de avaliação deixame com uma série de dúvidas quanto à justiça nesse processo”. Esses questionamentos apontavam para um foco comum: será que há realmente possibilidade de haver justiça quando se realiza uma avaliação? A referência à justiça nos remete imediatamente à necessidade da presença da ética no campo da avaliação. Para além de perguntar por métodos e técnicas de elaboração de instrumentos de avaliação, ou pela objetividade de critérios para organização de exames e provas, os professores faziam emergir o núcleo da ação avaliativa, que se encontra em sua própria definição, se recorrermos à etimologia: avaliar é conferir valor. E qual é o valor da avaliação? Embutida na pergunta pela justiça, havia uma indagação: de que vale a avaliação, se ela não é justa? Conferir valor Conferir valor é algo que marca a intervenção dos seres humanos no mundo, como criadores de cultura. A transformação que se opera na realidade, por meio do trabalho, não se dá apenas num aspecto material, como também, e principalmente, num plano simbólico, de atribuição de significados, de valores. Valores de diferentes naturezas, que se encontram presentes em todas as dimensões das ações e relações dos seres humanos, na sociedade e na história: • lógicos — quando nos referimos à verdade ou falsidade dos enunciados, das proposições teóricas; • estéticos — quando se qualificam como belas ou não as criações artísticas; • econômicos — quando se quantificam as realizações que produzem a vida material; Cadernos Cenpec 2007 n. 3 SERECORRERMOS¸ ETIMOLOGIAAVALIARÁ CONFERIRVALOR%QUALÁ OVALORDAAVALIA¿»O %MBUTIDANAPERGUNTA PELAJUSTI¿AHAVIAUMA INDAGA¿»ODEQUEVALE AAVALIA¿»OSEELAN»O ÁJUSTA Não se diz que se avalia quando apenas se verifica que um corredor percorreu uma distância de 100 metros em 30 segundos. Na verdade, avalia-se quando se julga se isso significou ou não algo importante — o registro de um recorde, por exemplo. Na escola, não haveria sentido em atribuir notas aos trabalhos dos alunos, se não houvesse um referencial segundo o qual se pudesse dizer se aquelas notas indicam algo bom ou mau. Apontar o positivo e o negativo • morais — aqueles para os quais quero chamar atenção, que dizem respeito à significação conferida ao comportamento dos indivíduos em sociedade, na sua relação com os outros. Se a presença dos valores é algo constituinte da ação e da relação entre os seres humanos e se dizemos que avaliar é conferir valor, podemos afirmar que a avaliação faz parte do cotidiano da vida humana. Ouvimos dizer, sempre, que, em todo momento, estamos avaliando: acordamos, chegamos à janela e dizemos que “o dia está bonito”; vemos passar um conhecido na rua e pensamos que sua gravata é “de mau gosto”; assistimos na televisão à descrição de um homicídio e opinamos que é “um crime imperdoável”; lemos o trabalho de um aluno e concluímos que “está regular”. Será que são “avaliações” de natureza idêntica? Sabemos que não, tanto em virtude da “classificação” antes apresentada, quanto dos contextos nos quais se dá o gesto avaliativo. Entretanto, é importante assinalar que, em qualquer espaço em que se realiza esse gesto, sempre se tem uma referência para se afirmar que algo é “bom”, “de mau gosto”, “imperdoável” ou “regular”. Não avaliamos sem considerar alguns critérios, que constituem uma base para nossos juízos. É da natureza da avaliação voltar-se para um objeto com a intenção de emitir sobre ele um parecer. Há sempre, no gesto avaliativo, um juízo de valor. Os juízos são atos do pensamento nos quais afirmamos ou negamos algo. Nos juízos de fato, enunciamos algo que diz respeito a aspectos verdadeiros ou falsos da realidade. Nos juízos de valor, fazemos uma apreciação dos fatos. 47 Falamos aqui em presença da ética na avaliação que se realiza no contexto educacional, mais propriamente no contexto escolar. Assim, num processo de educação organizado e sistemático, a avaliação deve caracterizar-se como um olhar crítico, que procura voltar-se para a realidade com a intenção de vê-la com clareza, profundidade e abrangência, buscando superar uma visão ideológica ou preconceituosa, indo às raízes das questões que pretende investigar e enfrentando o desafio de levar em consideração a diversidade e a multiplicidade de pontos de vista com que se defronta. Avaliar deve ser, então, no sentido que aqui se considera, fazer uma crítica. É preciso cuidado, entretanto, para não ficarmos presos ao sentido que se dá à crítica, no nível do senso comum. Aí, a crítica é considerada uma apreciação que aponta apenas o aspecto negativo do objeto enfocado. Diz-se, então, que criticar é “falar mal”: “o aluno criticou a professora”, “os pais criticaram a escola”, “os professores criticaram o governo”. Isso leva a pensar que talvez a resistência que se tenha à avaliação se justifique em virtude de uma compreensão restrita, que reduz e empobrece a significação do olhar crítico. Sem ter consciência clara disso, muitos professores buscam no desempenho dos alunos somente os aspectos que é preciso corrigir. É claro que, quando avaliamos, encontramos muitas vezes elementos que precisam ser corrigidos, modificados, superados. Entretanto, se já partimos do pressuposto de que há algo a ser corrigido, nosso olhar pode deixar de enxergar o que está bom, o que merece ser destacado e aprimorado. O que afirmamos sobre a atitude crítica nos ajuda a entender, assim, que fazer a crítica a algo não significa apontar só o que é negativo. Ao olhar com clareza, com profundidade e com abrangência, temos a possibilidade de ver o que é bom e o que é mau, o que anda bem e Cadernos Cenpec 2007 n. 3 o que está inadequado. Assim, podemos nos esforçar para mudar o que não está satisfatório e aperfeiçoar o que julgamos que está indo bem. Por isso é que não faz sentido falar em crítica construtiva ou destrutiva: a crítica alarga e aprofunda nossa visão — o que fazemos a partir daí é o que efetivamente qualifica o processo, do ponto de vista ético. Dimensões da avaliação Talvez a qualificação da avaliação como algo difícil se deva ao fato de ela constituir uma atitude crítica, que nem sempre se assume facilmente. Na verdade, menos que difícil, a avaliação é complexa: o campo da avaliação — especialmente da avaliação educacional — compõese de vários segmentos específicos e o processo avaliativo se constitui de inúmeras dimensões, estreitamente conectadas entre si. Para falar da presença da ética, como uma dimensão que deve ser constituinte da avaliação, devemos, então, voltar nosso olhar para as dimensões da avaliação. Há em toda ação avaliativa uma dimensão técnica, que diz respeito ao conhecimento tanto dos objetos ou dos sujeitos a serem avaliados, quanto dos objetivos e dos procedimentos necessários e adequados. Aí também se encontram os referenciais para as verificações. Avaliar pressupõe apontar determinados objetos, estabelecer objetivos que se pretendem alcançar, construir ou selecionar instrumentos para a ação e definir caminhos para atingir o fim. Por ser fundamental na configuração da avaliação, a dimensão técnica constitui, sem dúvida, o seu suporte. Entretanto, ela só ganha sentido se estiver articulada às outras dimensões. Uma delas é a dimensão política, que guarda referência ao contexto no qual se dá a avaliação, às determinações aí presentes, às pressões para a definição de caminhos. A outra é a dimensão moral, que diz respeito especificamente à atitude, ao comprometimento dos sujeitos que realizam as ações de avaliação. Fica, evidente, então, que a avaliação não tem apenas um caráter técnico, não se reduz aos atos de verificar ou conferir ações e resultados. É impossível falar de um processo de avaliação sem fazer referência às determinações a que está constantemente submetido e aos valores que o fundamentam. Avaliar pressupõe definir princípios, em função dos objetivos que se pretende al- 48 cançar e implica um compromisso dos sujeitos envolvidos na direção desses objetivos. Muitas vezes, considera-se apenas a dimensão técnica da avaliação, deixando-se de lado os aspectos políticos e, principalmente, os éticos. Assim, a preocupação maior se concentra nos instrumentos, nas medidas, nas representações quantificadas. Não é ruim estar atento a esses elementos. Na verdade, é uma atitude ingênua aquela que despreza os aspectos quantitativos da avaliação. Romão (1998, p. 48) qualifica como um mito, indicador do caráter ideológico que se encontra muitas vezes no campo da avaliação, a afirmação de que “é preciso eliminar os aspectos quantitativos da avaliação”. Recorrendo a Gramsci, o autor afirma que: “já que não pode existir quantidade sem qualidade e qualidade sem quantidade (economia sem cultura, atividade prática sem inteligência e vice-versa), qualquer contraposição dos dois termos é, racionalmente, um contra-senso” (idem). O que vale assinalar é que, ao se perder de vista o que significam, do ponto de vista ético-político, os aspectos qualitativos, empobrece-se o sentido da avaliação, que faz parte de uma dinâmica mais ampla: a da prática educativa e a da convivência social. Dias Sobrinho (2003, p. 177) confirma a presença da dimensão político-moral quando afirma que Cadernos Cenpec 2007 n. 3 ...a avaliação (...) é uma prática social orientada sobretudo para produzir questionamentos e compreender os efeitos pedagógicos, políticos, éticos, sociais, econômicos do fenômeno educativo, e não simplesmente uma operação de medida e muito menos um exercício autocrático de discriminação e comparação. mas ações reprováveis tornam-se costumeiras em algumas instâncias sociais, as pessoas são levadas a afirmar que “já que é costumeiro, não é mau”. Muitas vezes, verifica-se isso no campo da avaliação — recorremos a determinadas formas de avaliação habituais, já “consagradas”, sem perguntar por sua consistência ou coerência. São “costumeiros” os exames vestibulares, logo... serão bons? É para evitar equívocos dessa natureza que recorremos à ética. Diferente da moral, que tem um caráter normativo, a ética tem um caráter reflexivo. É com base em seus princípios — o respeito, a justiça, a solidariedade — que as ações morais podem ser julgadas. Essa é uma distinção que pretende ser esclarecedora, no sentido de levar ao reconhecimento da presença da moral, em todas as ações e relações, e de uma costumeira ausência da ética, em boa parte delas, em nosso contexto social, nas instituições escolares, nas salas de aula. É porque temos necessidade dessa presença da ética que precisamos nos mobilizar para identificá-la e promovê-la com firmeza. No terreno da avaliação educacional, que aqui nos interessa especificamente, a ética tem o papel de indagar se as ações avaliativas estão fundadas em princípios que levam à promoção do bem comum, da dignidade humana, da vida feliz. Igualdade na diferença Ética e moral O fato de existir uma dimensão moral na avaliação não implica, entretanto, a presença da ética. Embora haja uma referência constante à ética no trabalho dos educadores, penso que ainda se faz confusão, o que é muito comum, entre ética e moral. É preciso distingui-las, não para separá-las — o que é impossível — e sim para que possamos nos referir a elas com mais propriedade. Enquanto a moral consiste no conjunto de prescrições que orienta a conduta de indivíduos e grupos nas sociedades, a ética se apresenta como um olhar crítico sobre a moral, perguntando pelos fundamentos dos valores que a sustentam. As ações morais têm sua origem nos costumes de cada sociedade. Esses costumes estão fundados em valores — o que é costumeiro é confundido, muito freqüentemente, com o que é bom. E, então, porque algu- 49 Os professores moçambicanos preocupavam-se com a justiça na avaliação. Alguns apontavam a dificuldade de realizar uma avaliação justa, em virtude da presença da subjetividade no processo. A partir de suas indagações, tivemos oportunidade de refletir sobre a falsa dicotomia objetividade/subjetividade nas ações e relações humanas. Objetividade e subjetividade são perspectivas do conhecimento, o qual se define exatamente como uma relação que envolve sujeito e objeto. Esta relação tem um caráter dialético — impossível separar os seus pólos. Assim, pelo fato de haver sempre um sujeito “conhecedor”, é impossível deixar de haver subjetividade no conhecimento e na ação. Isso se evidencia se retomarmos o que dissemos sobre os valores presentes no contexto humano. Valores são atribuídos levando-se em conta características que os objetos, quaisquer que sejam eles, têm, independentemente da relação com o sujeito, mas se configuram exatamente a partir da signifi- Cadernos Cenpec 2007 n. 3 cação que os sujeitos dão a essas características. Assim, não é a presença da subjetividade que prejudica o trabalho educativo ou a avaliação. O que pode causar prejuízo é a forma como se atribuem os valores, quando se desconsideram os princípios que devem fundamentar a convivência humana, o processo educativo, os mecanismos de avaliação. Levando em conta a subjetividade, somos remetidos também à necessidade de considerar a diversidade e a diferença. É exatamente aí que ganha relevo a questão da justiça. Pelo princípio da justiça, afirma-se a igualdade na diferença. Somos diferentes: homens e mulheres; brancos, negros, de diversas etnias; idosos, adultos, jovens e crianças. Mas somos iguais em direitos, iguais no direito de ter direitos, de criar direitos. Somos, portanto, diferentes e iguais. O contrário de igual não é diferente. É desigual, e tem uma conotação social e política. A afirmação da identidade se dá na possibilidade da existência da diferença e na luta pela superação da desigualdade. Perguntar pela presença da justiça nas ações de avaliação é indagar se elas, como elementos de um processo mais amplo que é a educação, contribuem para que se cumpra a finalidade desse processo: a criação e a partilha da cultura, a construção da humanidade, a afirmação da cidadania. Pode parecer enfático fazer essa afirmação. Entretanto, é preciso que nós a reiteremos, sempre: quando avaliamos, no campo da educação, educamos. E temos que nos indagar se estamos efetivamente educando de acordo com os princípios éticos, para além do que se costuma determinar moralmente. Quantas vezes o processo avaliativo não tem contribuído para a instalação de desigualdades, quantas vezes a avaliação não se apresenta como um instrumento de dominação e controle, apesar dos discursos que mencionam igualdade e diálogo? Parece-nos que é exatamente na avaliação que (os professores) mais negam seus discursos progressistas, que retomam, com mais determinação, a prática do monólogo com o aluno, que usam o espaço para o exercício do poder, um poder que se harmoniza com a ordem social vigente. (...) Não conseguem analisar a avaliação do estudante como apenas uma limitada faceta de um processo mais amplo (Sordi, 1995, p. 23). 50 AAVALIA¿»ON»OÁALGO ISOLADODAORGANIZA¿»O CURRICULARÁELEMENTO CONSTITUINTEDESSA ORGANIZA¿»O0ORISSO MESMOÁQUESEINSISTE NOCAR¹TERPROCESSUALE CONTÅNUODAAVALIA¿»ONO SEUCAR¹TERFORMATIVO Vale retomar a idéia de que, ao trazer a justiça para o processo educativo/avaliativo, cria-se espaço para a igualdade e a diferença. Comte-Sponville (1996, p. 75) afirma que “a igualdade não é tudo”. E indaga: “Seria justo o juiz que infligisse a todos os acusados a mesma pena? O professor que atribuísse a todos os alunos a mesma nota?”. É preciso reconhecer a diferença — de natureza, de condições — dos que são submetidos à avaliação, uma vez que é a partir desse reconhecimento que se pode criticamente estabelecer critérios e encaminhar ações. Avaliação, “ensinação” e aprendizagem Tenho chamado atenção para uma pergunta que é feita por um amigo e colega, o professor Douglas Santos: o que ensinamos quando ensinamos uma determinada disciplina? – “O que realmente ensinamos quando procuramos explicar cada um dos temas que dão identidade às nossas disciplinas e às nossas aulas?” (Santos, 2004, p. 35). A resposta é: não ensinamos apenas aquelas disciplinas. Segundo Santos, “ensinar conteúdos ultrapassa os limites aparentes de nosso discurso e das afirmações que nele estão contidas”. Isso quer dizer que, ao ensinar qualquer disciplina, criamos possibilidades de o educando desenvolver a capacidade de dominar as estruturas que são usadas para construir o pensar e, além disso, possibilidades de desenvolver a capacidade de agir e sistematizar sua ação. Mais ainda: não é apenas um amplo conjunto de habilidades que se desenvolve, também se configuram atitudes em relação à realidade e à convivência social. A atitude do professor ensina. Cadernos Cenpec 2007 n. 3 Ora, a avaliação não é algo isolado da organização curricular, é elemento constituinte dessa organização. Por isso mesmo é que se insiste no caráter processual e contínuo da avaliação, no seu caráter formativo. Assim, com relação à avaliação, há uma pergunta decorrente daquela que nos apresenta Douglas Santos: “O que se ensina quando se avalia algo no contexto educativo?”. Retomo a pergunta levando em consideração a forma como a avaliação tem sido, muitas vezes, realizada na escola: de forma fragmentada, em momentos específicos. Há, então, “a semana de provas”, “o dia da avaliação”. Nesses momentos, supostamente, “não há aulas”. Há uma interrupção no processo de ensinar, que ocorre nas aulas. A “ensinação” e a aprendizagem dão lugar à avaliação. É propositalmente que pinto com cores mais fortes o que costuma acontecer — reconheço que essa forma de considerar o trabalho na escola não é própria da maioria dos professores. Entretanto, ela faz parte de um imaginário que se expressa na fala dos alunos: “Não estamos tendo aula (aprendendo?) nesta semana, pois é a ‘semana dos exames’”. Efetivamente, numa “parada para avaliar” acontece algo diferente da relação cotidiana de professores e alunos. Mas não se deixa de ensinar e aprender. E o que se ensina e se aprende naquele momento? A organização das questões propostas aos alunos, a forma como se esclarecem os objetivos e critérios, a atitude do professor ao apresentá-los, tudo isso ensina, para além da sistematização de determinadas estruturas de conhecimento. Sem dúvida, há que se estar atento para a dimensão técnica do processo (será mesmo considerado um processo?), mas não se podem esquecer suas implicações políticas e éticas. No filme Pro dia nascer feliz, de João Jardim,1 entre diversas cenas inquietantes e constrangedoras, o cineasta nos faz participar daquela em que se mostra uma sessão do Conselho de Classe de uma das escolas enfocadas no filme. As professoras estão discutindo o desempenho de um aluno que tem um comportamento extremamente problemático nas aulas de todas as disciplinas, e cujo rendimento se encontra longe do desejável. Os conceitos que cada professora traz são muito baixos e levariam imediatamente a uma reprovação. Entretanto, elas se perguntam se vale a pena reter o aluno, uma vez que as condições para a recuperação são quase inexistentes e a reprovação levaria o aluno a abandonar a escola. 51 Em nenhum momento as professoras fazem referência explícita à questão da justiça na avaliação que estão realizando. Mas é isso o que está implícito. E é evidente o mal-estar que causa a ausência de recurso a qualquer fundamento para os encaminhamentos que são propostos. Problematiza-se, ali, não apenas a situação do aluno, como também a das próprias professoras e da escola. E, sem dúvida, a da sociedade, carente de justiça. No Brasil, lugar do documentário; em Moçambique, onde os alunos-professores revelam suas preocupações. Em tantas partes do mundo. Esteban (2003, p. 32) nos diz que ...muitas vezes, o que dá sentido às palavras, atos, produções, processos, possibilidades, carências, está silenciado, nem por isso, ausente. Apenas invisibilizado no discurso e nas práticas. Para avaliar, é preciso produzir instrumentos e procedimentos que nos ajudem a dar voz e visibilidade ao que é silenciado e apagado. Com muito cuidado, porque a intenção não é melhor controlar e classificar, mas sim melhor compreender e interagir. Crítica e utopia “Não mexa na minha avaliação!” é o título que Perrenoud (1993, p. 173) dá a um de seus trabalhos. Esta exclamação é, segundo Perrenoud, aquela com a qual se reage a qualquer mudança no sistema de avaliação, uma vez que ela implicaria uma mudança mais ampla, do sistema educacional: “significa pôr em questão um conjunto de equilíbrios frágeis e parece representar uma vontade de desestabilizar a prática pedagógica e o funcionamento da escola”, afirma ele. Há, sem dúvida, uma verdade na afirmação de Perrenoud. Se considerarmos que a avaliação não pode estar desarticulada de outros elementos do processo educativo, sendo considerada até um dos elementoschave desse processo, mexer nela poderia colocar em risco o edifício supostamente seguro do trabalho realizado na escola. É importante, portanto, pensar a avaliação no contexto da proposta curricular e, esta, no interior de um projeto pedagógico, elaborado com a participação de toda a equipe escolar e levando em conta as necessidades concretas da sociedade e os limites e possibilidades para a construção coletiva de uma educação democrática e justa (Rios, 2000). Cadernos Cenpec 2007 n. 3 Como tentativa de compreensão, o exercício crítico da ética volta-se para um ideal — algo desejado e necessário, que se anuncia no futuro e cuja possibilidade já se encontra inscrita no real e no presente. Ainda não encontramos no contexto educativo a avaliação justa do jeito que pensamos ser desejável. Mas é nesse próprio contexto que se revelam ações que nos dão esperança, que indicam a possibilidade de contribuir, na escola, para a construção da sociedade democrática e solidária. As certezas — sempre provisórias — continuam a conviver com as dúvidas que nos provocam a seguir em frente, enfrentando os desafios. Se atualmente a discussão em torno da organização curricular amplia a noção de conteúdos, que não abrange apenas os conceitos, como também os comportamentos e atitudes, é preciso ampliar ainda a noção de avaliação. Se se pretende realizar uma formação integral, é necessário que a avaliação também o seja. Trata-se de olhar criticamente para todo o trabalho que se realiza na escola e não somente o do aluno. E quando se voltar para o trabalho do aluno, é preciso que, numa relação de respeito e justiça, professores e professoras procurem estabelecer princípios e definir instrumentos e ações que encaminhem para os objetivos desejados. O terreno da avaliação é um espaço privilegiado para que se encontre a possibilidade de concretização da proposta de incluir a ética no currículo das escolas como algo que, não constituindo uma área ou disciplina, articula-se com elas de maneira que os professores e as professoras possam trabalhar, de maneira integrada, o conhecimento específico de suas áreas e as questões relacionadas aos valores e ao convívio social (Brasil, 1998). O respeito, a justiça, a solidariedade, o diálogo, que devem estar presentes nas relações no interior da escola e, desta, com a sociedade, devem ser os referenciais para o estabelecimento de critérios e devem fundamentar o trabalho na sala de aula e o processo continuado de avaliação desse trabalho. Retomo a certeza do professor que afirma que “a avaliação é um gesto crítico que visa trazer justiça na relação professor-aluno”. Ela se converte numa dúvida quando percebemos seu caráter categórico: “a avaliação é...”. Na verdade, a avaliação deve ser... Este “dever ser”, revestido não de um caráter impositivo e controlador, e sim entendido como expressão do desejo e da necessidade, leva-nos ao caráter utópico que se abriga na ética. 52 Referências AFONSO, Almerindo Janela. Avaliação educacional: regulação e emancipação. São Paulo: Cortez, 2000. ________. Avaliar a escola e a gestão escolar: elementos para uma reflexão crítica. In: ESTEBAN, Maria Teresa (Org.). Escola, currículo e avaliação. São Paulo: Cortez, 2003. p. 38-56. BARBIER, Jean-Marie. A avaliação em formação. Porto: Edições Afrontamento, s/d. BARLOW, Michel. Avaliação escolar: mitos e realidades. Porto Alegre: Artmed, 2006. BRASIL. Parâmetros curriculares nacionais: terceiro e quarto ciclos do Ensino Fundamental. Brasília: MEC/Secretaria de Educação Fundamental, 1998. COMTE-SPOVILLE, André. Pequeno tratado das grandes virtudes. São Paulo: Martins Fontes, 1996. DIAS SOBRINHO, José. Avaliação – Políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003. _______. Educação e avaliação: técnica e ética. In: DIAS SOBRINHO, José; RISTOFF, Dilvo (Org.). Avaliação democrática: para uma universidade cidadã. Florianópolis: Insular, 2002. ESTEBAN, Maria Teresa. Ser professora: avaliar e ser avaliada. In: ESTEBAN, Maria Teresa (Org.). Escola, currículo e avaliação. São Paulo: Cortez, 2003. p. 13-37. ______ (Org.). Escola, currículo e avaliação. São Paulo: Cortez, 2003. HADJI, Charles. Avaliação desmistificada. Porto Alegre: Artmed, 2001. PERRENOUD, Philippe. Não mexam na minha avaliação! Por uma abordagem sistêmica da mudança pedagógica. In: ESTRELA, Albano; NÓVOA, António (Org). Avaliações em educação: novas perspectivas. Porto: Porto Editora, 1993. p. 171-191. RIOS, Terezinha A. A dimensão ética da avaliação. Pró-Posições, Campinas, Faculdade de Educação da Unicamp, v. 10, n. 2, p. 94-101, maio 2000. ________ Ética e competência (1993). 16. ed. São Paulo: Cortez, 2006. ________ Compreender e ensinar: por uma docência da melhor qualidade (2001). 6. ed. São Paulo: Cortez, 2006. ROMÃO, José Eustáquio. Avaliação dialógica – desafios e perspectivas. São Paulo: Cortez, 1998. SANTOS, Douglas. Uma consultoria para a educação escolar no Amapá – Relatório de discussões. São Paulo: PUC-SP/Instituto de Estudos Especiais, 2004. SORDI, Mara Regina Lemes de. Entendendo as lógicas da avaliação institucional para dar sentido ao contexto interpretativo. In: VILLAS BOAS, Benigna M. de F. (Org.). Avaliação: políticas e práticas. Campinas: Papirus, s/d. p. 65-81. VILLAS BOAS, Benigna M. de F. (Org.). Avaliação: políticas e práticas. Campinas: Papirus, s/d. Notas 1 Pro dia nascer feliz. Documentário. João Jardim (diretor). Ravina Filmes/Fogo Azul Filmes. Brasil, 2006. Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: PROJETO ESTUDAR PRA VALER! LÍNGUA PORTUGUESA De olhos... e ouvidos no aluno Claudia Petri Heloísa Trenche* “Meados de outubro, gravador em mãos, roteiro de perguntas... Eu realizava uma entrevista com seis alunos da Escola Municipal de Ensino Fundamental - EMEF Pastor Ismael Pereira Lago, no município de Limeira. Com as crianças colocadas em círculo, fazia a entrevista num tom informal, procurando descobrir mais sobre o desenvolvimento do projeto Estudar pra valer! Língua Portuguesa na sala de aula. Estávamos em uma biblioteca. Os alunos, ávidos para contar tudo o que aprenderam com o Projeto, os diferentes gêneros que conheceram, como desenvolveram as atividades, as leituras de que mais gostaram etc. Estava entusiasmada para ir a campo e coletar dados importantes, por intermédio de alunos, para a avaliação de um projeto. Consegui facilmente obter diversas informações com as crianças de 3º e 4º ano, cumprindo os objetivos da pesquisa naquele local. Ao final da entrevista, um aluno apontou para uma estante da biblioteca e me pediu para pegar um dos módulos do material do Projeto, a fim de que pudesse contar melhor o que ele e seus colegas tinham aprendido. Mais que isso, ele queria que eu escolhesse uma história, lesse para eles e, em seguida, conversássemos sobre o texto. Achei interessante a sua atitude. Ele parecia seguro e entusiasmado em participar de um processo avaliativo. Mas, como eu já havia obtido informações que julgava suficientes sobre o Projeto, resolvi mudar a estratégia: propus que o aluno escolhesse um livro para que realizássemos uma roda de leitura. O escolhido foi um livro de adivinhas. Comecei a lê-lo para o grupo, mostrando suas imagens e fazendo suspense. A participação dos alunos era tanta que acabei compartilhando, com eles, o papel de leitor — cada um se incumbiu de ler uma parte do livro. Nesse momento, os alunos, que desde * Cláudia Petri é pedagoga, com especialização em alfabetização, coordena o projeto Estudar pra Valer! que integra o programa Território Escola no Cenpec. Heloísa Trenche é pedagoga, mestranda em Educação pela Unicamp e pesquisadora da equipe de monitoramento e avaliação, do programa Território Escola. 53 o início da entrevista se mostraram bastante comunicativos, demonstraram que liam com fluência, levantavam hipóteses e faziam inferências, ou seja, tornaram evidentes suas habilidades de leitura. Descobri, com esta atividade, aspectos ainda não observados durante a entrevista. Quando a adivinha foi desvendada, no final do livro, as crianças pediram muito para que eu continuasse a ler outras histórias. Tive que parar por ali, o tempo havia se esgotado e os alunos precisavam voltar para a sala de aula...” Trecho de relato de uma pesquisadora que participou da coleta de dados. Como tudo começou... Esse pequeno relato ilustra uma fase da coleta de dados do Estudo Exploratório, realizado em 2006, com escolas que participam do Projeto Estudar pra valer! Língua Portuguesa, nos municípios de Bebedouro, Limeira, Resende e São Bernardo. Mais que isso: ele explicita o principal aspecto que se procura avaliar com esse Estudo: como o Projeto contribui para a aprendizagem dos alunos. O Estudar pra valer! Língua Portuguesa iniciou-se em 2002, no município de Itanhaém. Desde então, foram realizadas algumas mudanças e ajustes, de acordo com as demandas e as avaliações processuais. O monitoramento e a avaliação do Projeto tinham como objetivo a observação das práticas dos professores, da gestão dos tempos e espaços das escolas e dos resultados referentes à alfabetização durante o ano. Tais informações serviram como subsídios para reorientar as ações do Projeto e planejar estratégias de trabalho no processo de formação dos educadores. A idéia de realizarmos um estudo mais aprofundado, em que pudéssemos verificar os resultados do Pro- Cadernos Cenpec 2007 n. 3 jeto em relação à aprendizagem dos alunos, já vinha sendo alimentada pela equipe há muito tempo. Nosso interesse era saber mais sobre como eles aprendiam com o Projeto e se realmente se apropriavam dos diferentes gêneros trabalhados, ou seja, se liam mais e melhor, se produziam textos adequados à situação de produção etc. Um projeto em que o foco é o trabalho voltado à aprendizagem da leitura e da produção de texto por todos os alunos merece ser avaliado por meio de um estudo qualitativo em profundidade. Ora, realizar uma avaliação dessa natureza não é trivial. Exige diferentes tipos de esforço, principalmente no que se refere à construção de uma proposta de avaliação e monitoramento que contemple diferentes estratégias de coleta de dados para se compreender as variáveis que podem influenciar no processo de aprendizagem dos alunos. Além disso, ansiávamos acompanhar o processo de aprendizagem dos alunos longitudinalmente, uma vez que o Projeto se propõe a trabalhar com as séries iniciais do ensino fundamental. Após três anos de implementação do Estudar pra valer!, percebemos a possibilidade de essa idéia se concretizar: pela primeira vez estaríamos em parceria com os municípios durante uma gestão completa de quatro anos e a equipe estava estruturada para atender melhor essa demanda. O primeiro passo para desenhar o plano de monitoramento e avaliação foi a reconstrução dos indicadores do Projeto, por meio de uma matriz avaliativa. A matriz contemplou três etapas: • uma avaliação ex-ante, na qual analisamos os dados de contexto dos municípios; • uma avaliação de processo, por meio da análise das ações realizadas pelo Projeto; • uma avaliação de resultado com o foco nas ações dos participantes — professores e gestores — nas escolas. Embora esse processo de monitoramento e avaliação já tivesse ocorrido em 2006, ele pôde ser mais bem estruturado. Mas, como queríamos investigar com mais profundidade a relação entre a aprendizagem dos alunos e o desenvolvimento do trabalho dos educadores, esboçamos um plano, ao qual chamamos de Estudo Exploratório. 54 O Estudo Exploratório Seleção dos participantes Foi necessário fazer algumas escolhas no processo de elaboração do planejamento do Estudo. O Projeto prevê um número muito grande de alunos (em 2006, eram cerca de 56.500). Não coletamos dados de todos os envolvidos, nem mesmo obtivemos uma amostra estatística. Nossa opção foi a de realizar um estudo em profundidade, coletando dados mais detalhados sobre os resultados da aprendizagem de 461 estudantes. Decidimos realizar um estudo que guardasse as características de um Estudo de Caso, pois nos possibilitaria conhecer de perto detalhes sobre a implementação do Projeto na escola e também viabilizaria a realização da coleta de dados diretamente nessas instituições. Esse tipo de pesquisa já está legitimada no âmbito acadêmico, principalmente no que se refere aos estudos qualitativos. Segundo Marli André (2005), no Estudo de Caso, busca-se conhecer em profundidade o particular. Há o interesse em selecionar uma determinada unidade para compreendê-la. A situação a ser investigada é escolhida por representar um caso digno de ser estudado, seja por ser representativo de muitos outros, seja por ser distinto deles. Como faríamos então a seleção dos participantes do Estudo? Definimos alguns critérios: • os quatro municípios participantes do Projeto deveriam ser contemplados; • deveria haver a adesão dos alunos, professores, gestores e técnicos da secretaria ao processo avaliativo; • as quatro escolas escolhidas deveriam ter sido acompanhadas, desde 2005, pela equipe do Cenpec e tido uma relação de proximidade com a gestão escolar. A Secretaria, considerando esses fatores, também interferiu na escolha da escola: optou por unidades localizadas na periferia, que apresentavam algumas dificuldades, por exemplo, em aspectos pedagógicos ou no desempenho dos alunos; • seleção de quatro professores de uma mesma escola, contemplando cada uma das diferentes séries, sendo eles professores que haviam participado das ações de formação desde 2005 (ano em que o Estudar pra valer! foi implementado nos municípios) e que estavam desenvolvendo o Projeto em sala de aula. Cadernos Cenpec 2007 n. 3 Definidos os critérios e esboçado o planejamento, entramos em contato com os municípios participantes para uma conversa inicial, quando apresentamos a proposta, que foi muito bem recebida por todos. Então, iniciamos a coleta de dados. Os sujeitos do Estudo Para cada um dos quatro municípios envolvidos no Estudo, participaram quatro professores do 1º ao 4º ano do ensino fundamental e seus respectivos alunos, além da equipe gestora das escolas, que variou de uma instituição para outra. A seguir, apresentamos os sujeitos envolvidos na pesquisa: O Projeto Estudar pra Valer! Língua Portuguesa O Projeto Estudar pra valer! Língua Portuguesa foi elaborado tendo em vista os resultados visíveis do fracasso escolar no que se refere à leitura e à produção de texto, ferramentas básicas para a aprendizagem em todas as áreas do currículo. Seu objetivo é formar e assessorar gestores das secretarias e das escolas e professores de 1º ao 4º ano do ensino fundamental e acompanhar as unidades escolares durante o desenvolvimento do Projeto. Além disso, oferece um material de apoio específico, estruturado em projetos de leitura e produção de texto, para ser utilizado por professores e alunos. As atividades pretendem propiciar situações concretas, em sala de aula, de uso da língua em sua função social. Espera-se, com o desenvolvimento do Projeto, que os professores se apropriem da metodologia de projetos de leitura e produção de texto, proposta por ele, e dos fundamentos teóricos subjacentes, e passem a desenvolvê-la com os alunos. Almeja-se também uma melhora no desempenho do aluno no que se refere ao domínio da leitura e à produção de textos orais e escritos em diferentes gêneros. O Projeto é desenvolvido em parceria com a Fundação Volkswagen e, atualmente, com os municípios de Bebedouro, Limeira, Resende e São Bernardo. O Projeto foi inicialmente desenvolvido em Itanhaém, em 2002 e 2003 e, desde 2004, também em Cajamar, por iniciativa do município. Em 2003 e 2004, foi implementado no município de São Carlos, com financiamento da Fundação Volkswagen. 55 MUNICÍPIO DE BEBEDOURO MUNICÍPIO DE LIMEIRA Escola EMEF João Pereira Pinho @ 3 gestores da escola @ 4 professores (do 1º ao 4º ano) @ 105 alunos (do 1º ao 4º ano) Escola EMEB Pastor Ismael Pereira Lago @ 4 gestores da escola @ 4 professores (do 1º ao 4º ano) @ 126 alunos (do 1º ao 4º ano) MUNICÍPIO DE RESENDE MUNICÍPIO DE SÃO BERNARDO Escola E.M. Dona Mariucha @ 5 gestores da escola @ 4 professores (do 1º ao 4º ano) @ 108 alunos (do 1º ao 4º ano) Escola EMEB Professor André Ferreira @ 3 gestores da escola @ 4 professores (do 1º ao 4º ano) @ 119 alunos (do 1º ao 4º ano) Cadastro Primeiro, realizamos o cadastro de alunos e professores comprometidos com o Estudo Exploratório, fator imprescindível para que pudéssemos acompanhar longitudinalmente esse grupo. Perfil dos professores e dos gestores Coletamos informações sobre formação e experiência profissional por meio de questionário estruturado. Com esses dados, teríamos conhecimento sobre a trajetória profissional desses educadores. Perfil das escolas Também coletamos dados, por meio de questionário estruturado, para a caracterização das escolas envolvidas. O objetivo era investigar dados de abrangência (número de alunos, profissionais, níveis de ensino da escola etc), de infra-estrutura (espaços e equipamentos disponíveis) e dados relativos aos aspectos pedagógicos (informações sobre eventos culturais, organização do horário de trabalho coletivo dos educadores, ações para a recuperação da aprendizagem dos alunos etc). Cadernos Cenpec 2007 n. 3 Coleta de dados sobre freqüência e rendimento dos alunos Outra proposta foi a de levantar dados sobre a freqüência e o rendimento dos alunos em Língua Portuguesa, em 2005. Essa coleta acontecerá durante os três anos subseqüentes da implementação do Projeto nos municípios. A intenção é, ao final dos três anos, verificar se houve mudanças em relação a esses indicadores. Questionário de hábitos de leitura e práticas culturais das famílias e dos alunos Como o nível de desempenho dos alunos depende de diversos fatores, pareceu-nos interessante considerar também o contexto familiar e suas práticas culturais. Nesse sentido, as informações dos grupos de 3os e 4os anos foram obtidas por meio de um questionário estruturado. As entrevistas Realizamos entrevistas com a equipe gestora das quatro escolas e com 15 professores envolvidos no Estudo. Um roteiro semi-estruturado foi elaborado, contendo perguntas sobre o material, o desenvolvimento do Projeto na EXEMPLOS DE PERGUNTAS DO QUESTIONÁRIO DE HÁBITOS DE LEITURA E PRÁTICAS CULTURAIS DAS FAMÍLIAS E DOS ALUNOS Que tipo de materiais de leitura tem em sua casa? ( ) a. livros de escola/ didáticos ( ) b. dicionário e/ou enciclopédia ( ) c. Bíblia ou livros religiosos ( ) d. livros infanto-juvenis ( ) e. literatura em geral (poesia, ficção, policial, romance, livros técnicos, biografia etc. ) ( ) f. revistas ( ) g. gibis ( ) h. jornais ( ) i. guia de ruas, catálogos telefônicos ( ) j. livros e revistas de culinária ou cadernos de receitas ( ) k. outro. Qual?_______ Seus pais ou outra pessoa da sua família lêem ou já leram histórias para você? ( ) a. Sim, com freqüência ( ) b. Sim, de vez em quando ( ) c. Sim, liam quando mais novo ( ) d. Não ( ) e. Não sei/não me lembro Em sua casa alguém costuma ler jornal? ( ) a. Sim, todos os dias ( ) b. Sim, quase todos os dias ( ) c. Sim, às vezes ( ) d. Não ( ) e. Não sei/nunca vi Com que freqüência você vai a shows? ( ) a. sempre ( ) b. às vezes ( ) c. raramente ( ) d. nunca Com que freqüência você vai ao cinema? ( ) a. sempre ( ) b. às vezes ( ) c. raramente ( ) d. nunca Com que freqüência você vai a museus? ( ) a. sempre ( ) b. às vezes ( ) c. raramente ( ) d. nunca 56 escola e na sala de aula, e os possíveis avanços dos alunos em relação à leitura e produção de texto. Também realizamos entrevistas coletivas com 47 alunos. Em cada uma das escolas, esses alunos foram divididos em dois grupos, com uma média de seis participantes. Procuramos contemplar, em um grupo, alunos de 1º e 2os ano e, em outro, de 3º e 4º ano, e assim descobrir o que eles conheciam sobre o material, com quais projetos mais gostaram de trabalhar, como vivenciaram a leitura e a produção de textos dos diferentes gêneros propostos pelo Projeto etc. As atividades Esta foi uma das principais estratégias adotadas para a realização do Estudo Exploratório. Desenvolvemos atividades de leitura e produção de texto com todos os alunos das quatro séries, totalizando 461 participantes. As atividades foram realizadas em outubro de 2006, pelos próprios professores, com acompanhamento de profissionais da equipe de monitoramento e avaliação do Cenpec. Eles receberam tanto as fichas contendo as atividades dos alunos quanto um instrumento com orientações para a sua aplicação. Para a montagem dessas atividades, elaboramos inicialmente, para cada ano das quatro séries iniciais do ensino fundamental, uma matriz de indicadores, relacionados às habilidades trabalhadas no projeto: alfabetização, ortografia, leitura e produção de texto. Os descritores do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo - Saresp (2005) e Prova Brasil (2006) serviram como referências neste processo de elaboração. Em seguida, para cada indicador, montamos questões interligadas, por meio de uma situação contextualizada: uma professora e sua turma de alunos em situações cotidianas de uma escola. Isso possibilitou, aos alunos, a interação com as atividades e, ao mesmo tempo, o estabelecimento de relações entre as situações de leitura e de produção e seu uso social. Todas as atividades e indicadores foram elaborados e analisados por especialistas da área de Língua Portuguesa e de avaliação de projetos. Um aspecto importante deste Estudo foi o fato de os professores entrarem em contato com um instrumento de avaliação que consideramos formativo, já que cada questão continha as habilidades a serem avaliadas. Os próprios professores, no dia da realização das atividades nas salas de aula, entusiasmaram-se com a estruturação do instru- Cadernos Cenpec 2007 n. 3 mento e a relação das questões com as habilidades; enfim, reconheceram que era uma maneira interessante de avaliar o aluno. A seguir, apresentamos, como exemplo, as atividades de produção de texto dos alunos de 4º ano e os indicadores referentes a essas questões. III. Contribuições do estudo exploratório Neste estudo, optamos por coletar dados de uma parte dos alunos participantes. Para tanto, utilizamos uma diversidade de estratégias. Com elas, conseguimos obter um conjunto de informações quantitativas e qualitativas de diferentes naturezas, que nos possibilitou um olhar abrangente sobre o contexto das escolas, alguns dados do letramento na família, a aprendizagem dos alunos envolvidos no Estudo e a implementação do Projeto na escola. Além disso, por meio da avaliação do Projeto, obtivemos informações sobre o contexto dos municípios, que serão levadas em consideração na análise dos resultados. O outro aspecto que merece destaque é a realização de uma avaliação longitudinal. Ela nos ajudará a analizar os resultados do Projeto ao longo de três anos. Este é o primeiro ano do Estudo. Pretendemos realizá-lo durante os próximos dois anos. Segundo Soares (2005), para fazermos uma avaliação de aprendizagem dos alunos, seria necessário acompanhá-los, por meio de estudos longitudinais, durante parte de sua vida escolar, e não somente por intermédio da aplicação de uma avaliação pontual. Portanto, neste caso, ela seria considerada, pelo autor, uma avaliação de desempenho. Na área de avaliação e monitoramento, é comum a realização de avaliações no início e no final do processo, para que se possa fazer comparações e visualizar as mudanças com a implementação do projeto. O valor deste Estudo longitudinal está em compreender quais ganhos os alunos terão em relação às habilidades de leitura e produção de textos ao entrarem em contato com os diferentes gêneros discursivos que o material apresentará durante os quatro anos. Embora este Estudo não tenha trabalhado com uma amostra representativa do todo, julgamos que realizar uma avaliação profunda dos resultados do Projeto na aprendizagem dos alunos tem sua validade se ela contempla uma diversidade de estratégias de coleta de dados, coerentes com aquilo que se pretende investigar. Além disso, ficou evidente, neste processo, que a 57 adesão e o envolvimento dos participantes no Estudo foram fundamentais para que ele ocorresse. Todos os educadores e alunos mostraram-se disponíveis e muito receptivos à proposta de realização e participação no Estudo Exploratório. No final do ano, como já tínhamos em mãos os resultados referentes às atividades de leitura e produção de texto dos alunos, nós os disponibilizamos para as escolas, em tempo de serem utilizados como subsídio para o planejamento de 2007. Ao terminar apenas uma etapa da realização do Estudo Exploratório, percebemos que esta forma de coleta de dados já nos deu subsídios para realizar uma avaliação significativa dos resultados do Projeto. A metodologia adotada não é a única possível, mas pode contribuir para que se legitimem, cada vez mais, análises dessa natureza no campo da Avaliação. Referências ANDRÉ, Marli Eliza Dalmazo Afonso de. Estudo de caso em pesquisa e avaliação educacional. Brasília: Líber Livro Editora, 2005. DRAIBE, Sônia Miriam. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: CARVALHO, Maria do Carmo Brant de; BARREIRA, Maria Cecília Roxo Nobre (Orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001. p. 13-42. SANT´ANNA, Ilza Martins. Por que avaliar? Como avaliar? Critérios e instrumentos. 11. ed. Petrópolis: Vozes, 1995. SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. In: MELLO E SOUZA, Alberto de (Org.). Dimensões da avaliação educacional. Petropólis: Vozes, 2005. p. 174-204. SOARES, José Francisco. Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa da Fundação Carlos Chagas, Ministério da Educação/Inep (no prelo). Prova Brasil: escala de Língua Portuguesa. Disponível em: <http://www.inep.gov.br/basica/saeb/prova_brasil/escala_port. htm.>. Acesso em: 17 jul. 2006. GOVERNO DO ESTADO DE SÃO PAULO. Saresp: habilidades avaliadas e gabaritos das provas. 2005. Disponível em: <http://saresp.edunet.sp.gov.br/2005/ subpages/conheca.htm.> Acesso em: 14 jul. 2006. Notas 1 2 3 4 A produção de uma matriz avaliativa foi a forma encontrada por nossa equipe para organizar os indicadores e, conseqüentemente, os dados que ela pretende coletar sobre o Projeto. Para um melhor entendimento do significado dessa etapa avaliativa, citamos a definição adotada por Sônia Miriam Draibe (2001, p. 19): “Avaliações ex-ante precedem o início do programa, ocorrendo em geral durante as fases de sua preparação e formulação; também referidas como avaliação diagnóstico, são realizadas para apoiar decisões finais da formulação (...)”. Uma das professoras de 1º ano que estava participando do Projeto desde o início mudou de escola. A sua substituta não estava envolvida nas ações de formação do Projeto, por isso, consideramos desnecessário entrevistá-la. Ainda assim, como essa turma participou de todo o processo com a professora antiga, optamos por incluí-la no Estudo Exploratório. Falamos aqui de uma avaliação mais abrangente, realizada por meio da coleta de dados já comentada neste documento: avaliação ex-ante de processo e de resultado. Cadernos Cenpec 2007 n. 3 58 Cadernos Cenpec 2007 n. 3 Vera Masagão Ribeiro Vanda Mendes Ribeiro Joana Buarque de Gusmão* )NDICADORES DEQUALIDADE MOBILIZAM AESCOLA % ste texto1 descreve e analisa um sistema de indicadores sobre a qualidade da escola que vem sendo desenvolvido no Brasil por iniciativa de uma organização não-governamental — a Ação Educativa — e dois organismos internacionais — Unicef - Fundo das Nações Unidas para a Infância e PNUD – Programa das Nações Unidas para o Desenvolvimento, contando com a participação de outras instituições governamentais e não-governamentais de todo o país. O principal objetivo deste sistema, e que lhe confere características peculiares, é o engajamento da comunidade na luta pela melhoria da qualidade da escola. Em primeiro lugar, descrevemos o contexto político que gerou a iniciativa; em seguida, o processo de elaboração do sistema e, depois, seus fundamentos e características. Concluímos com comentários sobre as principais questões levantadas a partir da primeira utilização experimental do sistema em 14 escolas de educação básica e as perspectivas do projeto. * Vera Masagão Ribeiro é doutora em Educação e coordenadora de programas da ONG Ação Educativa. Vanda Mendes Ribeiro e Joana Buarque de Gusmão são consultoras, especialistas no desenvolvimento e avaliação de projetos sociais. i i 59 Cadernos Cenpec 2007 n. 3 Indicadores de avaliação do sistema educacional brasileiro e seus usos sociais Durante a década de 1990, instituiu-se no Brasil um conjunto de instâncias de avaliação do sistema educacional em âmbito nacional. Em 1990, o Sistema de Avaliação da Educação Básica - SAEB realizou seu primeiro exercício de avaliação nacional, aplicando provas de conhecimento a amostras de alunos nos vários estados. A partir de 1995, os levantamentos passaram a se concentrar nos estudantes da 4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio. Inicialmente focalizando conteúdos curriculares de Língua Portuguesa, Matemática e Ciências, as provas foram paulatinamente incluindo mais disciplinas. Além de aplicar testes, o SAEB reúne informações sobre: a origem familiar dos alunos; seus hábitos e condições de estudo; as práticas pedagógicas dos professores; e as formas de gestão da escola, de modo a reunir elementos que possam explicar as variações no desempenho dos alunos e orientar o desenho de políticas voltadas à melhoria do rendimento do sistema escolar. Em 1998, o Ministério da Educação passou a aplicar ainda o Exame Nacional de Ensino Médio, em caráter facultativo, dirigido a todos os concluintes do ensino médio, com o objetivo de avaliar o desempenho dos alunos ao término da Educação Básica, oferecer uma referência de auto-avaliação e ainda servir como alternativa aos processos de seleção para o ingresso no ensino superior ou no mercado de trabalho. Em 1997, também a avaliação do ensino superior passou a incluir, entre seus mecanismos, testes de conhecimento para os alunos concluintes. Tal interesse por avaliações de sistemas educacionais com base na aplicação de testes em larga escala teve ainda expressão em nível subnacional e internacional. Nesse período, algumas secretarias estaduais de educação organizaram seus próprios sistemas de avaliação. Em 1997, o Brasil participou da primeira avaliação do Laboratório Latino-Americano de Avaliação da Qualidade da Educação, sob coordenação da Unesco – OREALC - Escritório Regional de Educação para América Latina e Caribe e, em 2000, do Programa Internacional de Avaliação de Estudantes - PISA, iniciativa da OCDE Organização para Cooperação e Desenvolvimento Econômico (Franco; Bonamino, 2001). 60 /3!%"PRETENDEREUNIR ELEMENTOSQUEPOSSAM EXPLICARASVARIA¿ÍESNO DESEMPENHODOSALUNOS EORIENTARODESENHODE POLÅTICASPÒBLICAS Ainda que a avaliação do rendimento dos alunos por meio de testes aplicados em larga escala tenha sido a grande novidade no período, outras iniciativas importantes ocorreram simultaneamente, resultando em progressos notáveis na produção e disponibilização de informações sobre o sistema escolar brasileiro. O INEP — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira — passou a centralizar todos os serviços de avaliação e informação. Além de promover as avaliações mencionadas, o INEP realiza anualmente o Censo Escolar e, periodicamente, outros levantamentos especiais, por meio dos quais vem reunindo informações sobre o número de matrículas e de docentes, média diária de horas de aula, média de alunos por turma, movimentação escolar (aprovação, reprovação e conclusão), infra-estrutura dos estabelecimentos (pendências, equipamentos, transporte, serviços de água, luz e esgoto), participação em programas de desenvolvimento do ensino, entre outros. Essas informações, somadas às produzidas pelo IBGE — Instituto Brasileiro de Geografia e Estatística — sobre as taxas de freqüência escolar e o grau de escolaridade dos vários grupos etários, oferecem um quadro amplo da situação do ensino básico brasileiro, que atende aproximadamente 44 milhões de alunos, em 250 mil escolas, mas que ainda está longe de poder garantir os direitos educativos prescritos na legislação brasileira, tanto em termos de abrangência quanto de qualidade do ensino oferecido. Todo esse esforço de avaliação e sistematização de informações tem como objetivo, segundo o próprio INEP, dar suporte à pesquisa e à tomada de decisões em políticas educacionais e, especialmente, orientar a formulação das políticas do Ministério da Educação (INEP, 2003). As informações, normalmente reunidas por estados e regiões, são publicadas pelo INEP na forma de relatórios e são divulgados pela imprensa. Mais recentemente, esse instituto tem procurado disponibilizar as informações desagregadas também por municípios e por es- Cadernos Cenpec 2007 n. 3 tabelecimentos de ensino, de modo a torná-las mais significativas para os gestores locais. As informações desagregadas normalmente estão disponíveis em suportes informatizados — bancos de dados que permitem consulta via Internet ou arquivos eletrônicos — e também em suportes impressos: no verso do formulário do Censo Escolar, que anualmente é enviado a cada uma das escolas do país para preenchimento, o INEP imprime um relatório com os principais indicadores relativos àquela escola. Não há dúvida de que tais esforços, no que se refere à informação e à avaliação, são fundamentais para o avanço da pesquisa educacional no país e para o desenho de políticas públicas que respondam aos problemas prioritários, assim como para o monitoramento e o controle social dessas políticas públicas. Entretanto, como acontece em outros países da América Latina que estruturaram seus sistemas de avaliação nesse mesmo período, o uso efetivo dessas informações como instrumento de tomada de decisões e melhoria do sistema de ensino permanece um enorme desafio (Wolff, s.d.). Os resultados dos alunos nas provas de desempenho realizadas pelo SAEB têm ficado muito abaixo do esperado. Segundo uma nova leitura que o INEP está fazendo dos resultados de 2001, por exemplo, 22,2% dos alunos da 4ª série não estão alfabetizados e 36,8% estão em situação crítica: só lêem frases simples de forma truncada (INEP, 2003a). Publicados na grande imprensa, normalmente enfatizados em manchetes alarmantes, esses dados provocam o debate público em torno das deficiências do nosso sistema de ensino. Se tornar pública a problemática educacional é, por um lado, um fator positivo, não se deve deixar de reconhecer seus limites e até mesmo seus riscos. Quem tem a oportunidade de formar opinião com base na imprensa escrita é majoritariamente uma classe média cujos filhos não estão em escolas públicas e que lamentam o baixo nível do ensino público atual, tomando como referência uma imagem idealizada da escola pública do passado, uma escola cuja excelência pedagógica era reconhecida, mas que, em contrapartida, era muito mais elitizada. Poucos têm condições de avaliar com precisão o desafio político e pedagógico colocado para o sistema de ensino público nos dias de hoje, depois que uma grande parcela das classes populares — antes totalmente excluídas — conquistou o direito à escolarização, ainda que em condições precárias de inclusão.2 E, diga-se de passagem, o 61 tratamento dado à questão pela imprensa e os pronunciamentos das autoridades públicas para justificar o fracasso de suas políticas nem sempre ajudam a esclarecer a opinião pública sobre o problema. O resultado é o reforço de uma imagem negativa do ensino público, como sendo de baixa qualidade, em que principalmente os professores são responsabilizados, considerados mal formados, despreparados, etc. Fenômenos amplos e complexos em sínteses estatísticas Como era de se esperar, não é grande a receptividade dos professores e demais agentes escolares a dados de avaliação que geram este tipo de representação da sua identidade profissional. As reações podem variar do alheamento à transferência da culpa aos alunos — acusados de serem pobres e oriundos de famílias desestruturadas — ou aos pais — por seu pressuposto desinteresse pela educação dos filhos. As possibilidades de um uso mais produtivo, pelos professores, dos resultados das avaliações — para diagnosticar problemas e reorientar a prática pedagógica — são limitadas por um conjunto de fatores: os relatórios quase nunca chegam às suas mãos, os métodos utilizados para definir os níveis de competência não são facilmente compreensíveis e, a partir deles, não é fácil derivar as ações remediadoras correspondentes. Além disso, por se basearem em amostras e produzirem resultados agregados por estado ou macrorregiões administrativas, os professores e demais agentes escolares não ficam plenamente convencidos de que o diagnóstico se aplica à sua realidade (Vianna, 2003). Mesmo os outros indicadores sobre os sistemas de ensino — baseados em informação censitária e não dependentes das complexidades psicométricas dos testes — têm sido apropriados de forma limitada pelas comunidades escolares. Fórmulas numéricas que descrevem fenômenos macro — como a relação das matrículas com a demanda potencial ou as distorções idade-série do alunato — podem parecer triviais para especialistas, mas não o são para a maioria dos professores, muito menos para os alunos e seus familiares. Analisar fenômenos amplos e complexos com base em sínteses estatísticas não é operação comum para a maioria das pessoas, que usam outras estratégias para analisar problemas e tomar decisões em sua vida cotidiana. Não Cadernos Cenpec 2007 n. 3 que os obstáculos cognitivos para a popularização desse tipo de indicador sejam intransponíveis, principalmente se existe efetiva motivação dos órgãos que os produzem em apresentá-los de forma compreensível. As razões do pouco uso de tais indicadores pela maioria das pessoas envolvidas com a prática educacional devem ser buscadas principalmente no domínio motivacional. É provável que esses indicadores não interessem às comunidades escolares porque respondem a perguntas que não foram formuladas por elas. Pesquisadores e tecnocratas não observam e não interrogam a realidade escolar da mesma perspectiva que as pessoas que a vivem cotidianamente. Finalmente, é preciso ter em vista o cenário mais amplo em que se deu a implantação dos sistemas centralizados de avaliação da educação no país. Ela é parte de um conjunto de reformas educativas hegemônicas em países do Norte e do Sul, nas quais a avaliação centralizada se coloca como contrapartida à descentralização administrativa e autonomização das escolas. Acontece que, no Brasil, tais reformas se impuseram num contexto de fortes restrições ao investimento do Estado em políticas sociais, devido à estagnação da economia e às exigências das instituições financeiras internacionais quanto à geração de superávits no orçamento público para tranqüilizar credores externos. Os recursos investidos na educação não são suficientes para gerar condições essenciais para o aperfeiçoamento do trabalho pedagógico das escolas, tais como: estabilidade das equipes docentes, disponibilidade para o trabalho em equipe, proporção mais equilibrada entre o número de professores e de alunos, enriquecimento e diversificação dos materiais educativos, complementação de renda para as famílias de alunos em situação de pobreza. Nesse contexto, os resultados das avaliações de desempenho e outros indicadores de qualidade da escola não poderiam deixar de ser alarmantes. Mas apenas a sua divulgação não é suficiente para gerar ações efetivas de correção de rumos. Apesar de haver um certo alarde na imprensa, que mobiliza um segmento da opinião pública, as escolas não se apropriam dessas informações, não conseguem assumir o papel de protagonistas e ainda acabam vitimadas pelo estigma da incompetência. 62 Os sentidos da qualidade da educação Analisando as críticas conservadoras à deterioração da qualidade do ensino público, associada à sua rápida e desordenada expansão, Celso Beisiegel chama a atenção para o fato de que as avaliações de qualidade sempre variam de acordo com a situação de classe dos observadores. Se, do ponto de vista das classes privilegiadas, a qualidade do ensino pode ter realmente piorado, é outra a perspectiva das grandes massas subalternas. Conclui o autor: Para quem não tinha acesso à educação escolar, mesmo este ensino de má qualidade representa uma indiscutível melhoria, isso não significa, obviamente, que as evidentes deficiências da escola púbica sejam aceitáveis. É preciso melhorar as condições de funcionamento da escola. Mas as avaliações da qualidade da escola pública não podem ignorar as transformações qualitativas introduzidas no ensino como conseqüência do processo de sua extensão às classes populares (Beisiegel, 1999). Estudos que procuram trazer à luz os valores atribuídos pelas classes populares à educação escolar mostram que, entre os aspectos mais valorizados, há muitos que não se referem à excelência acadêmica: a qualidade das relações humanas, a formação dos valores, a disciplina e a organização, além da pertinência e utilidade das aprendizagens (Buratto; Dantas; Souza, 1998; Charlot, 2001; Fezl, 2002). Não que as classes privilegiadas dispensem tais atributos nas instituições escolares, é mais provável que os tomem como pressupostos fora de questão. Isso não poderia ocorrer com famílias de baixa renda com perspectivas incertas, moradores de regiões com altos índices de violência, usuários de escola sem condições mínimas de funcionamento. Além da diversidade determinada pelas diferenças de classe, é preciso levar em conta ainda aquelas derivadas das relações de gênero, das relações interétnicas e da pertença territorial. É de se esperar, também, que não sejam idênticas as prioridades dos alunos das diversas faixas etárias, as de seus familiares, as dos professores, diretores, supervisores etc. À medida que se reconhece a legitimidade dos pontos de vista de todos esses atores, além de sua capacidade de refletir e seu direito de participar das decisões, Cadernos Cenpec 2007 n. 3 é preciso buscar métodos de avaliação que fomentem o debate coletivo e a atribuição de valor com base na negociação entre os diferentes. Se se entende ainda que o envolvimento dos agentes escolares e das comunidades é condição essencial para que se produzam mudanças na realidade educacional do país, é necessário fortalecer sua capacidade de refletir sobre seu cotidiano e suas conexões com as problemáticas gerais dos sistemas educacionais. Como observa Peter Spink, a avaliação democrática implica a utilização de indicadores, meios de coleta de informação, mensuração e atribuição de valor que sejam compreensíveis e reconhecidos como relevantes pelo conjunto de pessoas que se quer envolver, métodos e instrumentos que apóiem o diálogo e a participação. O mesmo autor sugere que tal orientação conduz à adoção de procedimentos avaliativos mais variados, possivelmente estranhos àquilo que tradicionalmente se entende cientificamente como “método”. É certo que, quando a definição de indicadores e a atribuição de valores baseiam-se na perspectiva dos atores locais, as possibilidades de generalização dos resultados da avaliação para o conjunto do sistema de ensino ficam comprometidas. Ainda assim — observa Spink — é possível fazer as várias perspectivas locais comunicarem-se e identificarem as questões reincidentes e tendências de melhoria mais gerais. Com relação ao conflito entre a perspectiva local e geral na construção de indicadores de avaliação de projetos sociais, o autor conclui: Ter um indicador “limpo” para uso internacional é um problema das agências internacionais e não para a esmagadora maioria de pessoas que querem melhorar as condições de vida de seu bairro, localidade, região e país. Portanto, em vez de aceitar automaticamente o “internacional”, não seria melhor inverter a situação e pedir a estes que assumam a iniciativa de debater e dialogar com os atores locais sobre a importância e a utilidade de certos métodos de mensurar, em vez de exigir ou forçar? (Spink, 2001, p. 22). Esta é a perspectiva do projeto Indicadores Qualitativos da Educação na Escola, que se está desenvolvendo no Brasil e cuja descrição será feita a seguir. Sem a pretensão de substituir os indicadores existentes, nem de menosprezar o seu valor como instrumentos de monitoramento das políticas educacionais, a iniciativa pretende oferecer um instrumento complementar, mais di- 63 retamente relacionado à perspectiva das comunidades escolares e mais eficaz como incentivo e suporte ao seu engajamento em ações coletivas que visem à melhoria da qualidade da educação. Uma experiência de construção de indicadores de qualidade Sob o incentivo do PNUD — Programa das Nações Unidas para o Desenvolvimento — e do Unicef — Fundo das Nações Unidas para a Infância e Adolescência —, e com o apoio financeiro deste último, a organização não-governamental Ação Educativa assumiu, no início de 2003, a responsabilidade técnica de desenvolver um sistema de indicadores populares de qualidade da escola. Ela mobilizou um grupo de trabalho composto por várias instituições de âmbito nacional, representativas na área, além de especialistas.3 A coordenação do processo ficou a cargo da Ação Educativa, do PNUD e do Unicef, e nela se engajou o INEP. Contando com um estudo preliminar e uma primeira sistematização de opções metodológicas, esse grupo de trabalho se reuniu para definir as linhas gerais do projeto. A partir dessa reunião, precisou-se seu objetivo: a construção e a disseminação de um conjunto de indicadores qualitativos de educação, de fácil compreensão, que facilite o envolvimento dos diversos segmentos da comunidade escolar em torno de um processo participativo de avaliação, visando instigar sua ação pela melhoria da qualidade da escola. Chegou-se também ao consenso de que o públicoalvo do projeto era a comunidade escolar, ainda que outros atores políticos pudessem fazer uso dos seus resultados. Considerou-se que a comunidade escolar é constituída por pais, mães, diretores, alunos, professores e demais funcionários da escola, podendo se incluir ainda conselheiros tutelares, de educação, dos direitos da criança, ONGs, universidades e outras organizações in- Cadernos Cenpec 2007 n. 3 teressadas e diretamente envolvidas com os problemas da escola e a procura de soluções. Com essas referências, elaborou-se uma versão preliminar do sistema. Membros do grupo de trabalho se mobilizaram para, articulados com escolas interessadas, utilizar experimentalmente o instrumental, com vistas a testar sua adequação aos objetivos propostos e reunir elementos para seu aperfeiçoamento. Foram envolvidas, nessa etapa do trabalho, 14 escolas, distribuídas nas cinco regiões do território nacional: sete escolas com ensino fundamental; seis, com ensino médio e três, com educação infantil; sete escolas municipais (uma delas rural); seis, estaduais; uma, federal e uma, comunitária.4 Finda essa etapa, o grupo de trabalho se reuniu novamente — desta vez, contando com a participação de representantes das escolas que experimentaram o sistema — para debater as questões suscitadas, sugerir aperfeiçoamentos e, principalmente, definir e estabelecer compromissos quanto a sua disseminação. Além das orientações e sugestões dadas pelo grupo de trabalho e pelos representantes das escolas, várias referências serviram de base para o desenvolvimento da proposta, dando pistas sobre os principais aspectos da realidade escolar a serem levados em conta e sobre os meios de se chegar à atribuição de valor a cada aspecto, com base no debate democrático, sem perder de vista os parâmetros mais gerais do que se entende por qualidade da educação. O primeiro passo foi considerar a LDB — Lei de Diretrizes e Bases da Educação Nacional — como um documento que expressa um consenso sobre o que se espera da educação no país. 64 Para a LDB, o objetivo maior do processo educacional brasileiro deve ser a formação básica para a cidadania, a partir da criação, na escola, de condições de aprendizagem para: • o desenvolvimento da capacidade de aprender, tendo, como meio básico, o pleno domínio da leitura, da escrita e do cálculo; • a compreensão do ambiente natural e social, do sistema político, da tecnologia, das artes e dos valores em que se fundamenta a sociedade; • o desenvolvimento da capacidade de aprendizagem, tendo em vista a aquisição de conhecimentos e habilidades e a formação de atitudes e valores; • o fortalecimento dos vínculos de família, dos laços de solidariedade humana e de tolerância recíproca em que se assenta a vida social. Os Parâmetros Curriculares Nacionais - PCN foram também uma importante referência bibliográfica para a construção dos indicadores, em especial no que se refere à concepção de avaliação como parte do processo educacional, voltada para o ajuste e a orientação da intervenção pedagógica (MEC, 1997). A dimensão da prática pedagógica teve ainda, como referência fundamental, os PCNs, no que diz respeito à importância de se considerar a diversidade dos alunos e seus diferentes tempos de aprendizagem. Adveio dos PCNs a noção de que a escola deve instrumentalizar crianças e adolescentes para o processo democrático e de que ela deve se constituir em um ambiente socializador, no qual, por meio do respeito e da valorização das diferenças socioeconômicas e culturais, contribui-se para o desenvolvimento da identidade pessoal. Escutar o que os diversos segmentos da população entendem por qualidade educacional foi outro passo relevante na construção do conceito de qualidade que orientou o projeto. Nesse sentido, a Campanha Nacional pelo Direito à Educação - CNDE, articulação de um conjunto amplo de organizações da sociedade civil, realizou, em 2001, a Consulta sobre Qualidade da Educação na Escola, para investigar o que a comunidade escolar entende por qualidade, partindo da premissa de que este é um conceito que deve ser construído pelos que estão diretamente envolvidos com a escola e seu entorno (CNDE, 2002). A Consulta ouviu professores, diretores, funcionários, alunos, pais e pessoas da comunidade próxima à escola em dois estados brasileiros. Seus resultados mostram que, apesar de haver diferentes maneiras de se compreender o conceito de qualidade, assim como diversos critérios de Cadernos Cenpec 2007 n. 3 avaliação, predomina uma visão de qualidade humanista, que preza as relações humanas na escola. Uma grande importância foi dada à aprendizagem, ao trabalho e ao exercício da cidadania. Os entrevistados também destacaram as condições básicas de funcionamento da escola para a educação de qualidade. Os questionários utilizados pela pesquisa apresentaram perguntas que apoiavam a comunidade escolar na ponderação sobre a sua situação em relação aos indicadores. Os resultados da avaliação da descentralização de programas do MEC para o ensino fundamental, realizada pelo Núcleo de Estudos de Políticas Públicas da Unicamp, em 1997, trouxeram também importantes informações sobre as expectativas que professores, diretores, alunos e pais têm em relação à escola (NEPP, 1997). Grande inspiração para a parte metodológica do projeto foi o texto Indicadores de Qualidade de Projeto, da organização mineira Centro Popular de Cultura e Desenvolvimento CPCD. A instituição, em seu Projeto Bornal de Jogos, utiliza indicadores qualitativos construídos coletivamente (assim como os critérios) para a avaliação participativa das ações que promove (CPCD, s.d.). Na metodologia, coordenadores, educadores, crianças, adolescentes e pais se reúnem em roda, debatem e atribuem nota a um conjunto de 12 indicadores, como transformação, eficiência, harmonia, alegria, beleza e apropriação, entre outros. Esses indicadores são construídos, pelos participantes, de acordo com sua relevância e significação, segundo seus próprios pontos de vista. Finalmente, são calculadas médias das notas por indicador e segmento, assim como a média geral do Projeto. Esta experiência demonstrou a eficácia e a fecundidade do método participativo, que é um dos princípios do nosso trabalho, desde o seu início. A concepção de espaço físico escolar do Fundescola (Moraes, 2002) contribuiu para as formulações referentes ao espaço físico escolar, em especial com relação ao conceito de “aproveitamento do espaço físico”. Segundo o Fundescola, várias pesquisas sobre as condições dos prédios escolares brasileiros mostram que a maioria das escolas, sobretudo aquelas situadas nas regiões mais pobres, é muito pequena ou construída sem um projeto arquitetônico próprio, não dispondo de espaços específicos para bibliotecas, videotecas, reuniões com a comunidade etc., razão pela qual é importante considerar a capacidade da comunidade escolar de utilizar os espaços de forma flexível e criativa. A noção subjacente ao projeto — de que “o poten- 65 cial transformador dos indicadores se apresenta quando estes fazem parte de uma prática política de abertura para um verdadeiro diálogo, o que é sutilmente distinto do uso de indicadores para legitimar ações realizadas” (PGPC, 1999) — adveio da sistematização das oficinas realizadas entre 1998 e 1999, pelo Programa Gestão Pública e Cidadania, para discutir a elaboração de indicadores qualitativos e quantitativos de impacto social e padrões de avaliação de políticas públicas ao se buscarem estratégias locais de redução da pobreza. Outros materiais de autores e instituições ligadas à educação foram úteis para a construção das dimensões de qualidade da educação. Democracia: uma grande escola — alternativas de apoio à democratização da gestão e à melhoria da educação pública, de Elie Ghanem (1998), foi fundamental para a concepção da dimensão da gestão escolar democrática. O material do programa “Melhoria da educação no município”, desenvolvido pelo Cenpec (2003), instituição que compõe o grupo de trabalho do projeto, foi útil na construção de alguns indicadores e para a discussão sobre a importância do plano de ação. A publicação do Unicef, Todos pela educação no município: um desafio para cidadãos, contribuiu na construção de algumas perguntas de avaliação dos indicadores, além de servir de parâmetro para a adoção de uma linguagem simples e clara no instrumental. Outra fonte bibliográfica relevante foi o texto do Crer para Ver, programa da Fundação Abrinq pelos Direitos da Criança e do Adolescente, segundo o qual a educação deve ser considerada um campo de direitos: direito ao acesso; direito ao ensino de qualidade; direito à permanência na escola; direito a aprendizagens significativas e à realização dos alunos (Fundação Abrinq, 2001). O conceito de indicador utilizado no Projeto é de Leandro Lamas Valarelli, que sistematiza os debates sobre indicadores realizado em um grupo de trabalho próprio na Plataforma Novib (Valarelli, 2001). A obra traça um quadro geral sobre o uso de indicadores sociais no Brasil, pano de fundo importante para a construção dos “indicadores qualitativos”. Esta multiplicidade de referências bibliográficas, empíricas e conceituais produziu um quadro multifacetado, heterogêneo e complexo do que poderia ser o conceito de qualidade em educação, aplicado ao sistema brasileiro de ensino, tendo em vista a sua enorme diversidade social, cultural, econômica e geográfica. Cadernos Cenpec 2007 n. 3 Diante dessa complexidade, ficou claro que não poderíamos adotar um conceito unívoco e totalizador da qualidade em educação que coubesse em enunciado do tipo “a qualidade em educação é...” e ponto final. Não pode haver um conceito absoluto que resuma a qualidade em educação a um único atributo. Se não havia como estabelecer um conceito absoluto, também não queríamos resvalar para um relativismo tão amplo que, admitindo válida qualquer significação para esse conceito, acabasse por torná-lo vazio e inócuo. A solução encontrada foi organizar os múltiplos aspectos do que foi levantado, nas diferentes fontes pesquisadas, como sendo constitutivo dessa qualidade em educação, em seis dimensões, cada qual enfatizando determinadas funções atribuídas à escola. Assim, formulamos um sistema de mensuração da qualidade que coloca, nos próprios sujeitos, a prerrogativa de atribuir valores às diferentes dimensões da realidade escolar. O SISTEMA DE INDICADORES, SUAS DIMENSÕES E A METODOLOGIA DE OPERACIONALIZAÇÃO O sistema de indicadores proposto abrange seis diferentes dimensões, entendidas como aspectos da qualidade da escola, traduzindo a ampla concepção de qualidade educativa adotada pelo projeto: 1. ambiente educativo; 2. prática pedagógica e avaliação; 3. gestão escolar democrática; 4. formação e condições de trabalho dos profissionais da escola; 5. ambiente físico escolar; 6. acesso e permanência dos alunos na escola. INDICADORES DA QUALIDADE NA EDUCAÇÃO Para obter todo o material referente aos Indicadores, organizado e editado pela Ação Educativa, utilize este endereço: <http://www.acaoeducativa.org.br/indicadores/ downloads.htm>. Cada uma dessas dimensões é constituída por um grupo de indicadores avaliados por perguntas a serem respondidas coletivamente. As respostas permitem à comunidade escolar avaliar a qualidade da escola no que diz respeito àquele indicador, ou seja, se a situa- 66 ção é boa, média ou ruim. O instrumental procura levar a comunidade escolar a obter, de forma simples e acessível, um conjunto claro de sinais que possibilita a percepção dos problemas e virtudes da escola, de forma que todos os envolvidos possam conhecê-los, discutilos e decidir quais são as prioridades de ação para melhorar esse quadro. Para facilitar o trabalho da comunidade escolar, propusemos, no instrumental, um caminho para a operacionalização do sistema de indicadores. Os participantes da comunidade escolar devem se dividir em grupos, por dimensões. Cada grupo deve ser composto por representantes dos vários segmentos da comunidade e eleger um coordenador e um relator, sendo, este último, o responsável pela anotação e exposição, na plenária, do resultado da discussão do grupo. As perguntas vinculadas a cada um dos indicadores se referem a práticas, atitudes ou situações que os qualificam. • Caso o grupo avalie que essas práticas, atitudes ou situações estão consolidadas na escola, deverá atribuirlhes cor verde, pois podem ser consideradas boas. O instrumental deixa claro que, neste caso, a escola está num bom caminho no constante (e infinito) processo de melhoria da qualidade. • Se, na escola, essas atitudes, práticas ou situações ocorrem, mas não podem ser consideradas recorrentes ou consolidadas, o grupo lhes atribuirá cor amarela. Elas merecem cuidado e atenção. • Caso o grupo avalie que, na escola, essas atitudes, situações ou práticas são inexistentes ou quase inexistentes, irá atribuir-lhes cor vermelha, pois exigem intervenção imediata. As cores atribuídas às perguntas ajudam o grupo a ponderar e decidir sobre qual das três cores melhor reflete a situação da escola em relação a cada indicador. Para se chegar a um consenso sobre a cor que deve ser atribuída à dimensão pela qual o grupo é responsável, também é importante visualizar as cores atribuídas aos indicadores. No próprio documento, à frente de cada pergunta, indicador e dimensão, há quadrinhos nos quais os participantes podem anotar as cores atribuídas. Finalizada a discussão, o grupo deve colorir um quadro-resumo que traz somente o nome da dimensão e indicadores, o qual é exposto na plenária geral (momento em que todos os grupos estão reunidos para a exposição dos resultados das discussões realizadas em cada grupo). Cadernos Cenpec 2007 n. 3 A partir da utilização experimental do instrumento, observou-se que, muitas vezes, a síntese da avaliação de um certo indicador com a cor amarela poderia camuflar a presença de aspectos considerados críticos (vermelhos), porque compensados por outros, julgados como bons (verdes). Considerou-se que tal avaliação do indicador pela média não seria o procedimento mais conveniente. Assim, o grupo deveria levar a plenário os aspectos identificados como críticos, mesmo que, no conjunto, a situação fosse mediana. Observou-se também que seria conveniente que houvesse meios de representar graficamente (utilizando duas cores na qualificação de um indicador) os casos em que não se chegasse a um consenso. A existência de pontos não-consensuais, por si, já seria um sinal relevante a ser considerado pela comunidade escolar e, por isso, eles deveriam ser explicitados. Ao final da discussão de cada grupo, o relator obtém uma lista de problemas e virtudes da escola. Então, o instrumental sugere que o grupo escolha os problemas prioritários e as principais virtudes, os quais serão levados à plenária geral dos grupos. Com os problemas prioritários selecionados no âmbito de cada dimensão, os grupos de trabalho se reúnem com os demais para ouvir o que cada um tem a dizer, promovendo um grande debate sobre o retrato que a comunidade escolar está obtendo da atividade educacional. Para facilitar o debate na plenária, sugere-se que cada grupo de trabalho fixe, na parede, o quadro-resumo, com as cores atribuídas aos indicadores e à dimensão pela qual ficou responsável. A exposição à platéia gira em torno de dois pontos: • justificar as cores atribuídas a cada um dos indicadores e à dimensão (resumir as discussões feitas nos grupos) e • relatar os problemas prioritários eleitos. Após a exposição de todos os grupos, recomendase que seja promovido um último debate que apóie a eleição final das prioridades. Estas prioridades deverão pautar um plano de ação a ser elaborado pela comunidade escolar. O significado das seis dimensões Na dimensão Ambiente Educativo, os indicadores (sinais de qualidade) se referem ao respeito, à alegria, à amizade e à solidariedade, à disciplina e tratamento ade- 67 quado aos conflitos, ao combate à discriminação e ao exercício dos direitos e deveres: práticas que garantem a socialização e a convivência e desenvolvem e fortalecem a noção de cidadania e de igualdade entre todos. Pressupõe a idéia de que a escola é simultaneamente um espaço de ensino, aprendizagem e vivência de valores e que, nela, os indivíduos se socializam, brincam e experimentam a convivência com a diversidade humana. A dimensão Prática Pedagógica e Avaliação está focada no seu objetivo maior: fazer com que os alunos aprendam e adquiram o desejo de aprender mais e de forma autônoma. O projeto procura pautar a idéia de que, mediante uma ação planejada, intencional e refletida do professor no dia-a-dia da sala de aula, a escola facilitará o alcance desse objetivo maior. A prática pedagógica precisa também estar voltada para o desenvolvimento do aluno por meio da observação, da compreensão das diferenças, da contextualização, da demonstração de interesse e cuidado, de atividades que permitam a exploração das potencialidades individuais e de apoio à superação de dificuldades. A avaliação é tratada como parte integrante do processo educacional, que possibilita o ajuste do trabalho realizado para que o aluno aprenda. Os indicadores dizem respeito à existência de formas variadas e transparentes de avaliação dos alunos, à relação intrínseca entre planejamento e avaliação e ao monitoramento da prática pedagógica e da aprendizagem dos alunos. A utilização de fontes de avaliação variadas é tratada como indicador de uma avaliação mais completa, que Cadernos Cenpec 2007 n. 3 possibilita inter-relacionar as diferentes capacidades do aluno, os conteúdos curriculares em jogo e os resultados obtidos. A auto-avaliação é considerada uma ótima estratégia de aprendizagem e construção da autonomia, facilitando a tomada de consciência, pelos alunos, dos seus avanços, dificuldades e potencialidades. O monitoramento da prática pedagógica e da aprendizagem deve estar focado na observação do progresso e das dificuldades de cada um; nas reflexões propiciadas pelas reuniões pedagógicas e reuniões com os pais; e na existência de procedimento formalizado para avaliar o resultado do trabalho de todos os profissionais da escola. A existência de profissionais de apoio pedagógico é também considerada aspecto fundamental para o acompanhamento da prática pedagógica e da aprendizagem dos alunos. A Gestão Escolar Democrática focaliza o compartilhamento das decisões e a preocupação com a qualidade, com a relação custo-benefício e com a transparência. Os indicadores procuram fazer com que a comunidade escolar perceba que, quando as escolhas são feitas pelos principais interessados na qualidade do serviço, a chance de que caminhem na direção correta é maior. O bom funcionamento dos conselhos escolares, como mecanismos amplamente disseminados de participação da comunidade escolar, é outro indicador de qualidade da gestão. A participação direta de pais, mães, representantes de serviços públicos, comerciantes e associações locais, ONGs e Universidades e o estabelecimento de parcerias locais são também tidos como sinais de uma gestão democrática, tendo em vista que muitas pesquisas mostram seu alto potencial para engendrar mudanças positivas e inovações. O projeto considera ainda que uma gestão democrática requer capacidade de lidar com conflitos e opiniões divergentes, num exercício contínuo e cotidiano de diálogo e negociação. O bom aproveitamento das oportunidades de melhoria disponibilizadas por programas governamentais destinados à escola pública é também demonstrador de uma gestão cuidadosa e preocupada com as condições físicas e educacionais da escola. Todos os profissionais da escola são considerados agentes estratégicos para a realização das intenções educativas, manifestadas no projeto político-pedagógico. Por isso, selecionou-se a dimensão relativa às Condições de Trabalho e Formação dos Profissionais da Escola como essencial quando se discute qualidade. Os professores são responsáveis por aquilo que os especialistas conceituam 68 !METODOLOGIAESTIMULAO DEBATEEXPLICITAADIVERGÂNCIA TRAZ¸LUZQUESTÍESQUEANTES PASSAVAMDESPERCEBIDAS EPROVOCAADISPOSI¿»ODE RESOLVERPROBLEMASDETECTADOS /BSERVOUSEAINDAQUEOUSODAS CORESFACILITAACOMPREENS»OE AOPERACIONALIZA¿»ODOSISTEMA EPERMITEAVISUALIZA¿»ODO RETRATODAESCOLAmPRODUZIDOn PELACOMUNIDADEESCOLAR como transposição didática. Sua atuação imprime marcas nos percursos educativos dos alunos. Cada um dos demais profissionais tem também um papel fundamental no processo educativo, cujo resultado não depende apenas da sala de aula. Também inclui a vivência e a observação de atitudes no cotidiano escolar. Tamanha responsabilidade exige boas condições de trabalho, preparo e equilíbrio, razão pela qual se valorizou a garantia de formação continuada dos profissionais e outras condições, como a estabilidade do corpo docente, que incide sobre a consolidação dos vínculos e dos processos de aprendizagem, e uma adequada relação entre o número de professores e o de alunos. A escolha da dimensão Ambiente Físico Escolar se baseou na constatação de que a prestação de serviços de qualidade e as boas condições de trabalho dependem de espaços educativos organizados, limpos, arejados, cuidados, em geral e particularmente, com móveis, equipamentos e materiais didáticos adequados à realidade da escola. O bom aproveitamento dos recursos existentes é considerado um indicador importante, uma vez que o país lida com a escassez de recursos. Incentiva-se ainda a percepção da relação entre a organização do espaço, o convívio entre as pessoas e a necessidade de se trabalhar com uma concepção de educação que flexibilize a organização deste espaço, proporcionando assim as condições para o desenvolvimento adequado das atividades de ensino e aprendizagem. Recursos suficientes e de qualidade é outro indicador que denota a relação adequada entre o ambiente físico escolar, Cadernos Cenpec 2007 n. 3 as necessidades do processo educativo e o envolvimento da comunidade. Chama-se a atenção também para o vínculo entre o processo educativo de qualidade, a organização, o cuidado e a beleza do espaço físico. A dimensão do Acesso e Permanência dos Alunos na Escola reflete o grande desafio da educação brasileira hoje, que é fazer com que as crianças e os adolescentes permaneçam na escola e consigam concluir os níveis de ensino em idade adequada. As escolas são levadas a refletir sobre o quanto conhecem da sua situação: • Quem são os alunos que apresentam maior dificuldade no processo de aprendizagem? • Quem são aqueles que mais faltam? • Onde e como eles vivem? • Quais são as suas dificuldades? • Quem são os alunos que a abandonaram ou se evadiram? • Quais os motivos? • O que estão fazendo? • A escola tem algum mecanismo para trazê-los de volta? Uma proposta metodológica para apoiar as escolas que desejarem promover o retorno destes alunos é apresentada no final do instrumental. Principais questões levantadas a partir da experiência-piloto de fundo, relacionadas à avaliação participativa e seu potencial como fator de democratização da escola e do sistema de ensino. Pela escola e para a escola Uma das recomendações mais enfáticas do grupo de trabalho foi a de que se deixasse claro, no instrumental e nas iniciativas para a sua disseminação, que a proposta em pauta é de uma avaliação da escola feita pela escola e para a escola. Processos avaliativos que servem para controles externos ou para definir cotas de repasse de recursos acabam por comprometer a disposição dos agentes escolares em expor abertamente seus problemas. Comunicar aos governantes Em nenhum momento, este sistema de indicadores deve ser confundido com os mecanismos utilizados habitualmente pelos órgãos administrativos para coletar informação sobre as unidades escolares. No entanto, considerou-se fundamental, para a melhoria do sistema educacional, que as secretarias e órgãos governamentais possam ter acesso aos principais problemas vivenciados pelas escolas. Diálogo colaborativo Avaliação positiva De forma geral, os agentes que participaram da experiência-piloto de utilização do sistema de indicadores para conhecer a qualidade da escola avaliaram-na positivamente. Destacaram que as dimensões e os indicadores selecionados fazem sentido para os diversos segmentos envolvidos: geram perguntas, prendem a atenção, favorecem a partilha de informações. A metodologia estimula o debate, explicita a divergência, traz à luz questões que antes passavam despercebidas e provoca a disposição de resolver problemas detectados. Observou-se ainda que o uso das cores facilita a compreensão e a operacionalização do sistema e permite a visualização do retrato da escola “produzido” pela comunidade escolar. Democratização Além das sugestões pontuais para o aperfeiçoamento do instrumento, foi levantada uma série de questões 69 Numa proposta de avaliação como esta, a discussão sobre o papel das secretarias municipais e estaduais ou mesmo do Governo Federal denota uma certa desconfiança que permeia a relação das diversas instâncias que compõem o sistema educacional. O grupo considerou que um bom caminho para tentar sair desse paradoxo pode estar na articulação entre sociedade civil e governo, de modo que, ao se disseminar o instrumental ou buscar informações sobre os resultados da avaliação, mantenha-se o espírito do diálogo colaborativo e não o do controle. Controle democrático de políticas públicas Segundo os participantes da oficina, o instrumental precisa reconhecer o papel dos órgãos administrativos do sistema, incentivando a superação do seu papel controlador e impositivo, com o objetivo de transformá-lo em incentivador, apoiador e coordenador de iniciativas geradas na base do sistema. O instrumental produzido é não só uma ferramenta para a escola se conhecer e propor ações para a melhoria de sua qualidade, como também Cadernos Cenpec 2007 n. 3 pode ser um dispositivo de controle democrático de políticas públicas. A sua apropriação pelas escolas vai gerar demandas para as redes e é preciso mobilizá-las para que estejam abertas para ouvir e negociar. Falta de comunicação Outra questão amplamente discutida no grupo de trabalho foi a dos conflitos e divergências de opinião geradas no processo de avaliação. As circunstâncias propiciadoras desses conflitos foram principalmente as da Avaliação, Prática Pedagógica e da Gestão Escolar. No caso da Avaliação, as divergências se deveram ao sistema de ciclos, que não tem o apoio dos pais, e também a uma visão de que as metodologias de avaliação qualitativa da escola foram implementadas, pelo sistema educacional, de “cima para baixo”. A dimensão referente à gestão escolar também denotou potencial de conflito por lidar com as relações de poder dentro da escola. O não-compartilhamento de informações e a falta de comunicação foram amplamente citados como fontes de conflitos durante o processo avaliativo. A importância dos conflitos Quanto à prática pedagógica, as divergências entre alunos e professores sobre a participação dos alunos no planejamento e na avaliação foram comuns. O grupo de trabalho ponderou sobre a importância de se conceber o conflito como um fator positivo e construtor de democracia, razão pela qual o instrumento não deve focalizar a busca de consenso a qualquer preço. Ao contrário, a metodologia deve oferecer a possibilidade de que conflitos não solucionados possam ficar explicitados no documento, uma vez que forçar o consenso resulta na prevalência das opiniões dos segmentos mais fortalecidos da comunidade escolar, normalmente o grupo de professores ou o diretor. O grupo apontou dois caminhos possíveis para a operacionalização do sistema, tendo como preocupação o conflito entre os segmentos: um deles seria iniciar a discussão com todos os segmentos representados nos grupos de trabalho por dimensão (tal como o instrumento foi testado) ou organizar os grupos por segmentos para, em seguida, trabalharem em conjunto. 70 Os defensores da segunda proposta acreditam que essa solução fortaleceria os grupos que conhecem menos a dinâmica escolar, como os pais, mães e os alunos. Aqueles que optam pelo primeiro caminho avaliam que separar os grupos por segmentos, ainda que num segundo momento eles possam estar juntos, pode incidir negativamente sobre a predisposição ao diálogo necessário ao processo de planejamento e mudança. Escola e sistema educacional Outra questão de fundo diz respeito aos problemas que nitidamente se situam fora do âmbito de governança da escola, em especial à questão do financiamento. Observou-se que é necessário incluir, entre as dimensões avaliadas, a relação da escola com o sistema educacional (secretarias municipais ou estaduais e suas instâncias) e, em última instância, os organismos que definem e controlam o orçamento público, os poderes executivo e legislativo. A escola de qualidade é também um ator político, situado dentro de um sistema amplo com o qual precisa dialogar e negociar. Os indicadores não podem reforçar a idéia de que a escola resolverá todos os problemas somente com base em seus próprios recursos ou nos recursos da comunidade, sem considerar a relevância do investimento público. Crítica dos critérios de qualidade Finalmente, foi discutida a questão da relação entre os critérios de qualidade produzidos pela escola e os padrões mais gerais, estabelecidos por sistemas centralizados de avaliação e pela própria legislação educacional. Todas as escolas que apresentaram os resultados de sua avaliação ao grupo de trabalho haviam atribuído ao indicador relativo ao conhecimento e uso dos indicadores de desempenho, produzido pelo INEP e secretarias de educação, a cor vermelha, que revela prática inexistente ou quase inexistente, que exige intervenção imediata. A coincidência confirma um diagnóstico já conhecido pelas pessoas que trabalham e estudam a questão, como foi comentado na primeira parte deste artigo. A aposta do projeto Indicadores Qualitativos da Educação na Escola é que o envolvimento da comunidade escolar em processos participativos de avaliação Cadernos Cenpec 2007 n. 3 /FUNDAMENTALÁQUEOS MEMBROSDACOMUNIDADE ESCOLARPOSSAMPERCEBERQUE PARºMETROSDEQUALIDADE MAISUNIVERSAISOUGERAIS N»OPAIRAMSOBRENËS COMOENTIDADESORIUNDAS DO/LIMPOELESS»O PRODUZIDOSPELASOCIEDADE ERESULTAMDOJOGODE FOR¿ASENTREOSDIVERSOS AGENTESTÁCNICOSEPOLÅTICOS pode suscitar o seu interesse em conhecer esses indicadores e considerá-los também um parâmetro para seu julgamento. Todos os membros da comunidade escolar são capazes de perceber e refletir sobre as conexões entre a sua realidade local e as questões sociais mais amplas, sobre suas expectativas e as expectativas dominantes no conjunto da sociedade, sobre os conflitos de interesse produzidos por uma sociedade marcada por tantas desigualdades como a nossa. O fundamental é que os membros da comunidade escolar possam perceber que parâmetros de qualidade mais universais ou gerais não pairam sobre nós como entidades oriundas do Olimpo: eles são produzidos pela sociedade e resultam do jogo de forças entre os diversos agentes técnicos e políticos. Com essa perspectiva, os resultados das avaliações em grande escala e outras estatísticas educacionais podem vir a ser um importante instrumento de monitoramento e mesmo de reivindicação para as comunidades escolares. Estas mesmas comunidades também podem colaborar para aperfeiçoar tais indicadores, criticando-os, identificando suas insuficiências ou fontes de distorções. Disseminação A primeira publicação em larga escala foi produzida no final de 2003 e serviu de apoio ao processo de mobilização, disseminação e apropriação do sistema pela comunidade escolar. Para tanto, foram utilizadas as redes de atuação das instituições participantes do grupo de trabalho. A distribuição da publicação via sistema educacional (Governo Federal e secretarias) foi associada a ou- 71 tras formas de disseminação, tais como falas explicativas em eventos promovidos pelo governo e pela sociedade civil, para evitar a consolidação da imagem de que se trata de um instrumento para controle. A realização de cursos de capacitação de pessoas da área (professores, diretores e membros dos Conselhos Municipais e Estaduais de Educação) para o uso do instrumento surgiu também como alternativa relevante, já que reforça a autonomia da escola em seus processos avaliativos. Os cursos oferecidos pelo MEC abriram espaço para a efetivação de momentos formativos com base no instrumental. Dentre eles, podemos citar aqueles oferecidos pelo Programa Fortalecimento dos Conselhos Escolares5 e também a versão piloto do Programa Escola de Gestores.6 A Ação Educativa disponibilizou o material e informações sobre sua aplicação em escolas no país. Tal mecanismo foi importante para o processo de disseminação e criação de redes, visando à mobilização e ao envolvimento do maior número de escolas na avaliação participativa da qualidade da educação. Aperfeiçoamento A primeira publicação trouxe sete dimensões: avaliação e prática pedagógica foram tratadas em duas dimensões distintas. A utilização da metodologia em várias escolas possibilitou o aperfeiçoamento de alguns indicadores e também levou à percepção de que seria mais adequado agrupar os indicadores relativos às duas dimensões acima. Uma nova dimensão: Ensino e Aprendizagem da Leitura e da Escrita. Responsáveis pela iniciativa, membros do Grupo Técnico, especialistas da área de várias regiões do país e gestores governamentais avaliaram que o Indicadores da Qualidade na Educação deveria também propiciar, à comunidade escolar, um momento de reflexão sobre a qualidade do ensino e aprendizagem da leitura e da escrita na escola. Em 2006, com apoio financeiro da Cafise/SEB/MEC, a Ação Educativa ampliou o Grupo Técnico do Projeto Indicadores da Qualidade na Educação visando responder a esta nova demanda. Passaram a constituir, então, o GT, as seguintes instituições: quatro centros de formação da área de alfabetização que compõem a Rede Nacional de Formação Continuada do MEC (Ceale/UFMG; Ceel/UFPE; Cefortec/UEPG; Cadernos Cenpec 2007 n. 3 Cform/UNB) além de organizações não-governamentais referenciais na área – Instituto Avisa-lá; Cedac; Centro de Cultura Luiz Freire; Instituto Paulo Freire; Projeto Chapada; Instituto Ayrton Senna; e Fundação Victor Civita. Duas novas publicações do Projeto Indicadores da Qualidade na Educação estão em fase de finalização: uma que trará apenas a nova dimensão (Separata) e outra que apresentará as seis dimensões da publicação original somadas à nova dimensão voltada à Leitura e Escrita. Para encerrar, é importante destacar que um dos aspectos mais promissores da experiência até aqui foi a diversidade dos atores envolvidos no desenvolvimento dos indicadores. O grupo de trabalho agregou agências internacionais, organizações da sociedade civil, gestores do sistema de ensino no nível federal, estadual e municipal, diretores e professores de escolas, pesquisadores e especialistas em educação e planejamento. São profissionais envolvidos na problemática escolar que nem sempre têm a oportunidade de sentar à mesma mesa para dialogar. Muitos outros atores podem e devem participar, especialmente membros de conselhos e de associações populares. Sabemos que os problemas dos nossos sistemas de ensino não são apenas técnico-pedagógicos, e sim predominantemente políticos. As condições e os recursos necessários para democratizar o acesso a uma educação de qualidade no país não estão dados. É preciso que os agentes escolares se reconheçam tanto como atores pedagógicos, quanto atores políticos, cuja mobilização é essencial para a conquista dessas condições, para que sejam feitos os investimentos necessários nos sistemas educacionais e nas escolas. O mais valioso sinal que podemos captar dessa experiência é o de que, para alcançar uma educação de qualidade para todos no Brasil, é estratégica a aliança entre os profissionais de ensino, a população e as organizações da sociedade civil com os órgãos públicos das diversas esferas de governo e as agências internacionais. A partir do enfrentamento das divergências, dos conflitos de interesse e das relações desiguais de poder, do estabelecimento de alianças, da partilha de informações e da integração dos diferentes, vão-se construindo democraticamente novos sentidos para a melhoria da qualidade da educação na escola. 72 Referências BEISIEGEL, Celso de Rui. Avaliação e qualidade do ensino. In: BICUDO, Maria Aparecida; SILVA JR., Celestino (Org.). Formação do educador e avaliação educacional: organização da escola e do trabalho pedagógico. São Paulo: Unesp, 1999. BURATTO, Ana Luísa O.; DANTAS, Maria Rita C.; SOUZA, Maria Theresa O. M. A direção do olhar do adolescente: focalizando a escola. Porto Alegre: Artes Médicas, 1998. CNDE – CAMPANHA NACIONAL PELO DIREITO À EDUCAÇÃO. Consulta sobre qualidade da educação na escola. São Paulo: Ação Educativa, 2002. CAMPOS, Maria Malta (Org.). Consulta sobre a qualidade da educação na escola: relatório técnico final. São Paulo: Campanha Nacional pelo Direito à Educação; Fundação Carlos Chagas, 2002. Cenpec. Diagnóstico e plano de ação educativa: uma proposta de trabalho coletivo – Melhoria da educação no município. São Paulo: Petrópolis, 2003. ______. Melhoria da educação no município. In: O diagnóstico educacional: uma direção para a ação educativa. São Paulo: Petrópolis, 2003a. v. 2. CHARLOT, Bernard. Os jovens e a escola. Porto Alegre: Artmed, 2001. CPCD. Indicadores de Qualidade de Projeto. Araçuaí: Centro Popular de Cultura e Desenvolvimento - CPCD, s.d. FORO EDUCATIVO. Indicadores de política educativa desde las perspectivas de los ninos, ninas y adolescentes. Revista Agenda Educativa, Lima, Foro Educativo, 1998. FEZL – FÓRUM DE EDUCAÇÃO DA ZONA LESTE DO MUNICÍPIO DE SÃO PAULO. Plano local de desenvolvimento educativo, São Paulo, 2002. FRANCO, Creso; BONAMINO, Alícia. Iniciativas recentes de avaliação da qualidade da educação no Brasil. In: FRANCO, Creso (Org.). Avaliação, ciclos e promoção na educação. Porto Alegre: Artmed, 2001. FUNDAÇÃO ABRINQ. Guia Prefeito Amigo da Criança. São Paulo: Fundação Abrinq, 2001. FUNDESCOLA. Como elaborar o Plano de Desenvolvimento da Escola. Brasília: MEC, 1999. GHANEM, Elie. Democracia: uma grande escola – alternativas de apoio à democratização da gestão e à melhoria da educação pública. São Paulo: Ação Educativa; Unicef; Fundação Ford, 1998. GUBBINS, Verônica. Incorporación o particiopación de las familias?: Un desafio más de la Reforma Educativa. Santiago: Centro de Investigacion y Desarollo de la Educación (CIDE), 1997. INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. História do INEP. Disponível em: <www.inep.gov.br/institucional/historia. htm>. Acesso em: 11 nov. 2003. ______. Qualidade da Educação: uma nova leitura do desempenho dos estudantes da 4a série do ensino fundamental. Brasília: INEP, 2003a. MARTINS, José de Souza. Exclusão social e a nova desigualdade. São Paulo: Paulus, 1997. MEC. Secretaria de Educação Fundamental. Parâmetros curriculares nacionais: introdução aos parâmetros curriculares nacionais. Brasília: MEC/SEF, 1997. MORAES, Karla Motta Kiffer de (Coord.). Padrões mínimos de funcionamento da escola do ensino fundamental – ambiente físico escolar: guia de consulta. Brasília: MEC/Fundescola, 2002. v. 1. NOGUEIRA, Madza Julita. Todos pela educação no município: um desafio para cidadãos. Brasília: Unicef; Cecip, 1993. NEPP – NÚCLEO DE ESTUDOS DE POLÍTICAS PÚBLICAS. Unicamp. Avaliação da descentralização de programas do MEC para o ensino fundamental (PMDE, PNAE e PAT/TV Escola), 1997. PGPC – PROGRAMA DE GESTÃO PÚBLICA E CIDADANIA. Construindo indicadores de desenvolvimento local - Relatório das Oficinas. São Paulo: Fundação Getúlio Vargas, 1999. PROGRAMA NACIONAL DE INCENTIVOS. La Escuela: el lugar predilecto de lãs ninas y los ninos. Por una mejor educación para la Colombia que soñamos. Bogotá: Programa Nacional de Incentivos; Ministério de Educación Nacional, 1996. SERRÃO, Margarida; BALEEIRO, Clarice. Aprendendo a ser e a conviver. São Paulo: Fundação Odebrecht, 1999. SPINK, Peter. Avaliação democrática: propostas e práticas. Fundamentos de avaliação, ABIA, Rio de Janeiro, n. 3, 2001. (Col. ABIA.) UNDIME, CONSED, UNICEF, CNBB, CONIC. Geração da paz em um mundo de Cadernos Cenpec 2007 n. 3 conflitos e violências. Vila Velha: Secretaria de Estado de Direitos Humanos do Governo Federal; Raio, s.d. UNICEF. Espaço Criança Esperança: um projeto pedagógico de inclusão social. Brasília: Unicef, 2003. ______. Relatório da situação da infância e adolescência brasileira 2003. Versão preliminar. Brasília: Unicef, 2003. ______. Um mundo para as crianças – Relatório da Sessão Especial da Assembléia Geral das Nações Unidas sobre a Criança: as metas das Nações Unidas para o milênio. Nova Iorque: Unicef, 2002. VALARELLI, Leandro Lamas. Um panorama sobre o estado da arte do debate sobre indicadores. Série Indicadores. São Paulo: Plataforma Novib, 2002. Disponível em: <http://www.aditepp.org.br/gtindicadores/pdf/gt4.pdf>. Acesso em: 15 fev. 2007. VIANNA, Heraldo Marelim. Avaliações nacionais em larga escala: análises e propostas. Estudos em Avaliação Educacional, n. 27, jan.-jun. 2003. WOLFF, Laurence. Avaliações educacionais na América Latina: estágio atual e desafios futuros. PREAL – Programa de Promoção da Reforma Educativa na América Latina e Caribe. Documentos. Rio de Janeiro: PREAL Brasil; Fundação Getúlio Vargas, s.d. n. 11. 5 Notas 1 2 3 4 Artigo atualizado com base no original publicado no periódico Cadernos de Pesquisa, n. 124, v. 35, p. 227-251, jan./abr. 2005. Termo utilizado por José de Souza Martins (1997) ao discutir o tema da desigualdade social no Brasil e a questão da inclusão e da exclusão. Além das organizações coordenadoras, participaram do processo as seguintes organizações: Cenpec – Centro de Estudos e Pesquisas sobre Educação e 73 6 Cultura; Campanha Nacional pelo Direito à Educação, em especial o Cedeca – CE; CNTE – Confederação Nacional dos Trabalhadores em Educação; Consed – Conselho Nacional dos Secretários Estaduais de Educação; Fundação Abrinq pelos Direitos da Criança; MEC – Secretaria de Educação Infantil e Fundamental (especialmente, o Fundescola – Fundo de Fortalecimento da Escola); IBGE – Instituto Brasileiro de Geografia e Estatística; Instituto Polis; IPEA – Instituto de Pesquisas Econômicas Aplicadas (órgão vinculado ao Ministério do Planejamento do Governo Federal); Undime – União Nacional dos Dirigentes Municipais de Educação e UNCME – União Nacional dos Conselhos Municipais de Educação. Maria Malta Campos, pesquisadora da Fundação Carlos Chagas, também prestou colaboração destacada. As escolas participantes foram: Escola Municipal Izaira Machado de Freitas Camargo (Formosa/GO), Escola Municipal Consulesa Margarida Maksud Trad (Campo Grande/MS), Escola Municipal Professora Mauricila Sant’Ana (Rio Branco/AC), Escola Estadual Márcia Meccia e Escola Estadual Maria Anita (Salvador/BA), Escola Municipal de Ensino Fundamental Antônio Carlos de Andrade e Silva, Escola Estadual Madre Paulina e Escola Estadual Professora Ruth Cabral Troncarelli (São Paulo/SP), Escola Fundamental do Centro Pedagógico da Universidade Federal de Minas Gerais e Creche da Universidade Federal de Minas Gerais (Belo Horizonte/MG), Escola Municipal Professor Moacyr Teixeira (Londrina/PR), Escola Municipal de Educação Infantil e Ensino Fundamental Frei Tito de Alencar e Escola Estadual de Ensino Fundamental e Médio Marwin (Fortaleza/CE). Este Programa está sendo implementado pela Cafise/SEB/MEC. Os Indicadores da Qualidade na Educação compõem um kit de vários cadernos utilizados na formação dos Conselheiros. O INEP – coordenador da versão piloto do Escola de Gestores – fez uma adaptação do Indicadores da Qualidade na Educação para uso exclusivo no processo formativo, o qual tinha como eixo central a aplicação do material pelos gestores escolares em suas respectivas escolas e a problematização dos resultados da discussão gerada em cada comunidade escolar. Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: INDICADORES DE QUALIDADE NA EDUCAÇÃO Uma ferramenta para a construção da democracia Waldenir (Nino) Bernini Lictenthaler* Neste ensaio, pretendo discutir a relação entre a qualidade na educação e a “gestão escolar democrática”, sob o enfoque da “participação da comunidade escolar”, que tem sido apontada como um dos ingredientes necessários para promover melhorias na educação escolar pública brasileira. Esta discussão tem, como referência, algumas experiências de uso dos Indicadores da Qualidade na Educação em todo o Brasil, com destaque para a experiência desenvolvida na Rede Municipal de Ensino de Ituiutaba, Minas Gerais. O que é educação de qualidade? A Constituição Federal de 1988 e a LDBN de 1996 consagram o acesso à educação de qualidade como um direito fundamental da cidadania. Homens e mulheres, negros, brancos, índios ou mestiços, de Norte a Sul e de Leste a Oeste desta imensa nação, dos mais jovens aos mais velhos, têm o direito de compartilhar o patrimônio cultural comum da humanidade mediante sua educação, especialmente a educação escolar. O Estado brasileiro é signatário de tratados e convenções internacionais que estabelecem metas e prazos para os esforços de universalização do acesso à escola, prioritariamente à educação básica, para as crianças. Tal esforço deveria se traduzir em fortes investimentos financeiros que permitissem o cumprimento destes compromissos, o que, sabemos, não aconteceu, ainda. Na década de 1990, verificamos alguns avanços em termos de distribuição de recursos financeiros, notadamente pelo implemento do Fundef. Mais do que aumen* Waldenir (nino) Bernini Lictenthaler é antropólogo e educador; assessor da Ação Educativa/Unicef, responsável pela disseminação dos indicadores da qualidade na educação em nível nacional; analista pericial em Antropologia do Ministério Público Federal em Marabá/PA. 74 tar significativamente os orçamentos destinados às escolas das regiões mais pobres do país, o Fundo trouxe a novidade de repartir recursos entre os entes federados, com base no número de alunos matriculados nas redes estaduais e municipais de ensino, às quais compete oferecer as vagas no ensino fundamental. Este princípio fez com que os gestores das redes cuidassem de assegurar o maior número de matrículas possível, visando ao correspondente repasse de recursos. Não cabe aqui discutir os impactos do Fundef em termos de melhoria na qualidade da educação, mas certamente podemos afirmar que seu advento contribuiu para a quase universalização do acesso às matrículas nas escolas públicas do ensino fundamental. A grande crítica que se fez, então, é que os valores per capita, estabelecidos para repasses de recursos do Fundo, eram irrisórios, inviabilizando que estes alunos incluídos na educação escolar recebessem um atendimento de qualidade. O argumento oficial do MEC foi de que não seria verdade que os recursos financeiros eram insuficientes. O problema, afirmava-se, era de gestão: os recursos estariam sendo mal administrados, assim como o processo pedagógico também era mal gerido – e, eventualmente, mal executado. O Governo Federal estaria fazendo a sua parte ao assegurar o acesso universalizado ao ensino fundamental – primeira etapa. Caberia, agora, aos sistemas e às escolas, gerir com eficiência seus problemas administrativos e pedagógicos em busca da qualidade – segunda etapa. Disseminou-se e se estabeleceu fortemente, então, o discurso da parceria entre Estado e sociedade, o que, na educação escolar, traduziu-se em parceria escola-comunidade. Formou-se um consenso em torno da idéia de que a responsabilidade pela melhoria na qualidade da educação não era apenas do Estado ou da escola, e sim que esta melhoria dependia da participação de toda a sociedade, ou de toda a comunidade escolar. Cadernos Cenpec 2007 n. 3 Poderíamos discutir longamente se essa postura poderia significar uma renúncia, da parte do Estado, de sua responsabilidade, compromisso e dever de assegurar a qualidade da educação pública, mas a gravidade da matéria e as múltiplas perspectivas que ela comporta exigiriam um outro ensaio. Aqui, quero reter somente que esta convocação à participação da comunidade decorre da emergência de um novo marco legal, político e institucional em que se desenvolve a educação pública em nosso país; marco este que estabelece a democratização, a descentralização e a autonomia como princípios da gestão dos sistemas de educação e das escolas, e — como horizonte — o aprimoramento da qualidade da educação e a construção de uma sociedade democrática e da cidadania ativa. Resta saber, então, quais são os atributos necessários para que a educação seja considerada de qualidade ou, dito de outra forma: em que consiste a qualidade na educação? É notória a diversidade de concepções que encontramos sobre a qualidade da educação e mesmo sobre o que seja a educação, suas finalidades e sua função social. Há quem afirme, sem titubear, que uma escola nada mais é que uma empresa. Seus clientes seriam os alunos e suas famílias, e seu produto, algo como: “alunos que aprendem” ou “os conhecimentos que os alunos ali receberam”. Assim, da mesma forma que uma empresa que busca a “qualidade total” deve ter seu foco no cliente e na sua satisfação com a qualidade dos produtos fornecidos, a escola de qualidade deve ter seu foco nos seus produtos, e a qualidade da escola poderia ser medida simplesmente avaliando estes produtos, ou seja, avaliando seus alunos e o quanto conseguiram aprender na “empresa” escolar. Dessa visão, aqui simplificada por razões de espaço e estilo, decorrem as grandes avaliações de sistemas como o Saresp - Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo, Provão (Exame Nacional de Cursos – ENC) e outras tantas que surgiram nesse contexto. Elas têm em comum a pretensão, aparentemente ingênua, de avaliar a qualidade da escola pelo desempenho dos alunos em provas. Para outros, contudo, há muitas diferenças entre as duas instituições, sendo que a primeira e mais fundamental é que, enquanto toda e qualquer empresa visa obter lucros, ou seja, ganhar o máximo com o menor custo, uma escola tem por objetivo — mais ou menos 75 aceito por todos — o pleno desenvolvimento humano do educando. Quer dizer, uma escola não tem como objetivo de sua atividade produzir excedentes financeiros ou materiais. Assim, a lógica financeira do gerente da empresa é: “Como eu posso produzir mais e melhor gastando menos?”. Enquanto a lógica do gestor da escola é: “O que e quanto eu preciso para assegurar que o aluno realizará seu pleno desenvolvimento na escola?”. Por que os indicadores da qualidade na educação? Em 2003, a partir de uma iniciativa da Ação Educativa, Unicef - Fundo das Nações Unidas para a Infância, Pnud - Programa das Nações Unidas para o desenvolvimento e MEC/INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, um conjunto de instituições representativas da área da educação, dentre as quais o Cenpec - Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária, constituíram um grupo técnico para construir e disseminar indicadores de qualidade para a educação que fossem mais qualitativos e que pudessem abarcar também o processo, retirando o foco do “produto”, como nas avaliações de sistemas já existentes. A idéia era que esses indicadores contribuíssem para promover a mobilização da comunidade escolar em torno de ações voltadas ao cumprimento do direito da educação de qualidade para todos. Para isso, deveriam ser criados indicadores de fácil compreensão que permitissem à comunidade avaliar a qualidade da escola, sem que fossem necessários conhecimentos técnicos específicos muito aprofundados sobre a educação escolar, o que inviabilizaria a efetiva participação, especialmente dos mais pobres e menos escolarizados. Depois de meses de trabalho e pesquisa, os parceiros envolvidos chegaram aos Indicadores da Qualidade na Educação. Criado para ajudar na avaliação e na melhoria da qualidade da escola, o documento é uma espécie de manual que permite a identificação de problemas e favorece a compreensão das questões relacionadas com a qualidade escolar, abrindo espaço para uma melhor participação da comunidade escolar na melhoria da educação. Para tanto, foram identificados sete elementos constitutivos da qualidade, que, na publicação, receberam o nome de dimensões. São elas: Cadernos Cenpec 2007 n. 3 • • • • • ambiente educativo; prática pedagógica; avaliação; gestão escolar democrática; formação e condições de trabalho dos profissionais; • espaço físico; • acesso, permanência e sucesso na escola. A base desse instrumental de avaliação participativa é composta por perguntas focadas em indicadores da qualidade escolar, as quais devem ser respondidas por meio da atribuição de cores: • verde para bom; • amarelo, quando a situação exige atenção; • vermelho, quando a situação requer uma intervenção que a qualifique. Para se chegar a atribuir uma cor, cada grupo precisa, antes, debater e construir uma avaliação coletiva do ponto em discussão; além de atribuir uma cor, os grupos necessitam sistematizar o que foi debatido. O instrumental traz pequenos quadros para que a sistematização dos debates possa ser visualizada pelos demais. A explicitação em conjunto dos debates favorece uma avaliação qualitativa; e a visualização das sistematizações das avaliações dos grupos permite a identificação do que vai bem e do que vai mal na escola. Assim, a comunidade escolar tem um painel no qual se pode visualizar a situação geral da qualidade da escola, em face das diversas dimensões que a constituem, para, com mais clareza, buscar coletivamente as soluções. Ao final, o instrumental fornece orientações para a elaboração de um plano de ação, que estabelece prioridades e co-responsabiliza os diversos segmentos: as comunidades escolares, o poder público e as organizações interessadas na promoção da qualidade escolar. 76 O documento foi distribuído gratuitamente pelo Programa Nacional de Fortalecimento dos Conselhos Escolares, da Secretaria de Educação Básica do MEC, para todas as escolas públicas de ensino fundamental e médio do país, com mais de 200 alunos, chegando diretamente a mais de 70 mil escolas; envolve, ainda, nesse processo, parcerias com as Secretarias de Educação Municipal e Estadual. Hoje, seu uso está bastante difundido, embora não haja um controle de quantas escolas exatamente tenham adotado a metodologia. Principais experiências A primeira experiência de uso sistemático dos Indicadores da Qualidade na Educação aconteceu em Londrina, Paraná, em 2003. Ainda na fase de elaboração do material, foi realizado um pré-teste em uma escola do município. Devido ao bom desenvolvimento do teste, foi sugerido o acompanhamento do uso do material nas demais escolas da rede municipal. Em 2004, foram realizadas avaliações em 13 das 28 escolas municipais de Londrina. Entretanto, verificamos que a Secretaria Municipal de Educação não compreendeu o alcance que o trabalho poderia ter na aproximação entre a gestão municipal e as comunidades escolares, como um instrumento de diálogo e de conhecimento da realidade e das demandas específicas de cada unidade escolar e fortalecimento das instâncias de participação. Assim, os resultados das avaliações não foram tomados como indicativos de direcionamento de políticas e de programas para a educação municipal e acabaram não gerando maiores conseqüências. A primeira secretaria estadual de educação a se interessar pelos Indicadores foi a do Piauí, justamente um dos estados mais pobres da Federação. Fizemos diversas ações de formação para o pessoal da Secretaria e das Delegacias Regionais de Ensino, e o uso dos Indicadores passou a ser uma política oficial do Estado. Por falta de recursos, entretanto, a sua implantação nas escolas vem acontecendo gradativamente e sempre com o acompanhamento da Secretaria Estadual. Outro estado que adotou sistematicamente os Indicadores foi a Bahia. Lá, a metodologia foi incorporada ao programa de formação do Progestão, que oferecia formação para os gestores das escolas da rede estadual. Realizou-se um trabalho intenso de disseminação Cadernos Cenpec 2007 n. 3 da metodologia, que a tornou conhecida em praticamente todas as escolas estaduais da Bahia. O estado do Amazonas também promoveu a divulgação dos indicadores em sua rede de ensino, oferecendo uma formação para seu uso aos representantes das diversas regiões do estado. Entretanto, o uso efetivo não foi monitorado pela Secretaria de Educação; ficou a critério de cada escola, sem acompanhamento. Outros municípios — como São Luís, Maranhão; Suzano, São Paulo; São Félix, Bahia, entre tantos — e diversas organizações não-governamentais e institutos empresariais também utilizaram a metodologia. O município de Suzano adotou os indicadores incluindo a avaliação no calendário das escolas. Estive em diversas localidades na condição de assessor do Projeto Indicadores, sob a responsabilidade da Ação Educativa, realizando ações de formação e atuando como facilitador no uso do instrumental, com recursos do Unicef. Entretanto, não existe um quadro geral dos resultados destas múltiplas iniciativas. Como os indicadores, desde sua concepção, foram destinados às próprias comunidades escolares, seus idealizadores não se preocuparam em manter um monitoramento que agregasse os resultados das iniciativas de uso, dispersas pelo país. Uma política municipal de educação pela base Uma experiência merece especial destaque: a de Ituiutaba, no Pontal do Triângulo Mineiro. Em 2005, a assessora pedagógica da Secretaria Municipal de Educação e Cultura – SMEC, Luciane Ribeiro, entrou em contato com a Ação Educativa solicitando apoio técnico para a realização de avaliações participativas com os indicadores na rede municipal. Os recursos que o Unicef vinha repassando para estas ações, contudo, já haviam se esgotado. Mesmo assim, a secretaria quis contratar os serviços de assessoria, arcando com o investimento financeiro correspondente. Foi a primeira Secretaria de Educação que pagou para receber este apoio técnico. Penso que esse dado não seja irrelevante, pois é indicativo do nível de interesse dos gestores da educação, nesse município, em implantar um processo de gestão democrática. Em 23 de março de 2005, a Secretaria Municipal de Educação de Ituiutaba realizou o Fórum Municipal de Educação. Durante o evento, aconteceu a formação para uso dos Indicadores da Qualidade na Educação. 77 A iniciativa de levar os Indicadores para o Município partiu do Centro de Estudos do Magistério e Aperfeiçoamento Cemap, da Secretaria Municipal de Educação. Quando assumiu seu mandato, o atual prefeito, Fued José Dib, pediu aos funcionários da educação que trabalhassem com empenho para atingir um patamar de excelência. Ao procurar por referências sobre a qualidade em educação, Luciane Ribeiro, do Cemap, chegou aos Indicadores. O evento de formação para o uso do instrumental Indicadores da Qualidade na Educação foi então caracterizado como Fórum Municipal de Educação. Compareceram cerca de 200 pessoas, entre as quais, o prefeito, o secretário municipal de educação, Isaías Tadeu, secretários de outras pastas, a diretora e técnicos da Regional de Ensino da Secretaria Estadual de Educação, vereadores, membros do Conselho Municipal de Educação, professores universitários de faculdades locais, professores e alunos das redes municipal e estadual, além de secretários de educação e educadores de municípios vizinhos (da região do Pontal do Triângulo Mineiro). No dia da formação, houve uma cerimônia de abertura, durante a qual as crianças das escolas municipais fizeram apresentações artísticas e o secretário de Educação e o prefeito discursaram, destacando a vontade política da administração atual em promover a qualidade da educação no município. Durante a oficina, houve espaço para o debate. Foi realizado um exercício de reflexão coletiva: logo no início do trabalho, foi apresentado um conjunto de cinco definições diferentes de qualidade na educação aos participantes e cada um teve que escolher aquela que julgava a mais adequada. As pessoas manifestaram sua opinião e justificaram suas escolhas. A “pegadinha” é que todas as definições são válidas. O que muda é apenas o enfoque ou a ênfase em certos atributos da “qualidade”. O objetivo desta estratégia foi mobilizar a capacidade reflexiva dos participantes para pensar o conceito de qualidade e, simultaneamente, fazêlos perceber a sua complexidade. Ao entenderem a validade das diferentes visões sobre o que é qualidade, eles vivenciam a mesma dificuldade que o grupo técnico que elaborou os Indicadores sentiu ao ter de escolher as “dimensões”, pois sempre haverá algum componente da qualidade que não será contemplado. À tarde, foram formados grupos de trabalho para analisar as sete dimensões dos Indicadores, com base na re- Cadernos Cenpec 2007 n. 3 alidade das escolas locais. Os grupos demonstraram boa compreensão do instrumental e da metodologia de aplicação. No momento das apresentações e da plenária final, as avaliações foram muito positivas quanto ao potencial do instrumental para o estabelecimento das diretrizes da educação no município de Ituiutaba. Como corolário, as avaliações foram realizadas nas 17 escolas da rede municipal e em mais duas da rede estadual, que manifestaram interesse em aderir ao trabalho, por intermédio da Delegacia Regional de Ensino. Maratona comunitária A rede municipal de Ituiutaba esteve mobilizada, na semana de 29 de agosto a 2 de setembro de 2005, para mais uma etapa do processo de avaliação das escolas da rede pública com os Indicadores da Qualidade na Educação. Após realizarem a avaliação usando os indicadores, as comunidades escolares voltaram a se reunir para definir prioridades e elaborar planos de ação, com base nos resultados levantados na avaliação participativa. Foi uma verdadeira maratona, que envolveu a assessoria da Ação Educativa e as 14 escolas: 12 municipais e duas estaduais. Houve uma significativa participação da comunidade na maior parte das escolas, gerando discussões de suma importância, uma vez que, juntos, professores, estudantes, funcionários, gestores, familiares e a comunidade, de um modo geral, procuravam soluções coletivas para os problemas da escola. Depois disso, os planos de ação foram analisados em conjunto, de modo a serem considerados no processo de definição das diretrizes e prioridades da gestão municipal para os próximos anos. É importante destacar que, concomitantemente, a sociedade de Ituiutaba realizou a discussão e a elaboração participativa do Plano Municipal de Educação para os próximos dez anos. Segundo a avaliação de Luciane Ribeiro, “a utilização dos indicadores nas avaliações participativas das unidades escolares tem sido um diferencial neste processo do Plano Decenal. Tem permitido que todos tenhamos mais clareza quanto às dimensões envolvidas na qualidade que queremos para a educação de Ituiutaba”. Em 3 e 4 de novembro de 2005, houve outro encontro para a discussão das diretrizes municipais de educação, partindo dos resultados das avaliações realizadas, nas unidades de ensino, com os Indicadores da Qualidade na Educação, como fechamento do processo de avaliação de to- 78 das as escolas municipais, iniciado em março desse ano. O objetivo principal dessa ação foi traçar diretrizes para a política municipal de educação para os próximos três anos, período de vigência da atual administração. Durante os dois dias, foram alternadas discussões sobre princípios e fundamentos de uma política municipal de educação, a socialização dos resultados das avaliações realizadas em cada escola e os planos de ação resultantes. Com base em pequenos textos introdutórios, as discussões versaram sobre temas como: o que é, como se organiza e qual a razão de existir de um Sistema Municipal de Educação. Também foram abordadas questões concernentes à gestão escolar democrática, entre elas: os Conselhos Escolares, o Conselho Municipal de Educação, as Conferências Municipais de Educação, formas de escolha da direção da escola, limites e possibilidades de participação. Domar o monstro autoritário A socialização dos resultados do processo de avaliação e planejamento consumiu a maior parte do tempo, pois houve uma tendência a descrições detalhadas de particularidades da escola, objeto do relato, e uma certa dificuldade em se transpor a abordagem cotidiana de pequenos problemas (a goteira, o monte de entulho que demorou para ser removido, a tomada elétrica que precisa de manutenção etc.) para uma reflexão em torno de programas de ação mais gerais que pudessem inspirar diretrizes para a política municipal de educação. A respeito da participação democrática, muitos manifestaram ainda pouca convicção de que este é o melhor modelo para a gestão escolar e também para o sistema municipal. A maior parte do grupo não demonstrou haver se apropriado de fundamentos para realizar uma discussão qualificada desses temas. O processo de sistematização dos resultados não teve, também, qualidade suficiente para facilitar a socialização e a formação de um grande painel, no qual fosse possível visualizar as cores atribuídas aos indicadores, para então se concentrar a atenção sobre aqueles cuja situação fosse comum a todas ou à maioria das escolas do município. Porém, em que pesem esses limites, os relatos trouxeram muitos elementos positivos de processos que se iniciaram a partir do uso dos indicadores, tanto nas unidades escolares quanto na rede municipal. Ao menos uma conseqüência de fundamental importância já se verifi- Cadernos Cenpec 2007 n. 3 mAUTILIZA¿»ODOSINDICADORES NASAVALIA¿ÍESPARTICIPATIVAS DASUNIDADESESCOLARESTEM SIDOUMDIFERENCIALNESTE PROCESSODO0LANO$ECENAL 4EMPERMITIDOQUETODOS TENHAMOSMAISCLAREZAQUANTO ¸SDIMENSÍESENVOLVIDASNA QUALIDADEQUEQUEREMOSPARA AEDUCA¿»ODE)TUIUTABAn ,UCIANE2IBEIRO cou na gestão municipal: a volta da reunião pedagógica semanal no horário de trabalho regular. Esse ponto foi considerado crítico, na avaliação com o Indique, em todas as escolas, pois a Secretaria Municipal havia determinado a proibição da dispensa dos alunos nas tardes de sexta para viabilizar as reuniões entre os professores e as equipes gestoras das escolas. Isso por determinação da Secretaria Estadual de Educação, já que a rede de Ituiutaba ainda não se constituiu como um sistema municipal de educação, estando, portanto, subordinada às normatizações do sistema estadual. Ao mesmo tempo que se abriu uma discussão sobre a necessidade de o município ter maior autonomia em relação ao estado, a avaliação com os Indicadores gerou um processo que fez a Secretaria Municipal rever essa decisão e contratar uma equipe permanente de suplentes para que os professores possam se reunir sem dispensar os alunos. A avaliação desse momento foi muito positiva, pois, mais do que um evento, trata-se de um processo. E o diálogo com os dirigentes da educação no município prosseguiu, amadurecendo cada uma das partes e levando a resultados sólidos. Em 2006, o trabalho continuou, tendo sido implementado um conjunto de programas de ação em função das demandas levantadas por meio das avaliações. Agora, os Indicadores da Qualidade na Educação estão consolidados com uma política da SMEC de Ituiutaba. A Secretaria avança na direção da construção de sua autonomia, iniciando estudos para a criação de seu Sistema Municipal de Educação, que deve acontecer em breve. 79 À guisa de conclusão, podemos acrescentar que a construção de uma gestão democrática, assim como de uma sociedade democrática, não é um processo linear e uniforme. Sem dúvida, todos nós somos muito democráticos até o momento que os desejos e opiniões dos outros, especialmente dos mais fracos, contraponham-se aos nossos. Situações como as provocadas pelos Indicadores da Qualidade na Educação são emblemáticas dessas características de nossa cultura autoritária e hierárquica. Muitas vezes, nas avaliações, professores, ou mesmo alunos, manifestam sua descrença de que os “poderosos” acatarão as deliberações das comunidades. Vários exemplos de atitudes despóticas são arrolados como argumentos nesse sentido. Porém, acredito que a democracia — mais do que um conceito que, uma vez assimilado, transforma valores, atitudes e comportamentos — é um princípio e um horizonte. Um princípio que deve regular nossas práticas, discursos e ações e que precisamos observar em nós mesmos, vigiando e zelando para que saibamos domar o monstro autoritário que se esconde em nosso inconsciente. E um horizonte, já que não se pode construir uma democracia por decreto e todas as democracias historicamente existentes foram ou são imperfeitas. Cabe a todos nós manter firmes a convicção e o empenho na caminhada rumo a esse horizonte, por mais que ele, às vezes, pareça se afastar à medida que andamos em sua direção. Notas 1 Agradeço carinhosamente a Joana Borges Buarque de Gusmão, que me convidou a colaborar no Projeto Indicadores da Qualidade na Educação, e a Vera Masagão, da Ação Educativa, pela confiança depositada. 2 O Fundef - Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério foi instituído pela Emenda Constitucional 14, de setembro de 1996, e regulamentado pela Lei 9.424, de 24 de dezembro do mesmo ano, e pelo Decreto 2.264, de junho de 1997. O Fundef foi implantado, nacionalmente, em 1º de janeiro de 1998, quando passou a vigorar a nova sistemática de redistribuição dos recursos destinados ao ensino fundamental (ver sítio: <www.mec.gov.br>). 3 LONGO, Rose Mary Juliano. Gestão da qualidade: evolução histórica, conceitos básicos e aplicação na educação. Brasília: Instituto de Pesquisa Econômica Aplicada, jan. 1996. 4 Note-se que a mesma gestão do MEC que lançou os PCN foi a que criou os sistemas de avaliação baseados em provas. Tudo estaria bem se toda a concepção de avaliação apresentada nos PCN — ou seja, que ela deve ser individualizada, processual, partindo de um diagnóstico etc. — não fosse absolutamente contraditória com uma avaliação baseada em testes de verificação de conhecimentos ou em provas, como as que foram implementadas. Cadernos Cenpec 2007 n. 3 79 Cadernos Cenpec 2007 n. 3 80 Cadernos Cenpec 2007 n. 3 artigo ERIKA HIMMEL KÖNIG* !DEFESADEUMA CULTURAAVALIATIVA / propósito deste relato é estimular o debate sobre a “cultura avaliativa”. Para tanto, apresenta-se, em primeiro lugar, o conceito de avaliação, um dos pilares desta exposição e dos programas nacionais de avaliação do rendimento escolar. Em segundo lugar, elabora-se a idéia de “cultura avaliativa” no contexto educacional em geral e, em particular, com relação às avaliações massivas. Em terceiro lugar, expõem-se alguns fatores que favorecem ou inibem o desenvolvimento de uma cultura avaliativa, tendo como exemplo o caso do Chile. Por fim, examinamse os efeitos que a formação da cultura avaliativa pode ter sobre o sistema educacional, assim como sobre o debate político e público em geral. 1. O conceito de avaliação e os programas nacionais de avaliação do rendimento escolar O conceito de avaliação converteu-se em um dos elementos centrais do discurso educacional da atualidade. No entanto, como seu significado está longe de ser unanimemente aceito, será adotada aqui uma conceituação, para efeito desta exposição, que diz respeito ao seu entendimento como processo para a determinação do valor ou mérito de um objeto educacional submetido à avaliação, qualquer que seja ele. Isso implica identificação, análise e aplicação de critérios ou padrões determinados para avaliar a qualidade, a utilidade, a efetividade ou o significado do objeto em questão. O processo avaliativo emprega métodos de averiguação e juízo que incluem: • a determinação de critérios ou padrões para julgar o valor ou mérito, especificando se eles serão absolutos ou relativos; * Erika Himmel König é pesquisadora e professora catedrática da Pontifícia Universidade Católica do Chile. 81 Cadernos Cenpec 2007 n. 3 • a coleta de informação relevante; • a aplicação dos critérios ou padrões para determinar o valor ou mérito, qualidade, utilidade, efetividade ou significado do objeto em questão. Todo esse processo culmina com recomendações que orientam as ações necessárias para melhorar a qualidade, a utilidade, a efetividade ou o significado do objeto avaliativo, neste caso, sempre de caráter educacional. A avaliação é aplicada agora a aspectos muito variados, para averiguar, por exemplo, a aprendizagem dos alunos, a competência dos professores ou a qualidade das instituições escolares, dos planos e programas educacionais, dos programas de inovação pedagógica, das reformas educacionais e da própria educação. Na presente década, os programas nacionais para avaliar a aprendizagem ou o rendimento dos alunos têm adquirido especial relevância. Esta tendência encontra suas raízes em diversos fatores que têm contribuído para a implantação desses programas. De um lado, durante várias décadas, os países centraram todos os seus esforços na expansão da cobertura dos sistemas de Educação, o que significou que a ênfase das políticas educacionais e dos investimentos no setor esteve focada nos instrumentos. Em outras palavras, construíram-se mais escolas e se contrataram mais professores para oferecer acesso à educação a toda a população em idade escolar. No entanto, uma vez conquistado esse objetivo, surgiu a necessidade de se conhecer os resultados do esforço empregado. Sobretudo, porque se detectou, nos países em que o problema de cobertura foi sendo gradualmente solucionado, que a expansão dos sistemas educacionais foi realizada à custa da qualidade do serviço educativo, já que os investimentos requeridos superavam amplamente suas possibilidades econômicas. Dessa forma, desponta um forte interesse político e público por indagar o que efetivamente os alunos aprendem na escola. Esta inquietação é reforçada pela Declaração Mundial sobre Educação para Todos (Unesco, 1990, art. 4 – Concentrar a atenção na aprendizagem), que assinala: A tradução das oportunidades ampliadas de educação em desenvolvimento efetivo — para o indivíduo ou para a sociedade — dependerá, em última instância, de, em razão dessas mesmas oportunidades, as pessoas aprenderem de fato, ou seja, apreenderem conhecimentos úteis, habilidades de raciocínio, aptidões e valores. 82 De outro lado, a economia exerce pressão cada vez maior sobre a educação, conseqüência do aumento do livre comércio e da concorrência entre as nações. Estas exigem mão-de-obra cada vez mais qualificada para atender ao lucro e à competitividade. Assim, recupera-se a confiança na educação como alicerce para o desenvolvimento do que se consagrou chamar de “capital humano”, uma das dimensões cruciais no desenvolvimento das economias (Kellaghan, 1997; Tiana, 1999). Coexistência de sistemas A decisão de organismos internacionais (BID – Banco Interamericano de Desenvolvimento, OEA – Organização dos Estados Americanos, Banco Mundial, por exemplo) de oferecerem apoio financeiro ao setor educacional, tendo como contrapartida a demonstração de seu impacto sobre a melhoria dos vários sistemas educacionais, tem contribuído para impulsionar os programas de avaliação em andamento (Lockheed, 1992). Nesse contexto, os sistemas nacionais de avaliação têm avançado, permitindo: • adquirir informações acerca do êxito das metas educacionais; • identificar variáveis internas e externas ao sistema que explicam as desigualdades nos resultados; • prever com segurança o funcionamento do sistema no futuro; • proporcionar indicadores sobre os itens mais pertinentes do sistema. Os sistemas de avaliação compreendem, em geral, a aplicação de provas ou testes referentes ao êxito das aprendizagens esperadas nas áreas do conhecimento constituintes do currículo escolar, complementadas ocasionalmente com questionários sobre variáveis potencialmente explicativas da variabilidade dos resultados, que são disseminados entre os agentes educacionais diretos e indiretos. Entre os propósitos assinalados mais freqüentemente para esses sistemas de avaliação, destacam-se: • instituir e avaliar políticas educacionais; • avaliar programas educacionais específicos; • acompanhar as mudanças sobre os resultados educativos ao longo do tempo; • responsabilizar professores, escolas, regiões e outras subdivisões administrativas pelas aprendizagens alcançadas pelos estudantes; Cadernos Cenpec 2007 n. 3 • selecionar e distribuir os alunos por níveis educacionais superiores; • atestar o êxito da aprendizagem dos estudantes; • proporcionar dados aos pais e responsáveis sobre a qualidade da educação oferecida pelas escolas; • diagnosticar necessidades de aprendizagem. Como é muito difícil, senão impossível, atingir todos esses propósitos por meio apenas de um sistema de avaliação, freqüentemente coexistem dois ou mais sistemas com intenções diferentes (Lockheed, 1996; Greaney; Kellaghan, 1996). Em todo caso, espera-se que um sistema, ou programa, que se proponha a alcançar alguns dos propósitos enunciados: • contribua para uma melhor compreensão do funcionamento do sistema educacional; • proporcione as orientações necessárias para as tomadas de decisão de diversos atores em diferentes níveis; • auxilie na melhoria da qualidade do serviço educativo. Ou seja, supõe-se que a avaliação do rendimento escolar tenha um impacto sobre o próprio sistema educacional que vá muito além de proporcionar informação sobre si mesmo. Espera-se que as informações orientem decisões que conduzam a ações efetivas, que, por sua vez, possam ser avaliadas pelos próprios sistemas, sempre que difundidas clara e oportunamente, bem como que o programa, ou sistema, demonstre estabilidade ao longo do tempo. 2. A “cultura avaliativa” O termo “cultura” encerra um conceito polissêmico e complexo. Mais ainda se combinado com o de avaliação no âmbito educacional. Sem pretensão reducionista, mas no afã de chegar a um acordo para estimular a discussão, propõe-se entender por “cultura avaliativa” a combinação adicional de ações avaliativas formais que se difundem com a aplicação dos resultados de tais avaliações, para as tomadas de decisão e para o reconhecimento social da relevância da informação avaliativa. Em outros termos, propõe-se a seguinte equação: Cultura Avaliativa Difusão das ações avaliativas + Aplicação dos resultados + Relevância social da informação 83 Já se mencionou que as ações avaliativas podem ser aplicadas com diferentes finalidades, mas, neste caso, o foco é a avaliação da aprendizagem dos alunos. Dependendo de quais sejam os objetivos de um sistema de avaliação do rendimento escolar, eles podem ter impacto em diferentes áreas ou setores, porém, alguns deles têm efeito sobre o próprio sistema de avaliação. O diagrama 1 sintetiza isso: DIAGRAMA 1 ÁREAS DE INFLUÊNCIA DOS PROGRAMAS NACIONAIS DE AVALIAÇÃO DO RENDIMENTO ESCOLAR Políticas educacionais locais Gestão pedagógica das escolas Política nacional de Educação Programas Nacionais de Educação Reformas educacionais Programas educacionais Decisões dos professores Decisões dos pais Decisões dos alunos Desse modo, se um programa de avaliação do rendimento escolar tem o objetivo de gerar informações para instituir e avaliar políticas educacionais e monitorar os resultados educativos, os resultados da avaliação podem influir na proposta de novas políticas educativas, que incluam, por exemplo, reformas educacionais. É possível, ainda, que tenha efeitos sobre a gestão pedagógica das escolas, assim como em relação às decisões adotadas pelos professores referentes à condução do processo educativo. Por outro lado, a implementação de uma reforma educacional pode gerar uma necessidade avaliativa específica que influa nas características de um programa nacional de avaliação. Em outras palavras, as diferentes áreas que sofrem a influência de um programa de avaliação podem, por sua vez, incidir sobre ele, gerando novas necessidades avaliativas. Cadernos Cenpec 2007 n. 3 Cabe assinalar, contudo, que esses efeitos estão diretamente relacionados à utilização efetiva dos resultados das avaliações para as tomadas de decisão, o que nem sempre ocorre. Na literatura especializada, diversos autores (Alkin; Daillak; White, 1979; Alkin, 1985; Brown; Newman; Rivers, 1985) reconhecem duas formas de conceituar o uso das informações, quais sejam: • a denominada “perspectiva da corrente principal (mainstream perspective)” e • a “concepção alternativa”. A primeira concebe esse uso como o impacto direto e rápido da informação avaliativa sobre o sistema ou programa educacional — em geral, o objeto da avaliação. Dessa forma, o uso é caracterizado como um evento e não como um processo, susceptível de ser iniciado desde o momento em que se planeja um sistema de avaliação. A dimensão desse uso é, assim, desmembrada em duas categorias principais: uso versus não-uso. Aderir a esta corrente implica presumir que se aceita a utilização da avaliação somente quando ela produz efeitos, como: introdução de reformas educacionais imediatas, troca de um programa por outro ou modificações drásticas nas estratégias pedagógicas. Essas ações radicais não ocorrem necessariamente, já que há um conjunto de fatores que condiciona o emprego da informação avaliativa e depende das características do processo de avaliação e dos resultados proporcionados. Deve-se considerar ainda que as tomadas de decisão são influenciadas por outros fatores, além dos resultados de avaliações. King e Pechman (1984), numa tentativa de aclarar essa concepção de uso, indicam que, em sua base, encontramse alguns pressupostos questionáveis, como: 84 • considerar que as decisões podem ser adotadas de um modo classicamente racional, sem considerar as variáveis políticas, sociais e organizacionais que nelas influem; • entender que a informação avaliativa constitui o único fator desencadeante de efeitos imediatos e observáveis (o mito do Big Bang); • supor que a qualidade dos informes avaliativos é condição suficiente para seu uso cabal; • julgar que a colaboração ativa entre os avaliadores e os responsáveis pelas decisões incrementará necessariamente o uso. O impacto da avaliação não é imediato A esse respeito, pode-se mencionar que os gestores do Programa de Avaliação do Rendimento que se desenvolveu no Chile, entre 1982 e 1984, começaram a operação do programa justamente com a adoção da maioria desses pressupostos, já que supuseram, erroneamente, que, a partir de tal informação, professores, diretores e autoridades educacionais conceberiam propostas de ação de vulto, mediante um processo de autogestão e autocontrole. No entanto, logo se deram conta da fragilidade dos pressupostos mencionados e aderiram à concepção alternativa. Outro exemplo que ilustra esse posicionamento encontra-se em Schiefelbein (1992, p. 264), que julga o impacto do Programa de Avaliação do Rendimento apenas pela constatação de que os resultados alcançados pelos alunos não apresentaram variações significativas em um período, assinalando o seguinte: “...esses antecedentes demonstram que as expectativas acerca da melhoria dos rendimentos acadêmicos são demasiado elevadas”. Por sua vez, o enfoque alternativo do uso da informação avaliativa é concebido como um processo gradual, no qual essa informação, acompanhada de outros antecedentes, pode gerar pequenas ações que modificam paulatinamente a situação inicial detectada. Dessa perspectiva, o impacto da avaliação não é imediato, podendo demorar anos e ocorrer em combinação com outras informações contextuais, ou sob diferentes circunstâncias, o que resulta na possibilidade de adoção de significados diversos em distintos tempos (Braskamp, 1982). Cadernos Cenpec 2007 n. 3 King e Pechman (1984) explicam que é possível reconhecer ao menos três níveis de uso da informação avaliativa: • simbólico ou persuasivo; • conceitual; • instrumental. A eles, pode-se agregar uma quarta categoria de “não-uso instrumental”. A relação entre produção de dados avaliativos, informações contextuais e seu emprego como instrumento para as tomadas de decisão é sintetizada no Quadro 1. Quando o emprego dos resultados das avaliações se situa no nível simbólico ou persuasivo, é utilizado com fins pessoais. Por exemplo, os resultados de uma avaliação podem ser usados por um diretor de escola para justificar seu bom desempenho, dando-lhe um pretexto que irá colaborar para sua permanência no cargo. Esta modalidade exige, assim, uma análise do contexto em que opera, para avaliar adequadamente as intenções positivas ou negativas subjacentes. Nesse caso, a avaliação é empregada mais como justificativa para certas decisões do que como instrumento para embasá-las e, às vezes, costuma ser usada nesse sentido por razões político-administrativas. Pode-se ainda incluir, nesse primeiro nível, um efeito dos sistemas de avaliação do rendimento amplamente discutido na literatura (Greaney; Kellaghan, 1996), que é sua influência no ensino. Na verdade, nenhuma aplicação externa de provas é neutra. E os professores, quando percebem, de algum modo, a importância dos resultados dos testes, começam a orientar o processo de ensino principalmente para os conteúdos e objetivos requeridos nas provas, acabando por justificar sua forma de abordar o currículo escolar a partir do que as provas contemplam. Entretanto, o uso conceitual implica que a avaliação deve provocar, no usuário, uma reflexão mais detida acerca do objeto da avaliação, de forma que ele possa reconhecer que existem acertos e dificuldades para sua implementação, levando-o, assim, a uma mudança de postura, processo que pode, em longo prazo, estimulá-lo a tomar algumas decisões mais específicas. Por exemplo, o diretor de uma escola pode atribuir o baixo desempenho em uma avaliação do rendimento à falta de empatia dos alunos com os professores. Diante dessa conclusão, ele convoca os professores para uma jornada de discussões, na tentativa de buscar as causas do problema. Este exemplo mostra que, mesmo sem empre- QUADRO 1 SISTEMA NACIONAL DE AVALIAÇÃO DO RENDIMENTO ESCOLAR Sistema Nacional de Avaliação do Rendimento Escolar Produz: Informação avaliativa Informações contextuais Usuários diretos Usuários potenciais Informações contextuais Usos da informação avaliativa Não-uso “Não-uso instrumental” Uso com fins pessoais Uso simbólico Mudanças de atitude Consolidação de novas atitudes Influência gradativa e algumas decisões de longo prazo Uso conceitual Níveis de uso 85 Cadernos Cenpec 2007 n. 3 Tomadas de decisão específicas de curto prazo Inovação ou mudança Uso instrumental ender ações específicas, a informação instigou o usuário a uma reflexão sobre o tema, a qual, eventualmente, poderá traduzir-se em pequenas ações, como promover encontros informais entre professores e alunos. Por sua vez, a concepção do uso como instrumental acontece quando se pode reconhecer claramente que as informações geradas pela avaliação constituem a base e estão diretamente vinculadas às decisões tomadas por seu usuário. Empregando o mesmo exemplo anterior, se o diretor decidir consultar sistematicamente as opiniões dos alunos sobre os aspectos que consideram positivos e negativos na escola, para implantar um programa destinado a melhorar a relação dos alunos com os professores, estará utilizando instrumentalmente a informação proporcionada pelo sistema de avaliação. Por fim, quando a informação é conscientemente descartada pelos usuários, ela pode ser denominada de “nãouso instrumental”. Digamos, por exemplo, que o informe dos resultados de uma avaliação de rendimento mostre que os alunos de um município obtiveram um desempenho extremamente baixo em ortografia, na 4ª série, e o departamento técnico-pedagógico considere que ortografia não é um objetivo educativo fundamental para essa série. Então, ainda que tome ciência do fato, provavelmente o departamento não empreenderá qualquer ação para melhorar o êxito dos alunos nessa disciplina. Ao analisar o uso da informação de acordo com esse modelo, é possível reconhecer os efeitos de um sistema nacional de avaliação da aprendizagem, que pode desdobrar-se em múltiplas ações, não necessariamente com rápida melhoria dos rendimentos. Ainda assim, tais intervenções podem levar, em médio ou longo prazo, a uma melhora da aprendizagem dos alunos. Instaurar uma cultura avaliativa implica levar a cabo avaliações educativas formais e periódicas, assim como gerar e difundir uma estratégia de divulgação de seus possíveis usos, seja em relação à aprendizagem, seja no que diz respeito à competência profissional dos professores. Esta também é uma forma de demonstrar a relevância social da informação avaliativa. 3. Fatores que facilitam ou inibem o desenvolvimento de uma cultura avaliativa É possível reconhecer quatro fatores principais: • a tradição avaliativa do país; 86 • as políticas educacionais; • a legislação ou as normas; • as estratégias e formas de divulgação de resultados. Eles podem atuar nos dois sentidos, contribuindo ou dificultando o desenvolvimento da cultura avaliativa. DIAGRAMA 2 FATORES QUE FACILITAM OU INIBEM O DESENVOLVIMENTO DE UMA CULTURA AVALIATIVA Tradição avaliativa Políticas educacionais Cultura Avaliativa Normas sobre avaliação Estratégias e formas de divulgação A tradição avaliativa do país Este fator relaciona-se basicamente à freqüência com que se realizam ações avaliativas em um país, e também aos recursos humanos qualificados disponíveis para concretizá-las. Com efeito, passar muitos anos tentando realizar ações avaliativas que envolvam massivamente alunos, pais e professores aumenta a probabilidade de gerar uma cultura avaliativa. Isso não quer dizer necessariamente que ela será bem-sucedida, tampouco que o esforço empreendido terá apoio permanente. No entanto, é requisito básico que essas ações avaliativas sejam implementadas, em todas as ocasiões, por profissionais competentes e com credibilidade para a opinião pública. Em apresentações sobre os sistemas de avaliação desenvolvidos no Chile, foram mencionadas fundamentalmente três experiências cuja base era esse fator facilitador: • o Sistema de Ingresso à Educação Superior, vigente no país desde 1967; • o Programa de Avaliação do Rendimento Escolar (PER – Programa de Evaluación del Rendimiento Escolar), realizado entre 1982 e 1984; • o Sistema Nacional de Medição da Qualidade da Educação (SIMCE – Sistema Nacional de Medición de Calidad de la Educación), que vigora desde 1989 (Himmel, 1997). Cadernos Cenpec 2007 n. 3 A essas iniciativas, podem ser agregadas, no caso do Chile, outras, ocorridas em um período mais extenso. A esse respeito, pode-se assinalar que as primeiras tentativas ocorreram em princípios da década de 1930. Foram realizadas por um conjunto de educadores, os quais fizeram pós-graduação na Europa e nos Estados Unidos. Elas consistiram na adaptação e na elaboração de numerosas provas escolares (Aritmética, Ortografia, vocabulário, leitura silenciosa e compreensão de texto, História, Geografia e outras disciplinas), ministradas a aproximadamente 10 mil alunos. Também se pode mencionar a Prova Nacional, aplicada, entre 1966 e 1968, por uma equipe de especialistas do Ministério da Educação do Chile. Na Colômbia, México e Costa Rica, há 30 ou 40 anos, especialistas também realizam um trabalho nessa área, que se tem desenvolvido mais nos últimos dez anos. Como se pode verificar, a tradição leva à formação de uma cultura avaliativa, desde que a atividade seja mantida ao longo do tempo. Políticas educacionais Outro fator que contribui para a geração de uma cultura avaliativa são as políticas educacionais que promovem ações nesse sentido. Pode-se afirmar que, quando contemplada em uma política educacional, a avaliação certamente passa a ser aplicada e, eventualmente, utilizada para as tomadas de decisão. Alguns exemplos confirmam isso, como a Reforma Educacional realizada no Chile, em 1965, que implicou uma mudança no ensino básico, nos planos e programas, no enfoque do processo educativo e na continuidade dos estudos no ensino médio (a Prova Nacional tinha como propósito encaminhar os estudantes para o ensino médio ou profissionalizante). Por sua vez, a descentralização administrativa do sistema educacional é a origem do Programa de Avaliação do Rendimento Escolar e do Sistema Nacional de Medição da Qualidade da Educação. No entanto, convém assinalar também que, no caso do primeiro, a política educacional foi formulada e implementada de forma incompleta. Na verdade, o Programa de Avaliação do Rendimento Escolar foi concebido, sobretudo, como um sistema de avaliação massiva que desencadearia ações de melhoria desde a base, que são as escolas, sem, contudo, an- 87 gariar apoio técnico e econômico do Ministério da Educação, que autorizara a execução das ações. Esta carência foi remediada no caso do Sistema Nacional de Medição, já que ele foi acompanhado de numerosos programas de apoio às escolas cujos alunos demonstrassem os rendimentos mais baixos (Himmel, 1997). A legislação ou as normas Este é o fator que legitima a avaliação. Tanto no caso da Prova Nacional, quanto no do Programa de Avaliação do Rendimento Escolar, não houve uma legislação ou norma definida que regulasse sua obrigatoriedade, características, periodicidade etc. Já em relação ao Sistema Nacional de Medição da Qualidade da Educação e ao Sistema de Ingresso à Educação Superior, existem disposições a respeito. O primeiro encontra-se oficialmente reconhecido em uma das leis orgânicas sobre educação, e o segundo, pela normativa do Conselho de Reitores das universidades que recebem subsídios estatais. Além disso, uma parte desse sistema de avaliação — a Prova de Aptidão Acadêmica — encontra-se vinculada ao financiamento universitário pela legislação vigente. Nestes últimos exemplos, vê-se que a legislação e/ou a normativa contribuíram para a continuidade e a legitimidade dos sistemas de avaliação que, por sua vez, facilitaram o desenvolvimento da cultura avaliativa. As estratégias e formas de divulgação de resultados Este último fator tem efeito decisivo para a formação da cultura avaliativa. Como mencionado anteriormente, ela tem dois componentes: as ações de avaliação e o uso da informação. Ainda que eles atuem principalmente na realização das ações de avaliação, as estratégias e formas de divulgação de resultados incidem mais especificamente sobre o uso da informação produzida. Na verdade, se a informação gerada pelos processos avaliativos não for divulgada ou acabar sendo disseminada por meio de uma estratégia equivocada, dificilmente poderá ser utilizada nas tomadas de decisão. A divulgação compreende ao menos quatro fases: • antes do processo avaliativo; • durante o processo; • para demonstrar os resultados; • de continuidade. Cadernos Cenpec 2007 n. 3 Antes do processo A difusão prévia tem o propósito de informar acerca dos objetivos, características e etapas do processo. Trata-se de uma fase de sensibilização dos que serão afetados e envolvidos pela avaliação. Pode-se pensar que, uma vez que um programa ou sistema de avaliação se encontre instaurado, esta etapa não seja necessária. No entanto, esses sistemas não são estáticos. São dinâmicos e passíveis de mudanças ao longo do tempo, no que se refere, por exemplo, a conteúdos, modalidades, prazos, público-alvo, abrangência etc., de modo que sempre é necessário sensibilizar os envolvidos. Assim, no Sistema Nacional de Medição da Qualidade da Educação, a informação anterior ao processo costuma consistir nas seguintes ações: • Distribuição de um folheto aos estabelecimentos de ensino, quatro meses antes da aplicação das provas, com descrição dos objetivos, relação de datas e comunicado de que, posteriormente, haverá explicações mais técnicas. • Envio de um informativo aos pais dos alunos, descrevendo os objetivos do Sistema, as datas das provas e anunciando a importância de sua participação, com o objetivo de despertar neles o interesse pelo programa e de obter sua cooperação, em parceria com os colégios, na formação dos filhos. • Produção de um vídeo de cerca de 15 minutos, com caráter eminentemente motivacional, divulgado primeiro aos supervisores, que, posteriormente, multiplicarão a informação, repassando-a a diretores e professores. Seus objetivos principais: - contribuir com o desenvolvimento de uma atitude positiva em relação ao programa nos diferentes níveis do sistema educacional; - promover seus fundamentos e propósitos de maneira compreensível para todos; - apoiar as atividades de divulgação realizadas pelas equipes de supervisores em nível local. • Distribuição de cartazes alusivos ao programa em todas as escolas e lugares públicos, algumas vezes acompanhados de um calendário do ano. • Difusão nacional de um programa de TV, com ampla cobertura jornalística do processo. • Disseminação dos aspectos técnicos do programa a professores e diretores, por meio de um folheto, 88 detalhando os fundamentos do Sistema, a forma de elaboração dos instrumentos de medição empregados e suas características técnicas, e exemplos dos objetivos e das questões das provas. Além disso, o preparo de um conjunto de transparências para divulgação local pode auxiliar nas palestras realizadas pelos supervisores. Durante o processo A finalidade de transmitir a informação durante o processo de avaliação objetiva é chamar a atenção de toda a opinião pública para o processo em andamento. No Sistema Nacional de Medição da Qualidade da Educação, a fim de que os meios de comunicação se encarreguem da difusão, normalmente se elaboram comunicados para a imprensa, divulgados no dia anterior ao início da aplicação das provas. Além disso, as autoridades superiores do Ministério da Educação, incluindo o ministro, visitam e se mostram presentes nos locais de aplicação no dia em que começa o processo. Comunicação dos resultados No que diz respeito à disseminação de resultados, é necessário advertir que ela deve condizer com cada público específico e, sobretudo, ser feita em momento oportuno. É necessário distinguir, ao menos, a informação voltada às autoridades daquela dirigida aos professores, aos pais, aos especialistas em avaliação e à opinião pública. O tipo de informação fornecido a cada público depende do grau de desenvolvimento da cultura avaliativa. Dessa maneira, se tal cultura se encontrar em uma etapa muito incipiente, será necessário proporcionar uma informação mais simples, mas nunca simplista. Ao contrário, à medida que a cultura avaliativa se mostrar mais desenvolvida, poder-se-á difundir uma informação cada vez mais sofisticada, sempre se levando em conta o nível de conhecimento dos diferentes públicos. Como o tipo de informação que se divulga também muda ao longo do tempo, é necessário incorporar manuais de interpretação ao programa de disseminação de resultados e, ainda, no caso dos sistemas de avaliação da aprendizagem, manuais com orientações pedagógicas. Cadernos Cenpec 2007 n. 3 Continuidade A continuidade do programa também requer um processo de divulgação. Basicamente, trata-se de disseminar as ações empreendidas pelos diferentes agentes para superar rendimentos insuficientes e monitorar o uso dos resultados. No Chile, por exemplo, foi elaborado um índice de vulnerabilidade educacional baseado nos resultados do Sistema Nacional de Medição da Qualidade da Educação, o qual tem servido para destinar recursos e apoio às escolas com resultados mais deficitários de seus alunos. Uma das iniciativas consistiu em projetos de melhoria educacional, formulados pelas escolas a partir de um diagnóstico de suas necessidades educativas. Os resultados da execução desses projetos são divulgados em publicações e exposições. É ainda importante assinalar que nenhum desses quatro fatores é suficiente, por si, para gerar uma cultura avaliativa. Não basta, portanto, que um país disponha de uma tradição em avaliação, de uma legislação que a promova ou ainda de políticas educacionais que a incentivem. São necessários todos esses fatores e, mais especificamente, a forma ou a estratégia de divulgação, que é o que permite fazer os diferentes atores assimilarem a cultura avaliativa. Efeitos da cultura avaliativa sobre o sistema educacional e sobre o debate político e público em geral A cultura avaliativa pode produzir um efeito virtuoso ou um círculo vicioso sobre o sistema educacional e sobre o debate político e público. O efeito virtuoso acontece quando há melhoria no serviço educativo, de acordo com o consenso sobre o significado de “melhoria”, traduzido freqüentemente em priorizar a área da Educação e em lhe destinar mais recursos. Outro efeito positivo que deriva da cultura avaliativa é que os critérios ou padrões para julgar o desempenho dos alunos são mais bem definidos e com expectativas mais elevadas, o que contribui para que os educandos adquiram conhecimentos úteis e atualizados, maior habilidade de pensamento, destrezas mais complexas e valores, em conformidade com a declaração da Unesco de 1990. Dessa forma, conquistam-se recursos humanos melhores, ou seja, desenvolve-se um “capital humano” cada vez mais valioso. Por sua vez, o círculo vicioso se produz quando os resultados da avaliação se traduzem meramente em um trabalho para lograr alcançar o que o sistema de avaliação 89 pretende explicitamente. É claro que nenhum sistema de avaliação pode abarcar todos os propósitos e diferentes aspectos do processo educativo, portanto, sempre proporcionará uma visão parcial. Em outros termos, os alunos aprendem o que o sistema de avaliação pretende; os diretores contratam os professores que obtêm os melhores resultados de seus alunos; e os pais, quando podem, escolhem as escolas para os filhos de acordo com este mesmo critério. Este último efeito leva à conquista não das metas educacionais nacionais, e sim das contempladas no sistema de avaliação, pois tudo o que não é considerado no sistema ou programa é relegado a segundo plano ou simplesmente suprimido, já que é menos importante, tornando, assim, a educação desvirtuada e empobrecida. Com esta síntese, espera-se haver alcançado o objetivo de estimular o debate acerca da cultura avaliativa, dos fatores que a promovem e dos efeitos que pode ter. Referências ALKIN, M. The feasibility of measuring educational attainment in chilean schools. Consultant Report, Santiago, n. 8, 1981. ALKIN, M. C. A guide for evaluation decision makers. Beverly Hills: Sage Publications, 1985. ALKIN, M. C.; DAILLAK, R.; WHITE, P. Using evaluations: does evaluation make a difference? Beverly Hills: Sage Publications, 1979. BRASKAMP, A. L. A definition of use. Studies in Educational Evaluation, v. 8, n. 2, p. 169-74, 1982. BROWN, R. D.; NEWMAN, D.; RIVERS, L. An exploratory study of contextual factors as influences on schoolboard evaluation information needs for decisionmaking. Educational Evaluation and Policy Analysis, v. 7, n. 4, p. 437-45, 1985. GREANEY, V.; KELLAGHAN, T. Monitoring the learning outcomes of education systems: directions in development. Washington, DC: World Bank, 1996. HIMMEL, E. Impacto social de los sistemas de evaluación del rendimiento escolar. In: ALVAREZ, B.; RUIZ-CASARES, M. (Ed.). Evaluación y reforma educativa: opciones de política. Santiago de Chile: Preal, 1997. KELLAGHAN, T. Seguimiento de los resultados educativos nacionales. In: ALVAREZ, B.; RUIZ-CASARES, M. (Ed.). Evaluación y reforma educativa: opciones de política. Santiago de Chile: Preal, 1997. KING, J. A.; PECHMAN, E. M. Pinning a wave to the shore: conceptualizing evaluation use in school systems. Educational Evaluation and Policy Analysis, v. 6, n. 3, p. 241-51, 1984. LOCKHEED, M. E. World Bank support for capacity building: the challenge of educational assessment. Washington, DC: World Bank, 1992. LOCKHEED, M. International context for assessments. In: MURPHY, P.; GREANY, V.; LOCKHEED, M.; ROJAS, C. (Ed.). National assessments: testing the system. Washington, DC: World Bank, 1996. SCHIEFELBEIN, E. Análisis del SIMCE y sugerencias para mejorar su impacto en la calidad. In: GÓMEZ, S. (Ed.). La realidad en cifras: estadísticas sociales. Santiago de Chile: FLACSO/INE/UNRISD, 1992. TIANA, A. La evaluación y la calidad dos cuestiones sometidas a discusión. Ensaio: Avaliação e Políticas Públicas em Educação, v. 7, n. 22, p. 26-46, 1999. UNESCO. World Declaration on Education for All. Meeting Basic Learning Needs. In: WORLD CONFERENCE ON EDUCATION FOR ALL, 1990, Jomtien, Thailand. Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: PAE - PROGRAMA DE AUMENTO DA ESCOLARIDADE Ensino para jovens em áreas vulneráveis Maria Amábile Mansutti Liliane Petris* O PAE – Programa de Aumento da Escolaridade 1 consiste na oferta de curso de complementação da escolaridade de ensino fundamental, direcionado para populações beneficiadas pelo Programa de Urbanização de Assentamentos Populares do Rio de Janeiro – PROAP II. Abrangeu 53 comunidades, localizadas nas zonas Sul e Norte da cidade do Rio de Janeiro, caracterizadas como regiões com altos índices de violência social. A execução do Programa esteve a cargo das secretarias municipais de Assistência Social e da Educação do Rio de Janeiro, em parceria com organizações da sociedade civil — Amebras - Associação de Mulheres Empresárias do Brasil, Cieds - Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável, DC Brasil, Viva Rio — e com o Cenpec - Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária, que teve a função de monitorar e avaliar seu desenvolvimento. Em sua concepção original, o PAE caracterizava-se como um programa multissetorial, que incluía educação e proteção social. Apostava-se numa ação que visava ao aumento da escolaridade e ao desenvolvimento de condições favoráveis para a inserção do jovem no mundo do trabalho, da cultura, das relações sociais, e sua maior inclusão na vida das comunidades e da cidade do Rio de Janeiro. Embora o PAE já houvesse sido desenvolvido anteriormente, por meio de telecurso, a versão 2004/5 apresentava características inovadoras que conferiam ao Programa um caráter inédito em termos de complementação de escolaridade na modalidade Educação de Jovens e Adultos. O diferencial da nova proposta, em relação aos cursos de suplência oferecidos pelas escolas públicas, estava no fato de o PAE trabalhar em espaços comunitários onde se alocava um público que, por diversas razões, inclusive de segurança, não teria condições de freqüentar escolas das redes públicas de ensino. Para desenvolver o monitoramento e avaliação do PAE, o Cenpec formulou o Projeto Educação de Base Comunitária para Jovens da Cidade do Rio de Janeiro, que cobriu a implantação do Programa, iniciada em 2004, e seu desenvolvimento até julho de 2005. O projeto aliou acompanhamento diagnóstico e formativo, gerando ações de formação e um plano de monitoramento e avaliação para aferir a efetividade do processo e a eficácia de alguns resultados. Monitorar e avaliar o desenvolvimento de uma ação educativa inovadora, como o PAE, representou uma oportunidade singular para a produção de análises e reflexões acerca de possibilidades, variações, riscos e acertos na oferta de cursos de complementação de escolaridade e para o avanço de uma discussão nacional sobre a necessidade de garantir a escolaridade fundamental completa para todos os brasileiros. O PAE atingiu, em março de 2004, um total de 2.748 estudantes; porém, esse número foi se modificando no decorrer do ano letivo. Assim, em junho, freqüentavam o PAE 4.075 estudantes e, em setembro, 3.833. Em 2005, estavam previstas 156 turmas, totalizando 4.590 estudantes — 1.140 para duas organizações parceiras e 1.155 para as outras duas. Em fevereiro de 2005, havia 4.336 estudantes e, em junho, 14.459. Monitoramento e avaliação no PAE * Maria Amábile Mansutti é pedagoga, integrante da equipe de assessores do CENPEC. Coordenou o projeto de monitoramento e avaliação do programa Aumento de Escolaridade em 2005/2006. Liliane Petris Batista é historiadora, mestre pela Faculdade de Educação da USP. No CENPEC, integra a equipe de monitoramento e avaliação do programa Território Escola. 90 Todo projeto que pretenda introduzir novos nexos, objetivos, estratégias e formas organizacionais exige o monitoramento de sua implementação e a avaliação do processo e de seus resultados, em função dos objetivos Cadernos Cenpec 2007 n. 3 que pretende atingir. Assim, o objetivo principal do plano de monitoramento e avaliação, proposto para o PAE, foi aferir a consistência e aderência do Programa durante o seu desenvolvimento. O PAE introduzia alguns diferenciais na oferta de escolaridade aos jovens e adultos, sobretudo no que se referia aos aspectos institucionais e pedagógicos. Por isso, a metodologia proposta para desenvolver o monitoramento e a avaliação adotou uma abordagem participativa e formativa, que possibilitou a percepção das transformações ocorridas durante o processo, a ampliação e a consolidação da autonomia e dos conhecimentos produzidos pelos diferentes sujeitos e instituições envolvidas. Alguns princípios orientaram o plano de monitoramento e avaliação: • Abrangência, no sentido de contemplar diretrizes estabelecidas no Programa, resultados não previstos e atuação dos segmentos envolvidos, abarcando diferentes percepções e pontos de vista. • Constituição de um processo formativo que proporcione, aos segmentos participantes, elementos para o aprimoramento de concepções e práticas. • Garantia da participação das instâncias executoras, de modo a aprimorar a formação de quadros profissionais envolvidos. • Realismo e exeqüibilidade no tocante às condições técnicas e operacionais das instituições executoras, para que possa se tornar um pilar de sustentação do Programa. • Valorização das iniciativas da Secretaria Municipal de 91 Educação do Rio de Janeiro, na área da Educação de Jovens e Adultos, sem colocar em segundo plano nem descuidar das dimensões de proteção e inclusão social, base substantiva do PAE. A avaliação e o monitoramento desenvolvidos no PAE tinham uma dupla função: sustentar o processo de formação de jovens e adultos, de professores, coordenadores, supervisores e instituições parceiras e, ao mesmo tempo, fazer uma avaliação processual que permitisse identificar obstáculos e elementos facilitadores, assim como o grau de adesão e resistência dos diferentes sujeitos envolvidos. Para tanto, o Cenpec elaborou instrumentos de coleta de dados, que foram submetidos à aprovação das secretarias e das organizações parceiras e possibilitaram a obtenção de informações e a produção de análises para a reorientação de ações e planejamentos. Os primeiros dados obtidos sobre o Programa, referentes ao levantamento do perfil de estudantes, professores, técnicos e comunidades, foram discutidos em seminário, do qual participaram representantes de todos os segmentos envolvidos no PAE, o que permitiu um momento de reflexão e um mapeamento inicial do projeto, apontando alguns desafios. Outros dados foram discutidos com os coordenadores das organizações parceiras e com a equipe da SMAS no decorrer do processo. Os dados quantitativos, coletados em 2004, foram enviados em CD para as equipes das secretarias e das Organizações da Sociedade Civil - OSCs. A avaliação abarcou diferentes sujeitos, ligados ao Programa, incluindo estudantes e lideranças comunitárias. Cadernos Cenpec 2007 n. 3 OBJETIVOS, INDICADORES E INSTRUMENTOS. Objetivos Indicadores Instrumentos Avaliar uma alternativa de escolarização para a Educação de Jovens e Adultos – EJA à medida que: Grupos focais com estudantes e professores. - propõe uma nova forma de organização de curso; Utilização das orientações curriculares e materiais de apoio pelos professores. - faz uso de orientações curriculares, material de apoio ao estudante e ao professor, elaborados para atender as especificidades do público-alvo; Grau de satisfação dos alunos em relação ao curso, suas orientações e seus materiais. - apóia-se na interatividade e na ligação entre escola e comunidade. Grau de satisfação dos professores em relação ao curso, orientações, materiais e formação. Relação entre a equipe das organizações parceiras e as lideranças comunitárias. Desenvolver a formação dos estudantes para promover: - novos vínculos com a escolarização (freqüência e interesse); - uso social dos conhecimentos que adquirem no PAE; - continuidade dos estudos. Promover e apoiar a atuação do professor para: - aprimorar seus conhecimentos e vínculos, a fim de que exerça a docência e obtenha informações sobre as características particulares dos estudantes; - despertar seu interesse em discutir critérios de seleção e organização de conteúdos curriculares do PAE; - subsidiar o trabalho docente na construção de um curso que atenda às necessidades do públicoalvo. Apoiar a atuação dos coordenadores, assistentes de coordenação e supervisores das OSCs na: - organização de uma dinâmica de trabalho que garanta planejamento, periodicidade das ações, participação, registro das tarefas, avaliação e intervenções necessárias; - assessoria aos professores nos aspectos pedagógicos. Contribuir para a viabilização de parcerias entre instâncias de governo (SMDS e SME), organizações da sociedade civil e associações de moradores, na implementação de ação política que visa à escolarização de jovens e adultos, de forma que: - possibilite experiência de gestão compartilhada; - garanta condições técnico-pedagógicas de realização do Programa; Registros dos professores (planejamento, avaliações). Relatórios das ações de formação dos professores. Avaliação dos estudantes e instituições parceiras. Relatórios de visita aos núcleos. Número de estudantes inscritos no Programa (3). Ficha de inscrição. Índices de freqüência e evasão. Planilha mensal de freqüência/evasão. Resultados de avaliação por UP. Grau de satisfação em relação ao Programa. Cadastro e perfil dos estudantes. Grupos focais. Índices de aprovação por unidades de progressão. Relatórios de visitas aos locais dos cursos – Cenpec. Número de professores que participaram do Programa (assiduidade, autonomia, abandono). Planilhas de freqüência. Pautas dos encontros de formação. Grau de entendimento, envolvimento e satisfação em relação ao Programa. Presença dos elementos da realidade local nas práticas e nos conteúdos desenvolvidos na sala de aula. Cadastro e perfil dos professores. Grupos focais com estudantes, professores, supervisores e coordenadores. Relatórios da equipe de formação. Observação da sala de aula. Resultados obtidos nas avaliações da aprendizagem dos estudantes. Gestão do Programa: circulação de informações entre as diferentes instâncias envolvidas. Entrevistas com supervisores e coordenadores. Periodicidade do contato com professores e locais dos cursos. Visitas do Cenpec aos locais dos cursos. Formação dos professores: carga horária, periodicidade, pautas. Grupo focal com coordenadores. Disponibilização de materiais. Avaliação do Programa realizada pelos parceiros. Circulação de informações. Periodicidade das reuniões e contatos entre os parceiros. Estabelecimento de acordos entre os parceiros. Intervenções realizadas. - proporcione troca de experiências e ampliação de conhecimentos; - assegure documentação, análise e avaliação da experiência nos aspectos institucionais e pedagógicos. 92 Cadernos Cenpec 2007 n. 3 Análise documental. Avaliação do Programa feita pelos diferentes atores beneficiados (alunos e comunidades). Entrevistas individuais. As análises produzidas focalizaram as seguintes dimensões: • Estudantes – interesse pelo Programa, freqüência, participação, representações sobre a escolaridade; processos de aprendizagem; relações com a comunidade. • Professores – participação, atuação pedagógica adequada à realidade do Programa, representações sobre a escolarização de jovens e adultos. • OSCs – implementação e execução do Programa. • Técnicos do PEJ (SME) – diretrizes pedagógicas do PAE. • Técnicos da SMAS – apoio logístico e acompanhamento do Programa em todas as dimensões (estrutural, organizacional, pedagógica). O processo e os indicadores de avaliação De modo geral, as organizações dão muita importância ao planejamento da ação e reservam um lugar secundário para a avaliação, interpretando-a apenas como justificativa de uma ação ou como procedimento de prestação de contas. Com o plano de monitoramento e avaliação proposto, o Cenpec procurou tratar a avaliação como um processo que permitisse aprimorar as ações e manter uma discussão aberta no que tange aos propósitos, processos e resultados do PAE. Para tanto, foi necessário definir objetivos relacionados às dimensões focalizadas pelo PAE e, para cada um deles, propor um conjunto de indicadores e de instrumentos de coleta de informações que garantisse tanto uma visão de aspectos quantitativos, quanto de qualitativos. Foram utilizadas as seguintes estratégias no levantamento de dados: entrevistas individuais, grupos focais, mapas de desempenho dos estudantes nas avaliações periódicas e finais, questionários estruturados, roteiro de observação local, fichas quantitativas (matrícula, freqüência mensal, evasão). O processo de monitoramento foi retardado pelas dificuldades iniciais para se formular um planejamento conjunto entre Cenpec, SMAS e SME e definir as informações que seriam solicitadas às organizações parceiras, o que provocou uma sobrecarga de trabalho para os coordenadores e os supervisores. Os indicadores foram definidos a partir de parâmetros que orientam o Programa Aumento de Escolaridade, e dos objetivos e estratégias indicados. Eles englobam três categorias: • realidade educativa (estrutura, organização e gestão do Programa; currículo, sistema de avaliação e práticas da sala de aula); • sucesso/fracasso escolar (matrícula, evasão, freqüência, resultados da aprendizagem, certificação no EF); • caminho multissetorial: educação e proteção social, opção básica desenhada neste Programa. Reflexões e indicações sobre a experiência O PAE apresenta-se como um modelo de escolarização para EJA, recomendável para ser implantado em regiões vulneráveis devido à pobreza e riscos sociais, desde que associe efetivamente ações de escolarização e proteção social como opção básica da proposta. Em futuras implantações, é preciso considerar os riscos da descontinuidade. Devido ao alto grau de vulnerabilidade a que está sujeito o público-alvo deste Programa, depois de ingressarem no PAE, dificilmente os estudantes terão condições de organizar a vida pessoal e migrar para as escolas integradas aos sistemas de ensino. Assim, caso não possam continuar no Programa até concluírem o curso, esses grupos certamente estarão fadados a se deparar com um novo fracasso, na tentativa de completarem o ensino fundamental. A experiência do PAE mostrou que o sucesso de sua 93 Cadernos Cenpec 2007 n. 3 implantação apóia-se nos estreitos vínculos estabelecidos entre as instituições gestoras e as comunidades e lideranças locais. Por isso, a gestão precisa considerar e investir em estratégias de articulação entre formuladores, gestores e beneficiários do Programa, para promover a escolarização e a proteção social. Na busca de aprimoramento do modelo organizacional do PAE, será necessário se pensar em mudanças que considerem fatores apresentados nesta análise, sobretudo no que se refere à dramática realidade da suspensão de aulas, propondo uma organização do tempo mais flexível e uma proposta curricular mais orgânica. Assumir essa perspectiva realista não significa reduzir as expectativas em relação à qualidade, mas ter uma visão estratégica coerente com a realidade vivida nesta experiência do PAE. Pode-se pensar num curso que inclua momentos de estudo presenciais e não-presenciais, estruturado em módulos, oficinas e projetos: • Módulos organizados a partir dos conteúdos fundamentais das áreas do currículo, com tempo delimitado e indicação de expectativas de aprendizagem previstas ao término de cada módulo. Atividade presencial desenvolvida três vezes por semana. • Oficinas culturais direcionadas para a ampliação dos conhecimentos e para promover a integração e o convívio dos jovens e adultos. Poderá abarcar eixos como: - a comunicação e a compreensão de diferentes tipos de linguagens – verbal, textual, corporal, fotográfica etc.; - a convivência social – ética, valores, direitos, trânsito nos espaços públicos, solução de conflitos, erradicação de preconceitos culturais e discriminações, conhecimento ajustado de si mesmo, autoconfiança etc.; - o domínio de recursos tecnológicos – informática, tecnologias da informação e da comunicação: TV, vídeo etc.; - o senso estético e a valorização das diferentes formas de arte – música, cinema, teatro, artes plásticas etc. Atividade presencial semanal ou quinzenal. - Projetos desenvolvidos com a perspectiva de aplicar, de forma integrada, os conhecimentos estudados nos módulos e nas oficinas, para investigar problemas ou assuntos de interesse da comunidade local e apontar alternativas para minimizá-los. 94 Muitas questões marcaram o desenvolvimento do PAE; uma das mais relevantes diz respeito à composição de uma parceria inédita, que reuniu a Secretaria de Educação e a Secretaria da Assistência Social; organizações da sociedade civil, como gestoras da ação, e, ainda, uma terceira instituição encarregada de seu monitoramento e avaliação. Com essa composição, a experiência do PAE foi construída baseada em um modelo de gestão articulada que demandou um grau de envolvimento considerável de todos e pressupôs que se criasse um fluxo de informação e divulgação eficiente. Exigiu abertura e disposição para se compreender, de modo consensual, a natureza do Programa e a necessidade de flexibilidade para a tomada de decisões, possibilitando o surgimento de novas idéias e a formulação coletiva de processos e estratégias mais compatíveis com a natureza da ação. A familiaridade e a proximidade, estabelecidas entre a equipe de avaliação e o grupo executivo, reverteram o estranhamento inicial e permitiram ao Cenpec oferecer algumas contribuições para a formação dos professores, a adequação do currículo e a avaliação da aprendizagem, à luz das análises e avaliações produzidas no processo de desenvolvimento do PAE. A experiência de escolarização do PAE é singular e complexa; por isso, exige o compartilhamento de conhecimentos, experiências e visões de diferentes instituições para que se desenvolva de modo satisfatório. Uma parceria, como a estabelecida neste Programa, pressupõe uma nova cultura de gestão compartilhada, que implica possibilidades de diálogo em tempo real; comunicação por escrito, por meio de mensagens curtas e objetivas; e coletivizar o processo de tomada de decisões. No PAE, nem sempre foi possível vivenciar os processos de uma gestão compartilhada como era o desejo de todos, porém, há saldos positivos nessa experiência. O papel desempenhado pela coordenação do Programa, sediada na SMAS, foi fundamental para a efetivação das condições e o apoio administrativo que ofereceu às organizações sociais. Em ações nas quais estejam envolvidas duas ou mais secretarias, aprendemos que é fundamental haver uma divisão clara de atribuições e responsabilidades, com momentos de discussão e reflexão sobre essa ação conjunta e uma instância que faça a intermediação dessa relação e contribua para a resolução e a superação de possíveis obstáculos ou dificuldades. Cadernos Cenpec 2007 n. 3 %MA¿ÍESNASQUAISESTEJAM ENVOLVIDASDUASOUMAIS SECRETARIASAPRENDEMOSQUE ÁFUNDAMENTALHAVERUMA DIVIS»OCLARADEATRIBUI¿ÍES ERESPONSABILIDADESCOM MOMENTOSDEDISCUSS»OE REÚEX»OSOBREESSAA¿»O CONJUNTAEUMAINSTºNCIA QUEFA¿AAINTERMEDIA¿»O DESSARELA¿»OECONTRIBUA PARAARESOLU¿»OEA SUPERA¿»ODEPOSSÅVEIS OBST¹CULOSOUDIÙCULDADES Também as quatro organizações sociais parceiras tiveram uma atuação destacada e procuraram trabalhar de modo integrado, apoiando-se mutuamente e trocando experiências. A constituição de fortes vínculos de articulação entre as equipes da SMAS, das instituições sociais e as comunidades atendidas foi, e continua sendo, fundamental para a efetivação do programa e para garantir, de algum modo, a preservação física dos professores e supervisores que entram nas comunidades. Os líderes comunitários reconhecem a importância dessa parceria e sabem que são figuras-chave. Segundo sua avaliação, a implantação do PAE tem contribuído para que a associação de moradores tenha um reconhecimento maior pela comunidade. Destaca-se, ainda, o fato de que as verbas destinadas, pelo Programa, às associações permitem que elas melhorem sua infra-estrutura. Ainda será preciso que as organizações públicas e privadas incorporem, em suas práticas, a produção de investigações e conhecimentos sobre determinadas questões e contribuam para fazer avançar os estudos sobre o ensino e a aprendizagem de jovens e adultos, que ainda são bastante incipientes na área da pesquisa educacional. Uma dessas questões diz respeito à evasão. Também é interessante que se estude mais o movimento da freqüência dos estudantes, que foi bastante irregular no PAE, bem como as questões relacionadas diretamente com a aprendizagem. A escolarização proposta 95 no PAE é uma experiência rica em termos de informações e variáveis para alimentar essas investigações. Diante desses fatos, é importante se refletir o quanto as experiências alternativas de escolarização, como o PAE, precisam criar condições para que as práticas pedagógicas se tornem mais produtivas, agregando estudos, monitoramento e avaliação das práticas habitualmente utilizadas em sala de aula e estimulando a formulação de outras. A experiência PAE ainda revelou que a associação entre escolaridade e proteção social é um ponto forte, embora de difícil articulação. Por exemplo, há muitas mulheres que desejam estudar e não têm com quem deixar seus filhos; ou os casos de violência contra as mulheres estudantes relatados nos grupos focais; e, ainda, a necessidade de se desenvolver ações, como a campanha de regularização de documentos pessoais, a fábrica de cartões postais, idéias nascidas no PAE, que não foram levadas adiante. Um programa que contempla uma região de alto risco social não pode deixar de atuar na área da proteção. As equipes dos órgãos de Assistência Social e as organizações parceiras devem ser mais propositivas nesse sentido, pois a realidade das comunidades mais vulneráveis enseja ações de apoio psicossocial para que possam lidar com os problemas que emergem tanto para os estudantes quanto para os professores. Cabe pensar ainda nas possibilidades de aprendizado e uso da tecnologia digital. Em vários momentos, os estudantes do PAE afirmaram que gostariam de aprender informática e, certamente, o acesso ao computador e à Internet poderia facilitar o aprendizado on line, evitando-se a imposição de freqüência diária regular, que exige tempo e disposição nem sempre disponíveis naquelas condições. Por fim, seria recomendável e necessário intensificar a vertente cultural de programas de escolarização de jovens e adultos, casando educação formal e outros processos de aprendizagem que ajudem a criar um repertório ampliado, facilitando a apreensão dos conteúdos curriculares. Notas 1 2 Os dados aqui apresentados constituem parte do relatório avaliativo de dezembro de 2005, elaborado pelo Cenpec – Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária. Indicadores de avaliação são sinalizadores de processo e de resultados relativos a uma dada ação planejada. São como um termômetro criado para orientar e aferir a observação, o registro e a avaliação de planos, programas, projetos e ações pretendidas. Cadernos Cenpec 2007 n. 3 96 Cadernos Cenpec 2007 n. 3 artigo Maria de Salete Silva* #ONHECERASMIL FACESDAESCOLA PARAAMPLIARO DIREITODEAPRENDER Ao identificar boas práticas relacionadas com aspectos tangíveis e intangíveis das escolas, o estudo fortaleceu nossa visão de que escolas têm corpo e alma. Inseparáveis e complementares, corpo e alma são fonte geradora de aprendizagens. Mas é a alma da escola que faz com que todos e cada um dos integrantes da comunidade escolar vivenciem a bela experiência humana de aprender um pouco mais a cada dia. % stas são as palavras de encerramento do Aprova Brasil: o direito de aprender, uma publicação lançada em dezembro de 2006 pelo Fundo das Nações Unidas para a Infância - Unicef (sigla em inglês do United Nations Children’s Fund, redução do nome original United Nations International Children’s Emergency Fund) e pelo Ministério da Educação e Cultura - MEC, contendo os resultados de um estudo realizado em 33 escolas públicas, situadas em 14 Estados e no Distrito Federal.1 A idéia dessa iniciativa conjunta do Ministério da Educação e do Unicef tem origem nos resultados da Prova Brasil; e sua inspiração e motivação vêm do compromisso com a garantia do Direito de Aprender de todas as crianças e jovens brasileiros. * Maria de salete silva é arquiteta, consultora de educação do Unicef e coordenou o estudo Aprova Brasil: o direito de aprender. 97 Cadernos Cenpec 2007 n. 3 A Prova Brasil Realizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP, em 2005, a Prova Brasil foi a primeira avaliação em caráter universal efetuada nas escolas públicas urbanas que oferecem a 1ª fase e/ou a 2ª fase do ensino fundamental, com mais de 30 alunos na série avaliada. Foram aplicadas provas aos alunos de 4ª e 8ª série com o objetivo de avaliar seu desempenho em Língua Portuguesa (leitura) e Matemática. No total, fizeram a prova 3.306.378 alunos de 40.290 escolas, localizadas em 5.398 municípios de todas as regiões brasileiras. Esse tipo de avaliação permitiu a divulgação dos resultados por unidade escolar. Conhecendo os resultados obtidos pelas escolas na Prova Brasil, gestores, dirigentes escolares e a sociedade em geral podem se mobilizar para buscar melhorias no ensino, tomando como base o desempenho das escolas do seu estado, seu município, sua rede escolar ou demais escolas de seu bairro, e cobrar mais responsabilidade das escolas, professores e dirigentes em relação ao desempenho dos seus alunos.2 O Unicef e o direito de aprender A base para a cooperação do Unicef e das demais agências do sistema ONU, no âmbito do Marco de Assistência das Nações Unidas para o Desenvolvimento (Undaf), é a criação e o desenvolvimento das capacidades dos detentores dos direitos e dos responsáveis pela garantia desses direitos, com os quais os países-membros comprometeram-se ao ratificar a Convenção dos Direitos da Criança e, no caso brasileiro, ao aprovar o Estatuto da Criança e do Adolescente. O Programa de País do Unicef, para o período 20072011,3 pretende apoiar o Brasil no cumprimento de suas obrigações de garantir os direitos de cada criança e cada adolescente, desenvolvendo cinco Programas, denominados: • Sobreviver e se Desenvolver; • Aprender; • Proteger-se do HIV/AIDS; • Crescer sem Violência; e • Ser Prioridade nas Políticas e Orçamento Públicos. As perspectivas de eqüidade de raça/etnia e gênero e de participação dos adolescentes permeiam todos 98 os programas. O foco da atuação do Unicef concentrarse-á nas áreas onde se encontram as crianças mais vulneráveis e excluídas: o semi-árido brasileiro, a Amazônia e as comunidades populares de grandes centros urbanos. O Brasil quase atingiu o Segundo Objetivo do Milênio — Ensino Fundamental Universal — com 98% das crianças, de sete a 14 anos, matriculadas. Esses 2% significam ainda que cerca de 800 mil crianças nessa faixa etária permanecem fora da escola, das quais, 500 mil são negras. A situação das crianças indígenas expressa ainda uma maior iniqüidade: cerca de 21,5% delas, de sete a 14 anos, estão fora da escola. Persistem também grandes desigualdades regionais: enquanto no Norte e Nordeste somente 40% das crianças terminam o ensino fundamental, no Sul e no Sudeste, esta proporção sobe para 70%.4 O Brasil tem 21 milhões de adolescentes entre 12 e 18 anos, representando 11% da população. Mais de 3,5 milhões deles estão fora da escola. De cada 100 estudantes que entram no ensino fundamental, 82 concluem a 5ª série, 59 terminam a 8ª série e apenas 40, o ensino médio.5 Diante dessa situação marcada pela desigualdade e iniqüidade no acesso e na qualidade da educação, o Programa de País do Unicef concentra o foco de sua atuação na busca de educação de qualidade para todas as crianças e adolescentes de até 17 anos e na garantia de acesso de 800 mil crianças de sete a 14 anos que estão atualmente fora da escola, assim como o in- Cadernos Cenpec 2007 n. 3 gresso de oito milhões de adolescentes de baixa renda e baixa escolaridade no ensino médio. A indissociabilidade entre educação de qualidade e aprendizagem Dirigir para o aprender o foco da mobilização em torno da educação de qualidade tem sido cada vez mais freqüente no Brasil. Dois exemplos de grandes mobilizações da sociedade civil demonstram esse movimento. A Campanha Nacional pelo Direito à Educação, que tem a participação de diversas organizações sociais, estabelece, como foco de sua ação, a qualidade da educação para que o aprendizado seja efetivo. O Compromisso Todos pela Educação, envolvendo setores da sociedade civil, empresas e governo, estabeleceu cinco metas para 2022 (bicentenário da Independência), todas elas fortemente relacionadas com as possibilidades de aprendizagem de meninos e meninas nas escolas públicas do país. Refletir sobre a aprendizagem como resultado de uma educação de qualidade envolve os aspectos relacionados com os tempos, práticas e conteúdos da escola. Significa também pensar em educação integral, em articulações sistêmicas entre políticas públicas e programas de atendimento a crianças, famílias e comunidades. Uma educação de qualidade deve garantir o direito de aprender. cas brasileiras, segundo critérios socioeconômicos e de desempenho na Prova Brasil. As escolas foram escolhidas devido a seus resultados na avaliação. Não deixaram de ser também consideradas as informações sobre a situação socioeconômica dos alunos que participaram da Prova e dos municípios em que elas se localizam. Com isso, foi possível comparar as escolas, não só observando a nota média obtida por seus alunos, como também o quanto cada uma delas pode ter contribuído efetivamente para o seu desempenho na prova. É o que se chamou de IEE – Índice de Efeito Escola, que mede o impacto que a instituição tem na vida e no aprendizado da criança. Por isso, as escolas visitadas não são as que obtiveram melhores notas, em valores absolutos, e sim aquelas com o mais alto “efeito-escola”. Elas situam-se em municípios ou bairros onde moram famílias de baixa renda, portanto, seus alunos apresentam alta vulnerabilidade para a exclusão social e, mesmo assim, eles aprendem. Chegou-se então a um grupo de escolas que apresentou resultados de desempenho na Prova Brasil sempre acima da média nacional e superiores também em relação às escolas da mesma região e com características semelhantes, segundo os critérios utilizados pelo Unicef e MEC. As escolas analisadas Foram visitadas e analisadas 33 escolas de ensino fundamental, sendo 20 municipais e 13 estaduais, em 32 municípios de 14 estados e do Distrito Federal. Um universo a ser observado... Os resultados da Prova Brasil abriram um rico campo de observação sobre situações que podem levar à aprendizagem da leitura, dos cálculos e raciocínio matemáticos em escolas públicas de ensino fundamental. O estudo realizado pelo MEC e Unicef partiu de uma idéia-chave: as respostas para as indagações referentes à aprendizagem das crianças podem estar nas próprias escolas. Mais do que isso, elas devem surgir de observações e reflexões com participação ativa dos protagonistas do fazer escolar. Quais as características das escolas nas quais os alunos alcançaram bom desempenho na Prova Brasil? Que escolas deveriam ser observadas e estudadas? Para identificar as diversas dimensões da gestão, organização e funcionamento de escolas que podem ter contribuído para a melhor aprendizagem dos alunos, foram selecionadas 36 escolas das cinco regiões geográfi- 99 ESTADOS E ESCOLAS UNIDADE FEDERATIVA Amazonas Bahia Ceará Distrito Federal Goiás Maranhão Minas Gerais Mato Grosso do Sul Pará Piauí Paraná Rio de Janeiro Rio Grande do Sul São Paulo Tocantins Cadernos Cenpec 2007 n. 3 NÚMERO DE ESCOLAS 4 2 2 1 1 1 4 2 1 1 3 6 1 3 1 Princípios norteadores do Projeto Alguns princípios orientaram a direção do olhar sobre as escolas, procurando-se identificar em que medida elas estão garantindo os direitos da criança, em especial o direito de aprender. São eles: • o direito à educação é direito de todas e de cada uma das crianças e adolescentes; • o direito à educação deve observar os princípios da universalidade, progressividade, indivisibilidade e interdependência, exigibilidade e participação; • todas as crianças e adolescentes têm direito à educação de qualidade, independente de origem étnica, racial, social ou geográfica; • a escola é parte integrante do sistema de garantia de direitos das crianças e adolescentes; • a escola é lugar privilegiado para assegurar a cada criança e adolescente o direito de aprender; • a gestão escolar deve ser democrática, garantindo a alunos, professores, funcionários, famílias e comunidade o direito à participação. Aprova Brasil: uma experiência de observação participativa Para realizar a pesquisa em campo, foram selecionados 12 pesquisadores, por meio de edital público. O grupo tinha formação e experiência bastante diversificadas em pesquisa e avaliação. Os pesquisadores foram incentivados e capacitados, a fim de realizar uma análise a mais aberta e ampla possível, estarem totalmente disponíveis para escutar e observar, além de, por meio de muita determinação e disciplina, registrar cada momento da visita. Todo o trabalho nas escolas foi baseado em um “Caderno de Campo”, organizado de maneira a orientar os contatos e possibilitar o registro das observações, conversas, entrevistas e reuniões. Nos dois dias em que passaram em cada escola, os pesquisadores procuraram conversar com todos os atores que poderiam contribuir — e como contribuíram! — para o entendimento das razões do bom desempenho das crianças na Prova Brasil. Para entender o processo de aprendizagem dos alunos, buscava-se a visão mais ampla e multifacetada possível. A inspiração para essa postura aberta e para a necessidade de captar a diversidade das faces e dimensões da escola veio de um poema de Paulo Leminsky: Quando eu vi você Tive uma idéia brilhante Com um olhar orientado pelo marco de direitos, o projeto buscou identificar que aspectos podem ter contribuído para o bom desempenho das escolas, o que certamente não se deve a um único fator ou dimensão da gestão escolar. Cada escola tem história, rotinas, projetos e formas de trabalho construídas ao lo ngo do tempo. As escolas visitadas situam-se em municípios e comunidades com características culturais, sociais e econômicas diferenciadas, e pertencem a redes também diversas. Portanto, para anunciar os resultados da pesquisa como “boas práticas de educação pública”, foi preciso ir além da identificação de um ou outro fator, e descrever, ainda que sucintamente, os processos e atividades por meio dos quais essas práticas se efetivam e o contexto em que elas se inserem. O estudo lançou mão de uma metodologia denominada “pesquisa rápida” (rapid assesment), que parte da investigação de um núcleo central de interesse — no caso, as escolas selecionadas — para levantar elementos que permitam identificar questões relevantes do universo pesquisado. 100 Foi como se eu olhasse De dentro de um diamante E meu olho ganhasse Mil faces num só instante.7 Além de observar estas “mil faces”, era preciso ouvir cada uma delas. E essa escuta foi inspirada em um texto de Leonardo Boff: Ler significa reler e compreender, interpretar: cada um lê com os olhos que tem. E interpreta a partir de onde os pés pisam. Todo ponto de vista é a vista de um ponto. Para entender como alguém lê, é necessário saber como são seus olhos e qual é a sua visão de mundo. Isso faz da leitura sempre uma releitura. A cabeça pensa a partir de onde os pés pisam. Para compreender é essencial conhecer o lugar social de quem olha. Vale dizer: como alguém vive, com quem convive, que experiência tem, em que trabalha, que desejos alimenta, como assume os dramas da vida e da morte e que esperanças o animam. Isso faz da compreensão sempre uma interpretação.8 Cadernos Cenpec 2007 n. 3 !MAIORIADOSQUE PARTICIPARAMDAS ENTREVISTASREUNIÍESE CONVERSASATRIBUIUOBOM DESEMPENHODASCRIAN¿AS AOSPROFESSORESAOS PRËPRIOSALUNOS¸SPR¹TICAS PEDAGËGICASDESENVOLVIDAS E¸PARTICIPA¿»ODA COMUNIDADE Os atores, com os quais obrigatoriamente o pesquisador deveria fazer contato, seja por meio de observação de práticas, entrevistas, reuniões ou mesmo de conversas mais informais, foram: a direção, a coordenação pedagógica, os professores, os alunos, suas famílias, funcionários e membros do Conselho Escolar. Para complementar, eventualmente foram ouvidos parceiros externos da escola, dirigentes municipais de educação, membros da comunidade do entorno da escola. Todo o processo de escuta tinha, como coluna vertebral, uma questão central, que deveria ser respondida por todos os atores: avaliação que serviram de base para a construção do Caderno de Campo: • ambiente educativo; • prática pedagógica; • avaliação; • gestão escolar democrática; • formação e condições de trabalho dos profissionais da escola; • ambiente físico escolar; • acesso, sucesso e permanência na escola. Durante as visitas às escolas, os alunos, crianças e adolescentes, tiveram um papel central: eles conduziram os pesquisadores, mostraram e opinaram sobre os espaços, contaram sobre sua percepção das aulas e atividades desenvolvidas, seus processos de aprendizado, as relações entre os atores, os resultados da Prova Brasil. Por que a nossa escola foi bem no Prova Brasil: • por causa do bom desempenho dos alunos; • porque tem professores inteligentes; • porque as cantineiras são boazinhas e fazem uma merenda gostosa; • porque os professores são criativos e trazem coisas novas, como músicas, livros, pesquisas, e não fica aquela aula cansativa; Esta escola teve um desempenho na Prova Brasil — Matemática e Língua Portuguesa na 4ª e/ou 8ª série — acima da média das • porque temos muitas tarefas na sala de aula; • porque a avaliação é por trimestre e estimula o aluno a estudar o ano todo; escolas públicas brasileiras. • A que pode ser atribuído esse resultado? porque a supervisora é maravilhosa, uma fada. Alunos da 8ª série da Escola Municipal Desembargador O Caderno de Campo, guia desse processo de observação e escuta, foi elaborado de maneira simples e adequada à metodologia de pesquisa rápida, e estava dividido em três blocos: • quadros com registro de informações quantitativas sobre o município e a escola; • roteiros para observação, entrevistas, conversas, reuniões, com orientações de caráter geral e indicações específicas para cada um dos atores participantes; • formulários para registro de informações qualitativas do pesquisador. O roteiro de observação e contato com os atores foi construído a partir da publicação Indicadores de Qualidade9 na Educação, cujo objetivo é incentivar a comunidade escolar a avaliar a qualidade da educação em sua escola. Nela, são propostas sete dimensões de 101 Aprígio Ribeiro de Oliveira, São Brás do Suaçuí, MG. A percepção dos atores sobre as razões do bom desempenho das crianças As respostas à questão central da pesquisa revelam a percepção dos atores em relação às causas do bom desempenho das crianças de cada escola visitada. A maioria dos que participaram das entrevistas, reuniões e conversas atribuiu o bom desempenho das crianças aos professores, aos próprios alunos, às práticas pedagógicas desenvolvidas e à participação da comunidade. • O professor: atitudes, capacidades, formação. Empenho, competência, capacitação, interesse, dedicação, abertura para criar atividades e estimular os Cadernos Cenpec 2007 n. 3 alunos. Estas foram as características destacadas por todos os que consideraram o professor como o principal responsável pelo bom desempenho das crianças. Os professores são criativos e trazem coisas novas, como músicas, livros, pesquisas, e não fica aquela aula cansativa. Alunos da 8ª série da Escola Municipal Desembargador Aprígio Ribeiro de Oliveira, São Braz do Suaçuí, MG. • Alunos: sujeitos ativos da aprendizagem A atitude dos participantes em relação aos alunos é francamente positiva. Eles são parte ativa do sucesso das escolas e não a razão de seus problemas, posição muitas vezes adotada por alguns setores da comunidade escolar. Essa atitude repercute na auto-estima e auto-imagem dos alunos que, em muitas das escolas pesquisadas, afirmam que confiam nas suas capacidades, consideram-se inteligentes e têm facilidade para aprender: A prova foi fácil e nós somos inteligentes. Alunos da Escola Estadual Coronel das famílias e da comunidade foi considerada um fator importante para o bom desempenho escolar das crianças. Pelos depoimentos, foi possível verificar que essa participação acontece de três formas: • na gestão da escola; • no envolvimento e presença dos pais de alunos; • nas parcerias firmadas com instituições, como empresas, organizações sociais, associações de moradores, universidades e ONGs, entre outras. Entendida como um fator que interfere positivamente na aprendizagem, a gestão democrática e participativa aponta para a ampliação do processo educativo que se estende para além da estrita relação educador-educando, envolvendo outros territórios, o contexto social e comunitário e outros tempos, além do tempo escolar. Sei que a escola tirou o “primeiro lugar” na Prova Brasil. Tem um outdoor aqui na frente da escola. Acho que isso foi possível pelo jeito que os professores ensinam as crianças. Eles sabem ensinar e os alunos têm mais liberdade de perguntar quando têm dúvidas. Antônio Trindade, Aquidauana, MS. Pai de aluno na escola Professor Guiomar Gonçalves Neves, Trajano de Moraes, RJ. • Práticas pedagógicas: inovações, interação com outros ambientes. As atividades pedagógicas desenvolvidas nas salas de aula ou em outros ambientes são consideradas um dos fatores mais importantes para o bom desempenho das crianças, embora muitas dessas atividades e propostas não cheguem a configurar um projeto pedagógico formal e estruturado. A variedade de recursos utilizados, os tempos dedicados à aprendizagem — no turno de estudo e em atividades complementares no turno oposto — a mobilização e a participação de alunos, e até mesmo das famílias, nos projetos, a quebra da rotina de sala de aula ou da forma de organizar os espaços e o mobiliário escolar foram citados por muitos dos participantes da pesquisa. Além desses aspectos, muitos atores se referiram à disciplina e à organização da escola como elementos que impulsionam e valorizam a aprendizagem: Aqui os alunos, pais e professores são cobrados e cobram com muito rigor e disciplina. Diretora de uma das escolas visitadas. • Famílias e comunidade: parte do cotidiano da escola Em muitas das escolas analisadas, a participação 102 As boas práticas das escolas: inspiração para melhorar a aprendizagem No estudo Aprova Brasil, o direito de aprender, a expressão “boas práticas” significa procedimentos, atividades, experiências e ações que apresentam resultados positivos na aprendizagem de crianças e adolescentes, alunos das escolas analisadas. A sistematização de práticas, apresentada na publicação, foi feita a partir da análise da coerência pedagógica, da adequação aos princípios norteadores do estudo, da sintonia com a abordagem dos direitos das crianças e adolescentes, da sua relação com o dia-adia da escola e do potencial de disseminação para outras escolas. A metodologia e o desenvolvimento do estudo não permitem atribuir o bom desempenho dos alunos das escolas analisadas exclusivamente às práticas relatadas. Mas é possível destacá-las como relevantes e significativas para a escola, para os atores que participaram da pesquisa e, principalmente, para os resultados na aprendizagem das crianças. O estudo as apresenta como sugestões ou boas Cadernos Cenpec 2007 n. 3 idéias, não como receitas ou fórmulas prontas. Elas terão cumprido um importante papel se servirem de inspiração para políticas, programas, diretrizes ou projetos que possam contribuir para a melhoria da qualidade da aprendizagem de crianças e adolescentes, alunos de escolas públicas brasileiras. Dimensões do aprender: os achados do Aprova Brasil Complementando a resposta à questão central, todos os participantes do estudo — direção, professores, coordenadores, alunos, famílias, funcionários e membros da comunidade — foram solicitados a descrever uma ou mais práticas desenvolvidas na escola que contribuíam efetivamente para a aprendizagem das crianças. Ao analisar e sistematizar as boas práticas apontadas pelos atores-participantes nas 33 escolas pesquisadas, foi possível agrupá-las, por similaridade, em cinco blocos, chamados de “dimensões do aprender”. Dimensão 1: práticas pedagógicas, a caminho da educação integral. O maior número de atividades citadas refere-se a práticas pedagógicas, envolvendo estratégias de trabalho dos educadores, projetos de ensino, uso e produção de materiais didáticos, processos de avaliação e recuperação da aprendizagem dos alunos. Verificou-se que elas não nascem no vazio ou da intenção ou desejo isolados de um ou mais setores da comunidade escolar. Elas são fruto de uma conjunção de condições objetivas e do compromisso da equipe e da comunidade escolar com a aprendizagem dos alunos. Sua força e efetividade dependem de uma atitude atenta e cuidadosa de todos no momento de planejar, realizar e avaliar cada passo. Essas práticas não são eternas nem imutáveis. A publicação apresenta-as agrupadas em sete grupos temáticos, seja por características de gestão, por forma de desenvolvimento ou tipos de atividades desenvolvidas. São eles: • Trabalho coletivo, em equipe, compartilhado, coordenado. Muitas das escolas estudadas desenvolvem experiências de planejamento coletivo, de encontros e centros de estudo, de articulação, intercâmbio de práticas e conhecimento entre educadores. 103 • Projetos de ensino Todas as escolas analisadas desenvolvem projetos de ensino próprios, nas salas de aula, em outros espaços da escola ou externos. Muitos envolvem mais de um professor ou mais de uma turma e disciplinas diferentes. Tomam a forma de oficinas de teatro ou música, de produção de textos, de programas de rádio, de informática. Alguns acontecem no turno oposto ao de aulas regulares, outros são apresentados para a comunidade como eventos socioeducativos. Os projetos descritos apresentam forte potencial para mobilizar a participação dos alunos, propiciar a interdisciplinaridade, abrir portas para a integração com a comunidade. Mais do que isso, interferem positivamente na mudança dos processos de avaliação do desempenho dos alunos. Os projetos são uma inovação, mas não fazemos nada mirabolante, trabalha-se com aquilo que se tem. A maior dificuldade é colocar os projetos no papel e registrar cada passo e os resultados, pois falta hábito ao professor. Mas os projetos são sempre um trabalho conjunto, interdisciplinar, e têm ajudado na melhoria do ensino e aprendizagem. Professoras de Matemática e Português da Escola Estadual Cristóforo Myskiv, Prudentópolis, PR. • Inovações na organização da escola Aqui estão algumas experiências de mudança na organização espacial das salas de aula e de outros espaços educativos, no aumento e na forma de distribuição dos tempos escolares, na integração entre disciplinas. Cadernos Cenpec 2007 n. 3 • Ensino contextualizado A forma, o conteúdo e o material didático utilizado nas atividades de ensino consideram a realidade dos alunos e de sua comunidade. Em muitas das escolas, há materiais construídos pela própria equipe, muitas vezes com participação dos alunos. Todas utilizam livros didáticos, mas, na maioria delas, o projeto da própria escola determina a ordem dos temas, o momento e a forma de sua utilização pelos alunos. • Novas formas de avaliação e acompanhamento da aprendizagem Experiências de programas de recuperação paralela ao período de aulas, aulas de reforço, atenção individual. Algumas dessas atividades são realizadas com parceiros externos. 104 • Atividades externas com alunos Programas que abrem as portas da escola, permitindo que as crianças conheçam sua cidade e outras escolas. Idas ao cinema e ao teatro, atividades de educação ambiental e, até mesmo, viagens para outros municípios são relatadas neste bloco. • Incentivo à prática de jogos e esportes Em muitas escolas, as crianças jogam xadrez, damas, competem em torneios e campeonatos de esportes coletivos, muitos deles com a participação da comunidade. Dimensão 2: a importância do professor Em todas as escolas, houve relatos de boas práticas relacionadas ao professor, sejam aquelas voltadas para sua Cadernos Cenpec 2007 n. 3 formação inicial e continuada, sejam as que relatam experiências que comprovam seu compromisso, entusiasmo, dedicação e criatividade. As boas práticas relatadas são agrupadas em dois blocos: Formação e Valorização. No primeiro, são relatadas experiências de formação inicial e continuada e mobilização dos professores para a busca de informações. No segundo, formas de valorização no campo da remuneração e do reconhecimento. Dimensão 3: gestão democrática e participação da comunidade escolar O estudo confirmou a importância da participação como processo constitutivo da democracia. Portanto, boas práticas de participação ampliam e qualificam a gestão democrática da escola. Nas escolas analisadas, foram identificados processos diferenciados e criativos de participação. O maior reflexo na aprendizagem é decorrente do aprimoramento da interlocução da gestão da escola com seus atores e da escola com interlocutores externos, como os órgãos de gestão municipal ou estadual da educação, e de outras políticas e programas de interesse da comunidade escolar, como os da assistência social, saúde, esportes, cultura. Mais do que a existência de espaços de participação — como reuniões, colegiados, informativos eficientes — o estudo verificou o incentivo e o exercício dessa participação, concretizada em conselhos escolares atuantes e presentes na vida da escola, no envolvimento ativo das famílias e dos alunos nos processos de decisão e acompanhamento da gestão escolar. Dimensão 4: alunos e alunas atuantes no dia-a-dia da escola As práticas apontadas nas escolas, envolvendo a participação de alunos, extrapolam os limites do simbólico — quando as crianças compartilham ações concebidas, planejadas e realizadas por adultos — demonstrando o protagonismo e a importância das ações dos estudantes. Mais do que um direito, a participação de meninos e meninas é uma condição essencial para o desenvolvimento de práticas pedagógicas construtoras de aprendizagens. Eles e elas podem e devem ser protagonistas e sujeitos ativos no ambiente social e comunitário, no ambiente escolar e na gestão da escola. 105 Nas escolas analisadas, muitas foram as formas de participação de alunos em atividades pedagógicas, como o apoio ao reforço escolar, a elaboração de jornais-murais, a produção da rádio-escola. Grêmios atuantes, com presença ativa e efetiva na escola, também foram encontrados. Dimensão 5: as parcerias externas A idéia de parcerias externas vem da compreensão de que a escola, sozinha, não é capaz de garantir a totalidade dos direitos de crianças e adolescentes. A garantia do direito à vida, à saúde, à liberdade, à convivência familiar e comunitária é resultado da ação de inúmeros organismos, governamentais ou não, das esferas públicas e privadas. A parceria dessas instituições com a escola, além de cooperar para o fortalecimento da própria instituição, contribui efetivamente para a garantia de alguns desses direitos, principalmente, o de aprender. As escolas analisadas exercitam ricas experiências de parcerias com as instituições da comunidade, do município e até mesmo regionais ou nacionais. Os parceiros têm perfis diferenciados, são do setor empresarial (bancos, empresas de comunicação ou pequenos comerciantes), outras escolas, fundações, ONGs, universidades, sindicatos e associações comunitárias ou de moradores. A maioria delas apóia projetos realizados pelas próprias escolas, como laboratórios de informática, programas de empreendedorismo e segurança no trânsito, combate à violência, apoio a famílias, preservação ambiental e atividades artísticas. Além de viabilizar projetos, elas criam importantes espaços de mobilização social pela qualidade na educação. Aprova Brasil: ponto de partida para... Mais do que ponto de chegada, o Aprova Brasil é ponto de partida para compreender e disseminar as condições e o potencial de aprendizagem nas escolas públicas brasileiras. O estudo deixou questões em aberto, assim como novas possibilidades de estudos e pesquisas. Alguns aspectos — como a importância do clima da escola, o ambiente escolar e as relações entre as pessoas — foram citados muitas vezes como fatores que estabelecem boas condições para a aprendiza- Cadernos Cenpec 2007 n. 3 a disponibilidade de espaços, equipamentos e materiais; o isolamento entre escolas da mesma rede ou do território do município; as demandas que as diferentes esferas do poder público exigem da escola; a expectativa e as dificuldades na relação com famílias; a distância e o descrédito da comunidade em relação à escola. Voltando ao conceito inicial, de corpo e alma da escola, verificou-se que, embora sejam o lado mais visível, os aspectos materiais da escola — infra-estrutura, equipamentos, espaços — são mais eficientes para impulsionar a aprendizagem quando estão integrados, como meios, a projetos e atividades pedagógicas consistentes, concebidos e realizados pelos atores da própria escola. O desafio que o Unicef e o MEC enfrentam, assim como todos os parceiros e instituições comprometidas com a boa qualidade da educação, é disseminar as experiências e práticas dessas 33 escolas, fazendo, do Aprova Brasil, um impulso mobilizador que inspire novas práticas e experiências em escolas públicas brasileiras. O objetivo central da caminhada da boa qualidade da educação pública no país deve ser o de garantir, como finalidade essencial da escola, o direito de aprender para todas e cada uma das crianças e dos jovens brasileiros. O foco no direito de aprender pode reposicionar e dar novo significado à dimensão material e às possibilidades geradas pelas condições objetivas e subjetivas do fazer escolar. Notas 1 gem. Há também um novo olhar sobre a organização da escola, disciplina e normas de convivência, percebidas mais como elementos importantes para o bom funcionamento e para os resultados atingidos pelas instituições e menos como formas de coerção ou impeditivas da participação. Um outro campo de observação aberto pela pesquisa é o das relações entre escolas e sistemas ou redes e seus organismos e modelos de gestão. O estudo não teve o objetivo de recolher ou sistematizar as dificuldades que as escolas enfrentam para desenvolver suas práticas. No entanto, essas dificuldades foram citadas pelos participantes da pesquisa e afetam diferentes áreas e momentos da vida da escola, por exemplo: as condições de infra-estrutura e 106 2 3 4 5 6 7 8 9 O texto da publicação está disponível, na íntegra, em formato pdf, no sítio: <http://www.unicef.org/brazil/finalaprovabrz.pdf >. Mais informações sobre a Prova Brasil podem ser obtidas no sítio: <http:// www.inep.gov.br/basica/saeb/anresc.htm>. Nos 155 países onde o Unicef atua, suas ações se realizam por meio de Programas de Cooperação, cada um com duração de cinco anos. Estes Programas de Cooperação são preparados com a participação do Governo e de diferentes atores da sociedade civil, incluindo as próprias crianças e os adolescentes. O documento do Programa de País (PP), resultado desse processo de discussão, é assinado com os governos nacionais e serve de aval para a atuação do Unicef no país. IBGE/PNAD, 2004 e MEC/INEP Censo Escolar, 2005. IBGE/PNAD, 2004 e MEC/INEP Censo Escolar, 2005. Foram visitadas 36 escolas, mas, em três delas, foram identificadas práticas de seleção para ingresso. Como isso estabeleceria um diferencial importante em relação às outras escolas, essas três não foram incluídas nos resultados do estudo. Trecho do poema Amor bastante, de Paulo Leminsky. BOFF, Leonardo. A águia e a galinha: metáfora da condição humana. Petrópolis: Vozes, 1999. MEC/INEP, Unicef, PNUD e Ação Educativa. Indicadores de Qualidade na Educação. São Paulo, 2004. Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: PRÊMIO VICTOR CIVITA EDUCADOR NOTA 10 Não é fácil premiar com justiça Gabriel Grossi Regina Scarpa* O que nossas crianças devem, de fato, aprender na escola? É isso o que seus professores estão ensinando? Estas foram as principais questões que nortearam a seleção dos 3.851 trabalhos inscritos para o Prêmio Victor Civita Educador Nota 10, em 2006. Em outras palavras, procurou-se buscar o que cada professor e cada professora efetivamente ensinaram e como se deu esse processo. O importante é pensar: para que serve um prêmio na área da Educação? Ao longo de todos esses anos, ficou muito claro, para nós, que o Prêmio Victor Civita tem três objetivos principais: • Valorizar o bom professor e mostrar a importância da profissão de educador Sobretudo porque o Prêmio tem ampla divulgação, tanto pela revista Nova Escola quanto pela rede pública de televisão, graças a uma parceria com a TV Cultura, de São Paulo; • Revelar a situação real da Educação brasileira ano após ano Por meio da leitura e análise dos projetos, é possível identificar claramente o que está sendo realizado nas escolas, principalmente nas redes públicas, que respondem pelo maior número de inscrições; • Divulgar boas experiências, com ênfase para o fato de que elas podem servir de referência para os professores Ao publicar os perfis dos professores vencedores e os relatos de seus trabalhos, procura-se ser indutor de boas práticas pedagógicas. Nesse contexto, um elemento é fundamental: escolher bem a equipe de selecionadores para garantir que eles tenham condições de julgar adequadamente se os * Gabriel Grossi é diretor de redação da revista Nova Escola. Regina Scarpa é coordenadora pedagógica da Fundação Victor Civita. 107 professores inscritos realizaram um trabalho consistente com os alunos. Alguns dos critérios utilizados em 2006 para a escolha dos selecionadores foram: a familiaridade com a escola pública e o conhecimento didático de sua área de atuação. A importância da seleção Como todos os projetos que adquirem relevância, o Prêmio Victor Civita é hoje uma atividade que consome o ano todo, praticamente sem interrupção. Terminada a festa de entrega dos troféus, já é hora de pensar se é necessário fazer algum tipo de alteração no regulamento, afinar as parcerias e preparar o material para divulgar, na revista Nova Escola, tanto os trabalhos vencedores quanto as chamadas para o ano seguinte. Mas nada se compara à tarefa que cabe aos selecionadores. Em 2006, tivemos o privilégio de poder contar com um grupo de 16 professores e formadores de professores nessa equipe, que trabalha durante pouco mais de um mês na leitura e análise dos projetos inscritos. Este processo tem várias etapas. Na primeira leitura dos textos, há uma separação quase natural do “joio” e do “trigo” – uma pré-seleção. São visíveis os projetos que não têm um propósito claro de ensinar conteúdos relevantes. É nessa hora que os selecionadores começam a observar se os critérios gerais para a classificação dos trabalhos foram atendidos: • o trabalho é modesto e seus objetivos e metodologias adequados ao que se propôs realizar; • há intencionalidade do trabalho desenvolvido pelo professor. A metodologia reflete uma ação planejada; • apresenta um conteúdo relevante e pertinente à faixa etária e ajuda os alunos a avançarem na sua compreensão; • as estratégias metodológicas utilizadas podem ser tomadas como referência para realização de proje- Cadernos Cenpec 2007 n. 3 tos semelhantes por outros professores que conhecerem este trabalho; • demonstra a atuação dos alunos e há, em sua avaliação, indicadores de aprendizagem. Em uma segunda análise, mais minuciosa, consideram-se os critérios específicos da área para a seleção e os potenciais vencedores. Nesse momento, é comum pedir a ajuda dos colegas. Por exemplo, um trabalho sobre meio ambiente sempre será lido, no mínimo, pelos responsáveis por fazer a triagem de Geografia e também pelos de Ciências. Dia após dia, no contato permanente e na troca de idéias, os selecionadores vão estreitando os critérios para definir o que é um bom concorrente e por que ele deve ser premiado. A coordenação pedagógica participa lendo e discutindo os trabalhos com os selecionadores. Na reta final, temos uma lista com algo entre 50 e 80 candidatos a Educador Nota 10. É nesse momento que os selecionadores pedem aos inscritos todo o material utilizado em classe e também o que foi desenvolvido pelos estudantes, às vezes, pacotes enormes com a produção de textos, desenhos, fitas de vídeo, CD-ROMs etc. Após a análise desse material, é hora de conversar por telefone com os candidatos e esclarecer dúvidas, checar se o professor efetivamente domina o que foi feito em sala de aula e garante que sua turma construiu efetivamente aprendizagens relevantes. Uma das professoras vencedoras deste ano disse ter se sentido argüida pelo selecionador como numa defesa de tese. Nessa etapa, todos os selecionadores lêem os trabalhos indicados por seus colegas, acompanhados de um questionário contendo os seguintes itens: • Por que considerou este trabalho relevante? Que aspectos lhe chamaram a atenção? • Que expectativas de aprendizagem o professor (a) tinha? O que os alunos aprenderam? Outros resultados foram alcançados? • Os conteúdos estavam compatíveis com as necessidades de aprendizagem dos alunos? Justifique. • O desenvolvimento do trabalho ocorreu de forma compatível com seus objetivos e conteúdos? Comente. • O professor valorizou a interação entre os alunos como fator de aprendizagem? Em que situações? • E o professor, aprendeu algo? Dê a sua opinião. • Em que aspectos o trabalho poderia ser melhor? Que devolutiva você daria ao professor no sentido de contribuir com a sua formação profissional? 108 Esta troca entre os selecionadores, este debate que se estabelece no dia-a-dia criam um sentimento fascinante de responsabilidade coletiva, que culmina com uma grande reunião para definir os dez finalistas. Em 2006, ela consumiu dois dias inteiros de trabalho, sob a liderança da coordenação pedagógica da Fundação Victor Civita, e com a participação de jornalistas da Nova Escola. Nesse encontro, regado a muito café, água, suco, pão de queijo e biscoitos, os selecionadores apresentam uma síntese sobre tudo o que cada um leu, com os destaques positivos e negativos, algo que retrate o “estado da arte” da área de conhecimento analisada. É impossível, diante de tanta informação e reflexão, não aprender com esse gigantesco panorama da Educação no Brasil. Esse momento ajuda a localizar os trabalhos indicados em relação aos trabalhos recebidos. Tudo para garantir que os vencedores sejam os melhores do ponto de vista daquilo que foi analisado e do que os alunos aprenderam. O projeto, ao vivo. Esse panorama ganha novas cores no mês de agosto, quando os jornalistas e fotógrafos vão, finalmente, conhecer ao vivo os dez finalistas. Eles são os primeiros a visitar pessoalmente a escola em que esses professores trabalham, entrar em suas casas, descobrir como eles fazem (quase sempre em condições bem distantes das ideais) para ensinar mais e melhor. É óbvio que, vez ou outra, na história do prêmio, apareceram pequenos problemas. Um trabalho que parecia muito consistente revela-se mais frágil. Um professor, que se mostrava confiante no relato escrito, mostra-se mais tímido e inseguro na conversa pessoal. De certa forma, esse parece ser um risco difícil de evitar por causa de uma polêmica que sempre pairou sobre a história do Prêmio Victor Civita: afinal, estamos premiando os Educadores Nota 10 ou os trabalhos que eles inscreveram? Por isso, já há quatro anos, todos esses professores também são avaliados quando chegam a São Paulo para a grande festa de premiação, no mês de outubro. Todos têm a obrigação de apresentar seus projetos – não apenas aos outros vencedores, como também para um grupo muito selecionado de especialistas, o júri que, até 2006, tinha por tarefa escolher o Educador do Ano. Cadernos Cenpec 2007 n. 3 Esse é, sem dúvida, um dos momentos mais produtivos, uma verdadeira aula para todos os que têm a chance de acompanhá-la. A argüição dos jurados ajuda todos os Educadores Nota 10 a perceber o que poderiam ter feito a mais em seus projetos: • como definir objetivos claros de aprendizagem; • como criar atividades mais relevantes para atingir esses objetivos; • como estimular as crianças e jovens a se envolver mais com essas atividades; • como montar instrumentos capazes de avaliar corretamente se essas propostas se traduzem em aprendizagens significativas. E, para encerrar, os selecionadores (que também têm a oportunidade de acompanhar esta “banca”) dão um retorno aos finalistas para lhes dizer por que seus trabalhos foram escolhidos entre os dez melhores e também para fazer uma análise crítica do trabalho por eles realizado. Além, é claro, de contribuir com bibliografia e materiais que ajudem os professores em sua qualificação profissional. Depois de tudo isso, sem dúvida, merecemos aproveitar, junto com esses professores, a grande festa que a Fundação Victor Civita prepara para a entrega dos troféus. A lição que fica é que, para muito além da emoção de premiar professores das mais diversas regiões do país, que tantas vezes “tiram leite de pedra” em situações bastante desfavoráveis, a real importância do Prêmio Victor Civita é, como destacamos no início deste artigo, valorizar o professor, divulgar boas experiências, induzir outros professores a seguir essas boas práticas para que ensinem mais e melhor e, assim, possam ter orgulho de sua profissão. 109 Em constante aprimoramento O Prêmio Victor Civita é uma das mais antigas premiações da área de Educação no país. Surgiu em outubro de 1998 e chega, em 2007, à sua décima edição. Nesse percurso, passou por várias mudanças. Algumas merecem destaque. Em seu primeiro ano, não houve inscrição. Os candidatos eleitos foram professores cujos trabalhos tinham sido publicados na revista Nova Escola. A partir do segundo ano, começou o processo de inscrição pelo correio e a seleção feita por uma equipe de especialistas de todas as áreas do conhecimento. Em 1999 e 2000, a escolha teria que contemplar todas as disciplinas: três selecionados de cada uma das áreas concorriam ao prêmio em dinheiro e ao troféu. Em 2001, dos 12 professores finalistas, oito deviam ser de escolas públicas e os outros quatro, de instituições privadas. E surgiu também o título de Professor do Ano, concedido a um desses finalistas. De 2002 a 2004, manteve-se o número de premiados, mas essa divisão entre escolas públicas e particulares deixou de existir. Em 2005, o número de professores finalistas passou para dez. Para saber mais, consulte o site: <www.novaescola.org.br> e o endereço: <http://revistaescola.abril.com.br/premio_vc/ hotsite_index_2006.htm> para conhecer o resultado do Prêmio Victor Civita Educador Nota 10, em 2006. Cadernos Cenpec 2007 n. 3 110 Cadernos Cenpec 2007 n. 3 ARTIGO Vera Masagão Ribeiro* / %STATÅSTICAS PARAMELHORARO CONHECIMENTODE LETRASENÒMEROS Grandes tendências O interesse por mensurar as condições de alfabetização da população não é novo em nosso país. De fato, as estatísticas oficiais sobre a alfabetização no Brasil remontam ao final do século XIX e, como observa Ferraro (2002), constituem o mais antigo indicador das condições educacionais da população de que dispomos. Até hoje, o Instituto Brasileiro de Geografia e Estatística - IBGE apura esse índice com base na auto-avaliação da população recenseada sobre sua capacidade de ler e escrever um bilhete simples e, ainda que os critérios dos recenseadores ou da população possam ter variado ao longo do tempo, é possível construir uma série histórica consistente, que mostra que o analfabetismo entre brasileiros com 15 anos ou mais veio decrescendo paulatinamente no último século, de 65,3%, em 1920, para 13,6%, em 2000 (Ferraro, 2003), chegando a 10,9%, em 2005, segundo a Pesquisa Nacional por Amostra de Domicílios - Pnad (Henriques; Ireland, 2006). Esse método de medição, ainda que tenha valor para a manutenção de séries históricas nas estatísticas educacionais, vem sendo cada vez mais questionado por especialistas da área. Tendo em vista teorias atuais sobre o processo de aquisição da escrita e seus usos efetivos nas diversas esferas sociais, é difícil sustentar uma abordagem dicotômica, que visa estabelecer uma única linha divisória entre analfabetos e alfabetizados. * Vera Masagão Ribeiro é doutora em Educação e coordenadora de programas da ONG Ação Educativa. 111 Cadernos Cenpec 2007 n. 3 Cada vez mais, é preciso compreender a leitura e a escrita como práticas culturais e como competências multidimensionais, que abarcam diversos tipos e níveis de habilidades. Entre conhecer algumas letras, assinar o próprio nome, reconhecer palavras, retirar uma informação de um pequeno aviso, copiar uma receita, ler um trecho em voz alta com pouquíssima ou com razoável fluência, analisar o editorial de um jornal ou redigir uma carta comercial, onde caberia a linha divisória que divide os alfabetizados dos analfabetos? Saber ler e escrever um bilhete simples é uma definição operacional, utilizada pelo IBGE, mas outros países usam critérios diferentes, enquanto alguns países com altíssimo grau de desenvolvimento educacional, como Holanda, Suécia ou Suíça, nunca incluíram perguntas desse gênero em seus levantamentos censitários (Unesco, 2005). O conceito de alfabetismo funcional, disseminado internacionalmente pela Organização das Nações Unidas para a Educação, a Ciência e a Cultura - Unesco (sigla do inglês para United Nations Educational, Scientific and Cultural Organization) a partir da década de 1960, representou um primeiro esforço para superar uma visão dicotômica que se refere à capacidade de efetivamente usar as habilidades de leitura e escrita de modo a responder às demandas do contexto. O conceito trazia, também, implícita a idéia de que, atingido um certo patamar de habilidades e alcançando-se uma prática sistemática, evitar-se-ia a chamada “regressão ao analfabetismo”, ou a perda das habilidades por desuso. O conceito de alfabetismo funcional animou uma campanha internacional de alfabetização de adultos, coordenada pela Unesco, entre 1966 e 1973. Num primeiro momento, o foco estava nas habilidades associadas ao aumento da produtividade, mas, paulatinamente, passou a abranger outras dimensões, como a participação cidadã, a convivência familiar e comunitária e o próprio desenvolvimento cultural. Tratava-se, entretanto, de um universo amplo e variado de demandas sociais de usos da leitura e escrita, diferente para cada contexto e mesmo para cada indivíduo, tornando praticamente impossível estabelecer algum critério operacional necessário para a geração de estatísticas. Diante desse problema, a Unesco sugeriu a utilização dos anos de estudo da população como um indicador proxi (aproximado) das condições de alfabetização funcional da população. 112 Na América Latina, comumente se utilizou o patamar de quatro séries completas para indicar a condição de alfabetismo funcional. Entretanto, não existem evidências que permitam determinar objetivamente uma quantidade precisa de anos de escolarização suficientes para se chegar a um nível de alfabetização “funcional” e “estável”. Um primeiro aspecto a considerar é que a qualidade da escolarização pode variar, assim como as condições e as motivações extra-escolares, para a manutenção e o desenvolvimento das habilidades (Wagner, 1999). Visão multidimensional do alfabetismo Os resultados das avaliações dos sistemas de ensino brasileiro, como o Sistema de Avaliação da Educação Básica - SAEB ou a Prova Brasil, comprovam, com eloqüência, que quatro anos de estudo podem significar coisas muito diferentes em termos de aquisição de habilidades de leitura, de acordo com o grau de desenvolvimento econômico da região; o tipo de escola: pública ou privada; a zona: urbana ou rural; e mesmo o sexo do alunado. Além disso, persiste ainda a dificuldade de fundamentar um critério único para o nível ou tipo de habilidade que deveria ser considerado suficiente. Mais recentemente, os surveys baseados em amostras de população, incluindo testes de leitura e questionários sobre práticas de leitura e escrita em diversos contextos, oferecem dados mais detalhados sobre a distribuição da cultura escrita nas populações. Com base em estudos nacionais realizados em países do Hemisfério Norte, a Organização para Cooperação Econômica e Desenvolvimento - OECD e o Instituto de Estatísticas do Canadá conduziram o International Adult Litercacy Assessment - IALS, uma iniciativa que, entre 1994 e 1998, recolheu dados comparativos de 19 países, quase todos na Europa e América do Norte. No IALS, o termo analfabetismo sequer aparece, pois seu foco é definir e comparar, entre populações com alto grau de escolaridade, níveis de habilidade de alfabetismo em diversos domínios — compreensão de prosa, textos esquemáticos e quantitativos — e também reunir um amplo conjunto de dados sobre usos da leitura e da escrita na vida diária, especialmente no contexto de trabalho, além de outras informações sobre a inserção profissional, oportunidades de capacitação, renda etc. (OECD; Statistics Canada, 2000). Em 2003, o estudo começa a mensurar diretamente também as habilidades de resolução de problemas, Cadernos Cenpec 2007 n. 3 passando a se chamar Life Skills Survey - ALL. No primeiro relatório do ALL, os autores reafirmam esta nova perspectiva: não se trata de distinguir entre analfabetos e alfabetizados; uma determinada habilidade é definida como um contínuo de proficiência e mensurada por meio de uma escala, cuja interpretação permite indicar o quanto os adultos são capazes num certo domínio (OECD; Statistics Canada, 2003). Em 2005, a Unesco passou a conduzir uma iniciativa visando adaptar essa mesma metodologia de estudo do alfabetismo para países pobres, com índices muito mais baixos de escolarização: além de analisar mais detalhadamente os níveis mais reduzidos de proficiência, o Literacy Assessment and Monitoring Program LAMP se propõe a estudar também o que chama de habilidades componentes da alfabetização, como a identificação de letras e palavras, fluência, vocabulário etc. (Unesco, 2005). Em todas essas iniciativas, algumas tendências comuns se verificam: em primeiro lugar, uma visão multidimensional do alfabetismo, envolvendo leitura, escrita e processamento de informação numérica, nas quais se podem distinguir ainda sub-habilidades componentes; em segundo lugar, a combinação de medição direta das habilidades por meio de testes com coleta de informações sobre práticas de leitura e escrita em diferentes esferas de vivência. Ainda que dentro dos limites do que é possível aprender por meio de estudos em larga escala — em que se comparam, pelos mesmos critérios, subgrupos popula- 113 cionais muito diferentes — essas novas metodologias procuram apreender o fenômeno do alfabetismo de modo mais qualitativo, sob diversas dimensões. Uma perspectiva brasileira No Brasil, a única medida de alfabetismo baseada em surveys — com medição direta de habilidades por meio de testes, além de coleta de informações detalhadas sobre práticas de leitura, escrita e cálculo matemático na vida diária — é o Indicador Nacional de Alfabetismo Funcional - INAF, iniciativa de duas organizações não-governamentais brasileiras: a Ação Educativa e o Instituto Paulo Montenegro. A Ação Educativa tem, como missão, a defesa de direitos educacionais e atua na área de pesquisa e informação, desenvolvimento de programas de educação de adultos, mobilização social e advocacy. O Instituto Paulo Montenegro é ligado a uma grande empresa de pesquisa que atua em toda a América Latina — o Instituto Brasileiro de Opinião Pública e Estatística - Ibope — e sua intenção é canalizar recursos financeiros e técnicos da empresa e de terceiros para iniciativas de interesse social, sem finalidade lucrativa. O objetivo dessas organizações, ao idealizar o INAF, foi oferecer, à sociedade, informações sobre as condições de alfabetismo da população adulta brasileira, de modo a fomentar o debate público sobre o tema e subsidiar a formulação de políticas de educação e cultura (Ribeiro, 2003). Cadernos Cenpec 2007 n. 3 114 habilidade seria aceitável e qual deveria ser caracterizado como insuficiente? Com base na análise das demais informações coletadas pela pesquisa e em diálogo com consultores especialistas, chegou-se à seguinte definição: os sujeitos que não respondessem a, ao menos, dois itens, seriam classificados como analfabetos; os demais, em três níveis de alfabetismo. O termo analfabeto funcional — ainda que de uso corrente na mídia — não foi utilizado, pois, a rigor, mesmo Habilidades Matemáticas Analfabetismo Ausência de domínio das habilidades medidas. Ausência de domínio das habilidades medidas. Localizar uma informação simples em enunciados muito curtos, um anúncio ou chamada de capa de revista, por exemplo. Ler e anotar números de uso freqüente — preços, horários, números de telefone; medir um comprimento com fita métrica; localizar uma data num calendário. Localizar uma informação em textos curtos ou médios — notícia ou manual de instrução, por exemplo, mesmo que seja necessário realizar inferências simples. Ler números naturais, independente da ordem de grandeza; ler e comparar números decimais que se referem a preços; contar dinheiro e fazer troco; resolver situações envolvendo operações usuais de adição e subtração ou mesmo multiplicação, quando não conjugada a outras operações. Localizar mais de um item de informação em textos mais longos; comparar informação contida em diferentes textos, estabelecer relações entre as informações (causa/efeito, regra geral/caso, opinião/ fonte); ater-se à informação textual quando contrária ao senso comum. Adotar e controlar uma estratégia na resolução de problemas que demandam a execução de uma série de operações, por exemplo, tarefas envolvendo cálculo proporcional e porcentagens; interpretar gráficos e mapas. Alfabetismo Nível Básico Leitura Alfabetismo Nível Rudimentar QUADRO 1 HABILIDADES QUE CARACTERIZAM OS NÍVEIS DE AFABETISMO DO INAF Alfabetismo Nível Pleno O INAF Brasil é feito com base em pesquisas anuais realizadas com amostras de duas mil pessoas, representativas da população brasileira de 15 a 64 anos, em todas regiões do país, em zonas urbanas e rurais. Em entrevistas domiciliares, são aplicados testes e questionários aos sujeitos que compõem a amostra. Em 2001, 2003 e 2004, o levantamento abordou a leitura e a escrita, em 2002 e 2004, as habilidades matemáticas. Para a elaboração dos instrumentos, partiu-se da construção de uma matriz que inclui várias esferas da experiência cotidiana em que os materiais escritos estão presentes. Para cada uma, listaram-se os suportes e tipos de textos escritos correspondentes a diversos objetivos que motivam a leitura e a escrita (distrair, informar, registrar, controlar etc.). Finalmente, elencaram-se também as habilidades de leitura e escrita envolvidas nessas diferentes práticas, por exemplo: localizar o material escrito em que uma informação desejada pode ser encontrada, identificar o tema central de um texto, localizar nele informações específicas, comparar informações de diferentes textos, estabelecer relações entre fato e opinião, mobilizar dados necessários à redação de um texto, identificar o destinatário do texto e suas necessidades de informação sobre o tema tratado, e muitas outras. Processo semelhante foi feito com relação às práticas e habilidades que abrangem representações e cálculos matemáticos. Nos questionários, procurou-se fazer um levantamento extenso de informações sobre práticas de leitura, escrita e cálculos. Focalizaram-se o acesso e o uso de quatro materiais escritos principais: livros, revistas, jornais e computadores. Outros materiais escritos foram incluídos e suas finalidades de uso averiguadas, considerando-se seis esferas de vivência: doméstica, do trabalho, da participação cidadã, da educação e da religião. Os resultados dos testes foram analisados tendo em vista a conceituação das habilidades num contínuo. Em um primeiro passo, analisaram-se as características dos itens que foram realizados com sucesso por pessoas com diferentes desempenhos (escore total) e, com base nessa análise, caracterizaram-se os níveis de habilidade de acordo com as faixas de desempenho. As tarefas que serviram para definir certo nível de habilidade são aquelas realizadas corretamente por, ao menos, 75% das pessoas naquela faixa de escore total. Depois disso, seria preciso qualificar cada um desses níveis, estabelecendo um julgamento: qual nível de Cadernos Cenpec 2007 n. 3 habilidades muito limitadas têm funcionalidade em certos contextos. A manutenção do termo “analfabeto” também visou chamar a atenção para uma situação que ainda é significativa em países como o Brasil, nos quais representativas parcelas da população têm baixa renda e baixa escolaridade, e a problemática do analfabetismo é pauta das políticas sociais e educacionais. Os três níveis de habilidade de alfabetismo e habilidades matemáticas estão descritos no Quadro 1. Em 2006, a equipe do INAF dedicou-se ao aperfeiçoamento da metodologia utilizada. Introduziu a Teoria da Resposta ao Item - TRI — metodologia usada nos estudos internacionais sobre alfabetismo adulto, assim como nas grandes avaliações educacionais no Brasil e no exterior —, de modo a viabilizar o desenvolvimento de instrumentos de avaliação mais precisos e flexíveis. Com base em estudo especial feito com a população carcerária paulistana (IPM/Funap, 2006), foi possível comprovar que as habilidades de leitura e matemática, medidas pelo INAF, podem ser abordadas como uma única dimensão cognitiva, relativa à capacidade de operar com informações escritas — verbais e/ou numéricas — para enfrentar as demandas e aproveitar as oportunidades de comunicação e acesso à informação, presentes em nosso contexto. Já em 2007, a equipe passou a trabalhar na interpretação de uma escala combinada, procurando identificar as semelhanças existentes nas operações lógicas que as pessoas dominam em cada nível da escala, operações essas implicadas na capacidade de ler, processar informações e interpretá-las. Outro importante ganho metodológico com a utilização da TRI é a possibilidade de gerar um banco de itens, com base no qual podem ser produzidos instrumentos específicos para estudos especiais, cujos resul- tados sejam comparáveis com os da população brasileira. Como se comentará mais adiante, a avaliação de programas, especialmente os voltados a jovens e adultos, é uma enorme lacuna a ser preenchida no âmbito das políticas educacionais. Alguns resultados Os resultados do INAF, obtidos ao longo desses cinco anos, mostram que o País vem fazendo avanços pequenos no que se refere à ampliação das capacidades de leitura, escrita e cálculo da população. Na faixa etária investigada, o INAF identificou, em 2005, 7% de pessoas na condição de analfabetismo absoluto. No terreno das habilidades matemáticas, esse percentual é menor — apenas 2% em 2004. Em ambos os domínios, entretanto, há aproximadamente 30% de pessoas que demonstram um domínio muito rudimentar das habilidades: só sabem ler os números e realizar operações muito simples, ler textos muito breves e localizar informações muito evidentes. Só 26%, para a leitura, e 23%, para a matemática, mostram que têm domínio pleno das habilidades (Tabela 1). Corroborando todos os estudos internacionais, o caso brasileiro evidencia que o aumento da escolaridade é o principal fator a promover o alfabetismo, tanto no que se refere às habilidades quanto às práticas de leitura, escrita e cálculo matemático. Os resultados mostram, entretanto, que as aprendizagens correspondentes a cada grau de ensino são bastante desiguais e que, para a maioria, a baixa qualidade da educação oferecida compromete enormemente os ganhos, em que a ampliação das oportunidades de escolarização deveria resultar. TABELA 1 EVOLUÇÃO DOS NÍVEIS DE ALFABETISMO INAF 2001 – 2005 Leitura e Escrita 2001 2003 2005 9% 8% Alfabetismo Nível Rudimentar 31% Alfabetismo Nível Básico Alfabetismo Nível Pleno Analfabetismo Habilidades Matemáticas Diferença 2002 2004 7% -2 pp 3% 2% -1 pp 30% 30% - 1 pp 32% 29% -3 pp 34% 37% 38% + 4pp 44% 46% + 2 pp 26% 25% 26% - 21% 23% + 2 pp 115 Cadernos Cenpec 2007 n. 3 Diferença Os quatro anos de escolaridade que supostamente garantiriam a alfabetização funcional, de fato, não se mostram suficientes para que uma grande parcela supere o nível rudimentar de habilidades. Entre os indivíduos com menos tempo de estudo, a situação é ainda mais alarmante, pois aproximadamente um terço se encontra ainda na condição de analfabetismo absoluto. Só entre a população com, ao menos, o ensino fundamental completo é que mais de 80% atingem os níveis básico ou pleno das habilidades, tanto em leitura quanto em matemática (IPM; Ação Educativa, 2004 e 2005). O grande peso do tempo de escolaridade na determinação dos níveis de alfabetismo se explica, por um lado, pelo fato de que é na prática escolar que essas habilidades são ensinadas e exercitadas de forma sistemática por longos períodos. Além disso, as credenciais escolares franqueiam o acesso aos contextos e práticas sociais em que tais habilidades poderão, com mais ou menos intensidade, serem aplicadas, mantidas, aperfeiçoadas e ampliadas após o processo de escolarização. Quando se está estudando o alfabetismo na população jovem e adulta, é fundamental considerar as oportunidades de uso da leitura e da escrita que as pessoas têm em seu dia-a-dia, condicionadas por seu tipo de ocupação e nível de renda, entre outras variáveis. O trabalho constitui, para essa população, uma esfera crucial de vivências que catalisa demandas, oportunidades e motivações para que as pessoas sigam aprendendo ao longo da vida e utilizando a língua escrita para se informar, planejar e se comunicar. Para investigar as práticas nessa esfera, o INAF pergunta às pessoas que estão trabalhando, ou que já trabalharam alguma vez, que materiais lêem e escrevem em seu trabalho. Oferece-se uma lista de 18 itens, e o entrevistado pode citar ainda outros. Os tipos de materiais mais lidos no trabalho, segundo levantamento de 2005, são: bilhetes (26%), jornais (25%), revistas (23%), relatórios (22%), pedidos ou comandas (19%), agendas ou calendários (17%), faturas, notas fiscais, recibos ou duplicatas (17%), manuais de instrução (15%), plantas, mapas ou desenhos técnicos (11%), entre muitos outros. Os materiais escritos com mais freqüência são: bilhetes (30%), pedidos ou comandas (22%), relatórios (22%), contas e orçamentos (18%), faturas, recibos, notas fiscais e duplicatas (13%), agenda (18%), formulários (13%), cartas, ofícios e memorandos (11%). Proporções bastante significativas de pessoas nada lêem (32%) nem escrevem (38%) no contexto de trabalho. 116 A proporção dos que lêem ou escrevem três ou mais tipos de materiais — e que, portanto, fazem usos mais diversificados de suas habilidades de alfabetismo — corresponde, respectivamente, a 23% e 30%. Como era de se esperar, as pessoas com maior nível de habilidade são as que têm, no ambiente de trabalho, maiores exigências de leitura e escrita, como mostra a Tabela 2. TABELA 2 QUANTIDADE DE TIPOS DE MATERIAIS LIDOS NO TRABALHO, SEGUNDO O NÍVEL DE ALFABETISMO – INAF 2005 Total Alfabetismo Rudimentar Básico Pleno Materiais de leitura nenhum 32% 50% 27% 9% um 17% 20% 19% 12% dois 12% 10% 16% 9% três ou mais 38% 20% 38% 70% Materiais de escrita nenhum 38% 56% 31% 17% um 14% 25% 30% 21% dois 25% 9% 17% 19% três ou mais 23% 10% 22% 43% É fato, portanto, que as demandas de leitura e escrita no ambiente do trabalho são restritas para a maioria da população. Uma abordagem estritamente economicista, que procure vincular desenvolvimento econômico à elevação dos níveis de habilidade de forma muito simplista, não deve chegar a bons resultados. As chamadas demandas sociais a que o alfabetismo responde, entretanto, abarcam não somente as atividades produtivas, como ainda as possibilidades de consumo cultural e participação social de forma geral, atuando, também nesse âmbito, para produzir desigualdades. Ao investigar esses outros domínios, o INAF verifica que, considerando os baixos graus de escolarização e renda de parcela importante da população, o interesse dos brasileiros pela leitura é significativo: • 68% dos entrevistados afirmam que gostam de ler para se distrair; • 79% afirmam que lêem livros ainda que de vez em quando; Cadernos Cenpec 2007 n. 3 • 35% afirmam que lêem jornal ao menos uma vez por semana; • 28% afirmam ler revistas ao menos uma vez por semana. O gênero de leitura varia, evidentemente, de acordo com o nível de alfabetismo das pessoas. A leitura de inspiração religiosa é freqüente em todos os grupos, independente do desempenho, certamente porque o tipo de leitura realizada nessa esfera não corresponde à leitura de tipo analítica que o teste demanda. Outros tipos são mais freqüentes entre pessoas com níveis mais elevados. É interessante observar que a poesia já aparece no nível básico com freqüência semelhante à do nível pleno, evidenciando, mais uma vez, que há leituras de ordem subjetiva em que não necessariamente são mobilizadas as habilidades analíticas verificadas no teste. Já a leitura de livros de ficção, história e biografias, livros técnicos e de orientação pessoal mantém uma correção bastante linear com o nível de alfabetismo. Outro aspecto que uma investigação sobre habilidades e práticas de alfabetismo não poderia deixar de TABELA 3 GÊNEROS DE LIVROS QUE OS ALFABETIZADOS COSTUMAM LER, POR NÍVEIS DE HABILIDADE – INAF 2005 Total Alfabetismo Rudimentar Básico Pleno abordar é o acesso às tecnologias de comunicação e informação, já que, atualmente, o computador é também um importante veículo de textos escritos. Os dados mostram, entretanto, que seu uso é muito reduzido na população: só 19% utiliza computador ao menos uma vez por semana; 6% o utiliza eventualmente, enquanto 75% não o utiliza (INAF, 2005). Outro recurso tecnológico mais simples, entretanto, é bem mais disseminado na população: 47% afirma usar habitualmente a calculadora para realizar operações em seu dia-a-dia. Em algumas questões do teste de habilidades matemáticas, a taxa de utilização desse instrumento supera 70% (IPM; Ação Educativa, 2004). Apesar de seu uso favorecer as possibilidades de acerto do item no teste, os usuários nem sempre são bem-sucedidos na resolução do problema. Em parte, por não dominarem seus recursos, mas também, e principalmente, porque a resolução de problemas não depende apenas da execução dos cálculos, e sim da capacidade de elaborar e executar controladamente um plano de resolução e verificar a pertinência do resultado. Diante desse grau de disseminação do uso da calculadora, é surpreendente que os programas de educação básica para crianças e adultos não a utilizem como recurso pedagógico com mais freqüência, tanto para que mais pessoas aprendam a usá-la com eficiência quanto para que possam dedicar-se mais à compreensão das situações-problema e das relações numéricas do que à mecanização dos procedimentos de cálculo. Bíblia ou livros religiosos 45% 46% 48% 47% Indicações para as políticas Romance, aventura, policial, ficção 30% 19% 32% 49% Livros didáticos 21% 16% 19% 33% Poesia 15% 12% 18% 19% Biografia, relatos históricos 15% 9% 16% 26% Livros técnicos, de teoria, ensaios 11% 4% 9% 22% Auto-ajuda, orientação pessoal 11% 5% 9% 22% Não costuma ler livros 21% 29% 15% 7% A pesquisa sobre o alfabetismo funcional no Brasil revela, portanto, um país onde a cultura letrada está amplamente disseminada, mas de forma muito desigual. Da população alfabetizada, um contingente significativo utiliza as habilidades de leitura e escrita em contextos restritos e demonstra habilidades também restritas nos testes de leitura e habilidades matemáticas. Apesar de todos os níveis de alfabetismo serem funcionais — ou seja, úteis para enfrentar ao menos algumas demandas do cotidiano — só os que se classificam no nível pleno apresentam domínio das habilidades avaliadas, fazendo usos mais intensos e diversificados da leitura e da escrita em vários contextos. A escolaridade é fator decisivo na promoção do alfabetismo da população. A pesquisa revela como os défi- 117 Cadernos Cenpec 2007 n. 3 cits educacionais se traduzem em desigualdades quanto ao acesso a vários bens culturais, oportunidades de trabalho e desenvolvimento pessoal que caracterizam as sociedades letradas. Se for necessário um indicador único, relativo a anos de escolaridade, para dimensionar o alfabetismo funcional da população, mais apropriado seria considerar oito anos de escolaridade o período mínimo para se atingir essa condição. A pesquisa mostrou que os porcentuais de pessoas nos níveis básico e pleno de alfabetismo — tanto em leitura e escrita quanto em habilidades matemáticas — ultrapassam os 80% da população só entre aqueles com ensino fundamental completo, grau educacional que a Constituição brasileira determina como direito de todos os cidadãos, independentemente da idade, e cuja oferta gratuita é obrigação do Estado. Diferente do que muitas vezes é divulgado na mídia, os brasileiros, de forma geral, não são avessos à leitura. Dois terços dos entrevistados afirmam que gostam de ler para se distrair, e o Brasil ainda tem muito a investir na promoção do acesso gratuito a materiais escritos — não só livros, como também revistas e jornais — e, principalmente, aos computadores e à Internet. 118 Diante de tanto conhecimento já acumulado sobre a alfabetização como fenômeno cultural complexo, de sua associação com a questão das desigualdades, em geral, e, em particular, com as de oportunidades educativas, não deixa de ser espantoso que as campanhas de combate ao analfabetismo, na sua acepção mais restrita, ainda tenham tanto apelo nas políticas dos governos nacionais e dos organismos internacionais (Ribeiro; Batista, 2005). Preocupados em fazer baixar o “número mágico” — a porcentagem de pessoas que consideram que não sabem ler e escrever — os governos ainda promovem campanhas para alfabetização inicial de adultos, sem reconhecer e enfrentar adequadamente as dificuldades para chegar até a população-alvo, sem investir suficientemente na qualidade pedagógica, sem equacionar adequadamente a oferta de oportunidades de continuidade e quase sempre obtendo resultados muito abaixo das expectativas. Diante do malogro, o caminho tem sido, muitas vezes, criar uma certa confusão de números para a opinião pública, encobrindo dados censitários com quantidades de inscritos nos seus programas. O fato é que diversos planos nacionais ou multila- Cadernos Cenpec 2007 n. 3 terais já incluem, em seus preâmbulos, essa visão ampla da alfabetização como promoção da cultura escrita, reconhecem a importância da escolarização básica, do acesso aos livros e a outros impressos, assim como às novas tecnologias da comunicação (OEI, 2006). Entretanto, ao estabelecerem suas metas e previsões orçamentárias, em que de fato se explicitam as orientações e condições para a ação, os planos retornam ao universo restrito: definem metas de atendimento para alfabetização inicial de jovens e adultos — quase sempre propondo, de forma irrealista, a “erradicação do analfabetismo” como primeiro passo a ser dado — sem qualquer meta mais concreta em relação às oportunidades de continuidade de estudos na educação básica ou qualificação profissional, de educação não formal, de acesso a livros, a outros impressos e às novas tecnologias de comunicação. Essa foi, por exemplo, a inspiração do mais recente programa nacional, o Brasil Alfabetizado, cujos resultados frustraram o Ministério da Educação, pois grande parte dos milhões de adultos atendidos não era, de fato, a que se declara analfabeta, e sim com baixa escolaridade, não afetando, portanto, as estatísticas nem suprindo adequadamente as necessidades educativas do público atendido. Os estudos sobre cultura escrita — tanto no viés quantitativo quanto qualitativo —, principalmente as avaliações independentes e criteriosas dos programas de alfabetização e educação de adultos, são essenciais para que possamos estabelecer planos mais realistas e eficazes para elevar os níveis educacionais da população. Infelizmente, ainda há muita carência nesse sentido, e mesmo os educadores progressistas resistem às avaliações, porque, nesse campo, elas são quase sempre utilizadas como veredicto, ou para glorificar os sucessos da política ou para condenar a alfabetização e a educação de adultos como políticas “ineficazes” do ponto de vista econômico. Nesse contexto, é essencial, antes de tudo, afirmar enfaticamente que a educação — da qual a alfabetização faz parte — é um direito de todas as crianças, jovens e adultos. Com base nesse princípio, então, poderemos avaliar os planos e as políticas em curso, visando a seu aperfeiçoamento, com diretrizes mais coerentes quanto a estratégias e recursos necessários para colocá-las em prática. 119 /SESTUDOSSOBRECULTURA ESCRITAqTANTONOVIÁS QUANTITATIVOQUANTO QUALITATIVOqPRINCIPALMENTE ASAVALIA¿ÍESINDEPENDENTESE CRITERIOSASDOSPROGRAMASDE ALFABETIZA¿»OEEDUCA¿»ODE ADULTOSS»OESSENCIAISPARA QUEPOSSAMOSESTABELECER PLANOSMAISREALISTASE EÙCAZESPARAELEVAROSNÅVEIS EDUCACIONAISDAPOPULA¿»O Referências: FERRARO, Alceu R. Analfabetismo e níveis de letramento no Brasil: o que dizem os Censos? Educação & Sociedade, v. 23, n. 81, p. 15-47, dez. 2002. FERRARO, Alceu R. História quantitativa da alfabetização no Brasil. In: RIBEIRO, Vera Masagão (Org.). Letramento no Brasil. São Paulo: Global, 2003. p. 195-207. HENRIQUES, Ricardo; IRELAND, Thimoty. Avaliação do Programa Brasil Alfabetizado. Brasília, 2006 (Apresentação na 29ª Reunião Anual da Anped). IPM – INSTITUTO PAULO MONTENEGRO; AÇÃO EDUCATIVA. 4º Indicador Nacional de Alfabetismo Funcional: avaliação de habilidades matemáticas. São Paulo: IPM/Ação Educativa, 2004. ______ 5º Indicador Nacional de Alfabetismo Funcional: avaliação de leitura. São Paulo: IPM/Ação Educativa, 2005. ______; FUNAP – Fundação de Amparo ao Preso Prof. Dr. Manuel Pedro Pimentel. Educação que liberta: indicador de alfabetismo funcional da população carcerária paulista. São Paulo: IPM/Funap, 2006. OECD; STATISTICS CANADA. Learning a living: first results of the Adult Literacy and Life Skills Survey. Paris: OECD, 2005. OECD. Literacy in the information age: final report of the International Adult Literacy Survey. Paris: OECD, 2000. OEI – ORGANIZAÇÃO DOS ESTADOS AMERICANOS. Plan iberoamericano de alfabetizacíon de pernonas jóvenes y adultas 2007-2015: documento base. 2006. Disponível em: <http://www.oei.es/alfabetizacion/documento_base. pdf>. Acesso em: 6 fev. 2007. RIBEIRO, Vera Masagão (Org.). Letramento no Brasil. São Paulo: Global, 2003. ______; BATISTA, Antônio Augusto. Commitments and challenges towards a literate Brazil. Disponível em: <http://portal.unesco.org/education/en/ ev.php-URL_ID=43500&URL>. Acesso em: 6 fev. 2007. UNESCO. Education for All: Literacy for life. Paris: Unesco, 2005. ______ Standards and Guidelines For the Design and Implementation of the Literacy Assessment and Monitoring Program (LAMP). Montreal: Unesco, 2005. WAGNER, Daniel. Literacy skill retention. In: WAGNER, Daniel; VENESKY, Richard; STREET, Brien. Literacy: An international handbook. Colorado: Westiew, 1999. Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: PROJETO CRIANÇA Uma experiência formativa Ana Luíza Mendes Borges José Hamilton Maruxo Júnior Sônia Maria de Oliveira Nudelman* A escola pública, como se sabe, sempre quer o sucesso dos seus alunos. Por isso, está atenta às suas próprias potencialidades e limites, busca alternativas com bom senso e prudência e discute possibilidades para atingir esse objetivo. Quando vê chances de ser apoiada em seus propósitos, torna-se parceira de experiências interessantes. Sabe que valem a pena mais ritmo, movimento, intensidade, trabalho coletivo, muita conversa, estudo e, principalmente, coragem para trilhar novos caminhos, se isso significa atingir seus propósitos. É o que vem acontecendo com as escolas participantes do Projeto Criança, uma proposta para o ensino da leitura e da escrita, direcionada à 4ª e 5ª série do ensino fundamental, que alia o estudo da Língua Portuguesa a estratégias de teatro. O Projeto é resultado da parceria entre o Instituto Algar de Responsabilidade Social e o Cenpec, e vem promovendo a reorientação e a problematização de práticas escolares essenciais: leitura de livros literários, produção de textos pelas crianças, desenvolvimento de habilidades artísticas, entre outras. Como se sabe, a avaliação da aprendizagem é também uma dessas práticas escolares. O seu objetivo é acompanhar o desenrolar do processo de ensino e aprendizagem, a fim de orientar intervenções pedagógicas consideradas necessárias, com o propósito de garantir a aprendizagem dos alunos. Um dos instrumentos que compõem a avaliação é a prova. Provas podem ser elaboradas pelos próprios professores e demais membros da equipe escolar e aplicadas aos alunos ou , então, por organizações externas à escola, tais como institutos de pesquisa especialmente con* Ana Luíza Mendes Borges é cientista social (FFLCH-USP) e pesquisadora do Cenpec. José Hamilton Maruxo Júnior é mestre em Letras (FFLCH-USP) e pesquisador. Sônia Maria de Oliveira Nudelman é pedagoga (PUC-SP) e coordenadora do Projeto Criança, no Cenpec. 120 tratados para esse fim, fundações e organizações nãogovernamentais, entre outros. No primeiro caso, professores e alunos — os agentes do processo da aprendizagem — estão envolvidos na avaliação de forma imediata, isto é, sem a mediação de agentes externos à escola. No segundo caso, há intervenção de agentes externos — seja na elaboração das provas, seja na sua aplicação, correção ou aferição de resultados. Este relato descreve a experiência de elaboração de uma prova da qual participaram os professores e as escolas do Projeto Criança e o Cenpec, ou seja, envolveu agentes escolares imediatamente implicados na avaliação e agentes externos. Para se compreender como essa experiência aconteceu, faremos um breve histórico do Projeto e, em seguida, situaremos, dentro dele, o processo de elaboração da prova e sua aplicação. Por fim, apresentaremos alguns resultados alcançados com esta experiência. Breve histórico e objetivos do Projeto Criança O Projeto Criança existe há mais de uma década e é desenvolvido em 28 escolas das redes municipais de ensino de 15 cidades dos estados de Goiás, Mato Grosso do Sul, Minas Gerais e São Paulo. No segundo semestre de 2004, estabeleceu-se uma parceria entre o Instituto Algar de Responsabilidade Social e o Cenpec. Com a parceria consolidada, o Projeto Criança vem se transformando num projeto de formação em Língua Portuguesa e Arte-Educação para professores, com o objetivo de se desenvolver, ao longo de três anos (de 2005 a 2007), uma proposta para o ensino da leitura e da escrita que se valha do teatro como estratégia. Além disso, contamos com a participação direta dos gestores das escolas e de secretarias municipais. Em 2005, foram desenvolvidas atividades para fomentar a leitura e o teatro nas escolas. No final de 2006, foi pos- Cadernos Cenpec 2007 n. 3 sível integrar o ensino da Língua Portuguesa ao da Arte, por meio do teatro, a partir de uma metodologia de trabalho que tem trazido bons resultados: as crianças lêem adaptações de boa qualidade de textos da literatura universal (Romeu e Julieta, Dom Quixote, Rei Artur e os Cavaleiros da Távola Redonda, Sonhos de uma noite de verão, O natal do avarento), contam e recontam as histórias lidas, opinam sobre elas, concordam ou não com os autores, conversam sobre suas leituras e escritas e ainda produzem livros e coletâneas de textos de sua própria autoria. Foram realizadas, até o final de 2006, aproximadamente 300 horas de formação continuada para cada um dos participantes, outras tantas de estudo e planejamento para difundir o projeto nas salas de aula de 4ª e 5ª séries, inúmeras outras de experimentação das ações nas classes, sem contar o tempo para registro e sistematização de conhecimentos, acompanhamento e avaliação, e celebração de conquistas. Em 2007, pretende-se completar o ciclo de formação com a perspectiva de se avançar na construção de seqüências didáticas para aprendizagem da escrita, ancoradas no teatro, o qual fomenta a cooperação grupal, potencializa a concentração e a atenção, abre espaço para a participação, incentiva a oralidade e permite, por meio da expressão corporal, ampliar níveis de compreensão do que se lê e se escreve, de forma lúdica e prazerosa. O ponto de partida e chegada são os alunos, seus conhecimentos e vivências culturais. Do universo com o qual convivem, foram escolhidas, como tema, as festas das quais participam nas suas escolas ou nas suas comunidades. A partir do repertório de experiência desses alunos, promove-se a interação com o novo, a aproximação com a leitura de livros que, se não forem lidos na escola, talvez não o sejam em lugar algum. Dos aromas, das comidas, das brincadeiras, das músicas de festas — como a junina, a cavalhada, a congada, a folia de reis e o natal — são construídas ligas com os temas, personagens, enredos e com o ambiente das histórias lidas e encenadas. São criadas cenas para vivenciar as festas, para antecipar o conteúdo da leitura de textos literários, para checar o que se lê, para reviver a seqüência de ações dos personagens e, também, para contar, recontar e criar novas histórias. Ler e escrever não se dissociam neste projeto. Do contexto das obras literárias, determina-se a seqüência 121 didática da escrita. Se Romeu e Julieta trocam bilhetes e, também na festa junina, acontece o correio elegante, as crianças escrevem cartas e as trocam, como “Romeus” e “Julietas”. Se Dom Quixote se envolve em mil aventuras, imortalizadas pela mão do seu autor-criador, as crianças também inventam seus heróis e escrevem suas aventuras. Se o Rei Artur reflete sobre quais estratégias usar para conquistar e apaziguar os povos que se rebelam contra seu poder, os meninos também escrevem, em seus diários de bordo, suas próprias reflexões sobre o esforço cotidiano que despendem para conquistar mais e novos conhecimentos. A leitura dá a régua e o compasso da escrita. Oferece a indicação do gênero a ser trabalhado e, além disso, com o teatro, aquece o imaginário e fortalece repertórios. Prontos, os textos são novamente encenados, para que, em grupo, com a parceria dos alunos, se atue sobre a coerência da produção. Esse trabalho se estabelece com o respeito necessário às práticas pedagógicas correntes nas várias escolas e cidades onde o Projeto Criança se instala. Por isso, procura cumprir a tarefa de conciliar os tempos de ação na urgência, característicos da escola, com os tempos da formação, a qual, à frente das questões mais rotineiras, constrói novos encaminhamentos e intervenções para as práticas de ensino em curso. Não parte dos sistemas de ensino, embora conte com as autoridades locais para a criação de condições estruturais e logísticas que viabilizem sua implementação: • constituição de acervo de livros da literatura universal; • garantia da presença dos profissionais nos encontros de formação; • estabelecimento de jornadas de trabalho que comportem tempos remunerados para a irradiação, acompanhamento e avaliação do projeto nas escolas. É de adesão voluntária, mas demanda esforço individual de estudo, compromisso com a experimentação das atividades construídas nos encontros de formação e registro, em diário de bordo, da experiência que toma teatro como meio para ensinar a ler e a escrever com compreensão, autonomia e prazer. Implica flexibilizar a gestão, ou seja, organizar grupos de relações horizontais que, em intenso trabalho coletivo, reflitam sobre as práticas de ensino da leitura e da escrita em curso, bem como promovam a apropriação de “competências leitoras e escritoras” entre todos os alunos das 4ª e 5ª séries. Cadernos Cenpec 2007 n. 3 O Projeto compromete-se em acompanhar e avaliar os resultados de aprendizagem conquistados pelos alunos. O processo de elaboração da prova Para nós, avaliar e acompanhar a implementação do projeto e medir seus resultados com base em alguns indicadores tem sido, mais do que uma tarefa, um compromisso. Na cultura dos parceiros do Projeto está a origem da decisão de sempre ter os olhos bem abertos para saber se os rumos previamente estabelecidos no plano do projeto estão sendo seguidos. Para isso, desenvolvemos um modelo de avaliação composto pelos seguintes indicadores: 1. Gestão do projeto na secretaria: • abrangência e infra-estrutura das escolas; • acesso ao material pedagógico; • carga horária do professor; • presença dos profissionais nos encontros de formação. 2. Gestão do projeto na escola: • organização dos horários de trabalho coletivo e dos horários de trabalho individual; • formação de grupos horizontais de gestão do projeto; • irradiação do projeto nas escolas; • acompanhamento das práticas de ensino do projeto nas escolas; • presença do Diário de Bordo; • organização do espaço da escola. 3. Gestão do projeto na sala de aula: • presença do Clube de Leitura; • execução da seqüência de atividades (festa, leitura e escrita, mediadas por cenas); • presença dos ateliês das seqüências didáticas de gêneros orais e escritos (leitura e escrita, mediadas por cenas); • presença do Diário de Bordo (professor e aluno); • acompanhamento das produções dos alunos. 4. Formação: • grau de apropriação dos conceitos e das propostas de trabalho desenvolvidas na formação; • grau de apropriação dos gêneros textuais desenvolvidos na formação (diário de bordo, roteiro de cenas, contos etc.); • elaboração de seqüências de atividades e seqüências didáticas de gêneros orais e escritos. 122 5. Aprendizagem: • grau de apropriação do uso das cenas como recurso para evidenciar compreensão na leitura — seqüência de ações, caracterização dos personagens, do tempo e do espaço; • grau de apropriação de estratégias pessoais de leitura — leitura de indícios, antecipação e verificação; • grau de apropriação de estratégias de leitura dramatizada; • presença de escrita espontânea nos gêneros trabalhados; • presença de parceria com os alunos no aperfeiçoamento dos seus textos escritos (cenas); • grau de apropriação dos gêneros, entrevista e exposição oral. Como forma de completar esse percurso avaliativo, a equipe propôs-se a elaborar um instrumento que desse um passo à frente em relação à matriz avaliativa do projeto, buscando obter dados relativos à aprendizagem dos alunos. A equipe do Cenpec responsável pelo Projeto ponderou que uma avaliação de aprendizagem poderia ser realizada de várias formas, mas, em larga escala, a escolha por provas seria eficiente e daria efetividade ao processo de avaliação. Após discussões com os participantes, chegou-se à conclusão de que a prova se justificaria, em sua elaboração e aplicação, se, além de obter resultados de aprendizagem dos alunos, se transformasse em uma experiência de aprendizagem para a equipe escolar. Com esse objetivo é que a prova foi elaborada e aplicada: além de mostrar resultados de aprendizagem dos alunos, ela poderia dar aos participantes e parceiros do Projeto a ocasião de aprender a elaborar um instrumento de avaliação em construção coletiva. Durante os encontros de formação de 2005, quando os resultados do SAEB - Sistema Nacional de Avaliação da Educação Básica, Saresp - Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo e Simave - Sistema Mineiro de Avaliação da Educação Pública eram apresentados para a discussão de aprendizagem, a equipe do Cenpec percebeu certa dificuldade dos professores em entender os dados, compreender o que significavam os indicadores e descritores dessas avaliações governamentais e, por vezes, uma certa resistência em aceitar que esses dados pudessem representar resultados de aprendizagem de seus alunos. Como estudantes Cadernos Cenpec 2007 n. 3 !EXPERIÂNCIADE ELABORA¿»OEAPLICA¿»ODE UMAPROVASEMELHANTEAO 3!%"PODERIAAUXILIAROS PROFESSORESACOMPREENDER MELHORESSAFORMADE AVALIARECASOOSRESULTADOS FOSSEMSEMELHANTESAOSDAS AVALIA¿ÍESGOVERNAMENTAIS AEXPERIÂNCIAAINDA PODERIACONÙRMAR ASINDICA¿ÍESSOBREA APRENDIZAGEMDOSALUNOS que iam tão bem nas provas elaboradas por seus próprios professores poderiam ter resultados aquém do esperado nas avaliações governamentais, como o SAEB? A experiência de elaboração e aplicação de uma prova semelhante ao SAEB poderia auxiliar esses profissionais a compreender melhor essa forma de avaliar e, caso os resultados fossem semelhantes aos das avaliações governamentais, a experiência ainda poderia confirmar as indicações sobre a aprendizagem dos alunos. Como a prova foi elaborada Uma das condições fundadoras do Projeto é a parceria. Seus produtos são sempre elaborados em parceria com os professores participantes da formação. Assim, no seu início, não contava com materiais e metodologia prontos a serem simplesmente utilizados pelos professores. Os encontros de formação tinham como objetivo a discussão de práticas pedagógicas do ensino da Língua Portuguesa e da gestão escolar, e os produtos das formações eram testados pelos professores em suas aulas. Esse modo de trabalho foi aplicado à elaboração da prova. No início de 2006, as escolas e secretarias municipais de educação participantes do Projeto Criança foram consultadas sobre a sugestão do Instituto Algar de elaboração e aplicação de uma prova. A sugestão foi aceita e a equipe do Cenpec passou a definir estratégias para elaborar essa prova em parceria com os participantes da formação. 123 Construir uma prova a 600 mãos — há aproximadamente 300 profissionais que participam das formações do Projeto — não é uma tarefa muito fácil. Mas não poderia ser feita de outra maneira. Como sustentar o princípio da participação e da construção coletiva de uma proposta se se chegasse às escolas com uma prova pronta? Foi necessário tornar participativa a formulação do instrumento de avaliação, com todas as implicações que isso pudesse acarretar. Durante as videoconferências, realizadas em fevereiro e março de 2006, foram definidos alguns critérios de elaboração da prova, a saber: • deveria ser feita de forma coletiva, em função da natureza do Projeto e dos objetivos a que se propunha (transformar-se numa experiência de aprendizagem para professores e profissionais do Cenpec); • deveria medir habilidades de leitura e de escrita ligadas às atividades desenvolvidas no Projeto Criança. Por isso, restringir-se-ia a avaliar estas habilidades ligadas aos gêneros narrativos; • seus resultados deveriam ser analisados com os outros indicadores de avaliação do projeto; • o SAEB, sendo a única avaliação realizada em todos os estados onde o projeto acontece, serviria como modelo. Para dar início às atividades de 2006, em função de haver muitos participantes novos no Projeto, o Cenpec enviou às escolas um questionário para obter informações sobre o perfil desses participantes. Todos o preencheram. Já sabendo que a prova deveria ser elaborada, nele constava a seguinte questão: “Se você fosse elaborar uma prova de leitura e escrita para seus alunos, qual(is) texto(s) utilizaria?” Diversas sugestões foram apresentadas. Chamounos a atenção a uniformidade de gêneros textuais apresentados: • 22% das sugestões eram fábulas; • 18%, contos de fadas; • 17%, textos informativos; • 15%, contos de aventura; • 10%, poemas; • 18%, outros gêneros (histórias em quadrinhos, crônicas, romance, auto-ajuda). Dessas sugestões, foram excluídos os textos informativos, os poemas e os outros, pois os textos-base da prova deveriam ser narrativos. Assim, ficamos com fábulas, contos de fadas, contos de aventura. Cadernos Cenpec 2007 n. 3 Diante da impossibilidade de se privilegiar um desses três gêneros em detrimento dos outros, acabamos por sugerir a elaboração de mais de uma prova. O que tornou isso possível foi a seleção das habilidades “leitoras e escritoras” que seriam avaliadas. Para a leitura, foram elaboradas questões baseadas em cinco habilidades pertinentes ao texto narrativo, em igual distribuição nas diferentes provas: • reconhecer e identificar os elementos da narrativa; • reconhecer e identificar o conflito que gera a narrativa; • reconhecer o tema do texto; • identificar e localizar uma informação explícita no texto; • inferir uma informação implícita no texto. Na escrita, houve a mesma preocupação em uniformizar as habilidades. Essas habilidades, distribuídas nas provas de maneira idêntica, permitiriam uma posterior comparação de resultados, caso isso fosse realizado. Para se chegar a elas, foi necessário discutir com o grupo de professores o que é uma “habilidade leitora”, o que é uma “habilidade escritora” e como elaborar questões relativas a elas. Isso deu a todos os participantes uma idéia da forma como são preparadas avaliações baseadas em habilidades, bem como da estabilidade que esse tipo de avaliação pode proporcionar na hora da análise de seus resultados. Cumpre dizer, ainda, que cabia aos professores escolher a prova a ser aplicada a seus alunos. É interessante notar que as escolhas dos professores seguiram a tendência dos gêneros textuais indicados, sendo que 30,5% escolheram a prova baseada na fábula; 62,2%, a prova baseada no conto de fadas; e 7,3%, a prova baseada no conto de aventura. Para facilitar o posterior trabalho de correção, no que se refere à leitura, as questões das provas eram objetivas, com quatro alternativas para cada uma. As questões foram elaboradas pela equipe do Cenpec e, quando estavam prontas, foram discutidas e testadas com a intenção de mostrar a sua pertinência em relação às habilidades a serem avaliadas, bem como os problemas surgidos (por exemplo, na parte de leitura, questões em que pudesse haver mais de uma resposta aceitável). Corrigidos os problemas, encerramos o processo de elaboração, ao qual se seguiu a fase da aplicação e da correção. 124 A aplicação e a correção Como forma de assegurar a lisura dos resultados, o encaminhamento da aplicação foi feito também via videoconferências, nas quais foram combinados os critérios para a aplicação: o aplicador deveria preencher uma ficha com os nomes de todos os alunos que realizassem a prova, orientar o grupo a fazer uma leitura prévia de toda a avaliação antes de começar a responder e não poderia esclarecer dúvidas pertinentes ao texto nem às questões. Ao final da aplicação, em outra ficha, deveria anotar eventuais ocorrências, bem como o tempo gasto para as respostas. Como os professores das escolas estavam a par de todo o processo, porque dele participaram, foram eles os próprios aplicadores. Já que havia diferentes provas, ficou a cargo de cada escola escolher, com o seu grupo de professores, qual delas seria aplicada. Assim, os professores puderam optar pela prova que achassem mais adequada aos seus alunos. A única solicitação do Cenpec, quanto à escolha, foi a de que os professores elaborassem uma justificativa. Nessa fase, houve o cuidado de não se divulgar o gabarito das questões objetivas: foi solicitado que cada professor que aplicasse a prova a seus alunos respondesse às questões e elaborasse seu próprio gabarito. Esse cuidado, além de, mais uma vez, colocar o professor como participante da construção da avaliação, poderia revelar se as respostas dadas pelos professores e aquelas consideradas corretas pela equipe do Cenpec eram compatíveis. No momento da correção, poderiam, por exemplo, ser descartadas as questões que estivessem em desacordo com os gabaritos. Após a aplicação, cada professor deveria entregar as provas ao diretor da escola, acompanhadas da lista de alunos, da justificativa de escolha e do gabarito do professor. Assim foi feito, e os diretores encaminharam as avaliações ao Cenpec. Quanto ao processo de correção, vale dizer que a análise dos gabaritos enviados pelos professores revelou absoluta adequação entre as respostas dadas por eles e o gabarito do Cenpec. Houve apenas poucos casos isolados de não-concordância, em um número ínfimo de questões (apenas duas, em todas as provas). A correção foi realizada pela equipe do Cenpec. Cadernos Cenpec 2007 n. 3 Alguns resultados dessa experiência até o momento O efeito mais significativo, já perceptível durante os encontros de formação realizados no segundo semestre de 2006, foi o fato de os professores terem começado a se preocupar com os resultados das avaliações oficiais, como o SAEB e a Prova Brasil. Além disso, mostraram-se muito mais prontos a interpretá-los à luz de suas práticas docentes, passando a reconhecê-los como válidos. A rejeição surgida no grupo de professores, no início do Projeto Criança, em relação à análise de dados provenientes das avaliações governamentais, já não se colocava no grupo de educadores do Projeto Criança. Nossa hipótese inicial era a de que os resultados apresentariam um desempenho médio dos alunos em cada uma das habilidades (superior a 60%), o que se confirmou a partir dos dados a seguir: • 69,1% dos alunos reconhecem e identificam os elementos da narrativa; • 63,9% reconhecem e identificam o conflito que gera a narrativa; • 72,4% reconhecem o tema do texto; • 79,1% identificam e localizam uma informação explícita no texto; e • 64% inferem uma informação implícita no texto. No entanto, é importante salientar que esses dados requerem análises mais aprofundadas, que estabeleçam as relações necessárias entre eles e os outros indicadores, acima citados. Mesmo assim, já promovem significado para os professores, que se sentem mais responsáveis por encaminhá-los e, por isso, comprometidos com a estruturação de novas estratégias de melhoria da aprendizagem dos alunos. A avaliação fortaleceu a importância do ensino do texto narrativo para os professores. No início do Projeto, muitos deles tinham dificuldade em compreender os elementos e a estrutura textual da narrativa, assim como a identificação dos gêneros narrativos. A discussão em torno das “habilidades leitoras” para o texto narrativo mudou essa situação. Isso se refletiu indiretamente até nas escolhas dos professores: no início do ano, os textos sugeridos por eles, para o trabalho com os alunos e até para a elaboração da prova, restringiam-se a narrativas curtas e a gêneros de pouca complexidade, como as fábu- 125 las e os contos de fadas. No fim do ano, as opções de leitura, efetuadas pelos mesmos professores, incluíam textos mais longos e complexos, o que indica que eles passaram a acreditar que seus alunos seriam capazes de ler textos mais longos do que aqueles que sugeriram antes. Durante o processo de elaboração da prova, ficou evidente, para a equipe do Cenpec, a necessidade urgente de o projeto ter uma transposição mais direta para a sala de aula, com a explicitação clara de modelos que pudessem ser recriados nas classes. Nesse sentido, a própria prova serviu como modelo para outras situações de avaliação, das quais se pôde ter notícia ao longo do ano, no acompanhamento das atividades do Projeto (professores participantes do Projeto se aventuraram a criar suas provas a partir de habilidades de leitura e escrita). Assim sendo, haver elaborado uma prova de forma participativa se tornou uma grande experiência de aprendizagem para todos: participantes e equipe do Cenpec. Contribuiu para que a avaliação pudesse ser mais bem apropriada pelos professores e para criar uma mentalidade propositiva em relação à parceria entre professores e alunos nesse processo. Notas 1 2 3 4 Os três autores compõem a equipe do Projeto Criança no Cenpec. O Instituto Algar de Responsabilidade Social está ligado às empresas do Grupo Algar, com sede em Uberlândia, Minas Gerais, e financia projetos educacionais, dos quais participam escolas públicas dos municípios onde as empresas do Grupo atuam. Esses projetos têm assessoria educacional de ONGs como o Cenpec. A videoconferência é um dos instrumentos do Projeto Criança para a gestão compartilhada: em 2005, mensalmente, todos os participantes do projeto se reuniam, via videoconferência, com o Cenpec. Durante essas reuniões, acompanhavam-se as ações dos professores e também se tomavam decisões no âmbito da gestão. Estas videoconferências aconteciam alternadamente com os encontros mensais de formação, de modo que, quinzenalmente, a equipe do Cenpec encontrava-se com os participantes do Projeto. Em 2006, esse esquema de reuniões se manteve, alternando encontros de formação presenciais e videoconferências. Graças a isso, foi possível a elaboração da prova durante fevereiro e março de 2006. Segundo alguns pesquisadores (ver: Brandão; Spinillo. Aspectos gerais e específicos na compreensão de textos. Universidade de Pernambuco, 1998. Disponível em: <http://www.scielo.br/scielo.php?script=sci_ arttext&pid=S0102-79721998000200006&lng=pt&nrm=iso.htm>), a compreensão pode ser avaliada pelo reconto — paráfrase — ou por questões baseadas em habilidades específicas. No primeiro caso, considera-se o texto como um todo, e se avalia a compreensão em relação às informações nele contidas; no segundo, as questões permitem focalizar informações e partes específicas do texto. Cadernos Cenpec 2007 n. 3 125 Cadernos Cenpec 2007 n. 3 126 Cadernos Cenpec 2007 n. 3 ARTIGO Ana Maria Falsarella Vanda Noventa Fonseca* /IMPACTOPOSITIVO DO0ROGRAMA -ELHORIADA %DUCA¿»ONO -UNICÅPIO 1 uais mudanças no modo de gerir a política educacional dos municípios podem ser atribuídas à formação recebida pelos gestores participantes do Programa Melhoria da Educação no Município? Quais os impactos do Programa na política municipal de educação, no rendimento escolar dos alunos e na atuação profissional dos participantes? Considerando essas duas questões, a equipe técnica que coordena o Programa Melhoria da Educação no Município concebeu, formulou e desenvolveu a primeira avaliação de impacto1 do trabalho realizado. A intenção foi averiguar as mudanças ocorridas, sua consolidação e seus reflexos na educação das crianças e adolescentes dos municípios, cujos gestores participaram do processo de formação desenvolvido pelo Programa. Múltiplos são os conceitos correntes de avaliação social. Ao se adotar um deles, é preciso saber exatamente quais objetivos se pretende avaliar e quais valores, implícitos ou explícitos, estão envolvidos. Como Brant de Carvalho (2005), entendemos que avaliar vai além de medir; significa fazer um julgamento baseado em um referencial de valores: Avaliação é atribuição de valor sobre o grau de eficiência, eficácia e efetividade de políticas, programas e projetos sociais com base em pressupostos teórico-políticos, parâmetros e padrões que asseguram objetividade e comparação na atribuição de valor (Brant de Carvalho, 2005, p. 56 ). Pretendemos, com este artigo, divulgar e compartilhar os resultados encontrados nesta avaliação. Para tanto, começamos com uma apresentação do Programa; depois, * Ana Maria Falsarella, pedagoga, doutora em Educação pela PUCSP, pesquisadora do Cenpec e professora do curso de Pedagogia da Uniban-SP. Vanda Noventa Fonseca, psicopedagoga, pesquisadora do Cenpec, coordenadora do Programa Melhoria da Educação no Município. 127 Cadernos Cenpec 2007 n. 3 explicitamos os procedimentos de pesquisa adotados e seus principais resultados; finalmente, realizamos uma apreciação dos resultados. Programa Melhoria da Educação no Município Resultado de uma iniciativa da Fundação Itaú Social (FIS) e do Unicef (Fundo das Nações Unidas para a Infância), com apoio da Undime (União Nacional dos Dirigentes Municipais de Educação) e sob a coordenação técnica do Cenpec (Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária), o Programa teve início em 1999, com o seguinte objetivo: Contribuir para a formação de gestores municipais na formulação e na gestão compartilhada de políticas públicas educacionais, tendo por objetivo o ingresso, a permanência, o progresso e o sucesso na aprendizagem de todas as crianças e adolescentes de seus municípios. Entre 1999 e 2006, o Programa esteve presente em 17 estados brasileiros: AC, AL, AP, AM, BH, CE, GO, MA, MT, MG, PA, PB, PE, PI, RN, SP, SE, abrangendo 1.237 municípios. Nesse período, foram capacitados 3.210 agentes educacionais: gestores municipais, membros de conselhos de defesa de direitos das crianças e adolescentes, coordenadores de organizações não-governamentais e de outras instituições da sociedade civil. Atualmente, o Programa se encontra em sua edição VIII, sendo que a avaliação de impacto abarcou as edições de II a V. O Programa é ancorado em três princípios básicos: 1. Contextualização Investigar a situação de atendimento aos direitos das crianças e adolescentes do município, com garantia da multiplicidade de olhares sobre a realidade e a singularidade local, considerando-se: espaço, tempo e saberes das pessoas que habitam o território. 2. Participação e Articulação Constituir e consolidar um grupo voltado à defesa dos direitos da criança e do adolescente, tendo a educação como foco, e estabelecer relações dialógicas que suscitem o debate e a reflexão entre os diferentes sujeitos e instituições responsáveis pela educação no município, de maneira que as decisões sejam tomadas de forma compartilhada e co-responsável. 3. Aprendizagem Contínua Reconhecer a formação dos gestores como processo 128 continuado de aprendizagem que possibilita a busca de alternativas para a superação das necessidades identificadas e o desenvolvimento de estratégias conjuntas de intervenção. Dentro de uma visão de educação para o desenvolvimento integral do ser humano, entende-se que as propostas educativas voltadas às crianças e adolescentes necessitam de ligação com a comunidade, não podendo ser impostas de forma descontextualizada. Requerem, portanto, consenso e articulação entre Estado e sociedade civil na formulação de políticas públicas que reconheçam a educação como um dos direitos sociais básicos. Considerando que propostas educacionais só se concretizam à medida que são desenvolvidas, o trabalho de formação de gestores municipais, neste Programa, é centrado na elaboração de um Plano de Ação Educativa (PAE)2 que toma por base a Avaliação Diagnóstica (AD) da situação educacional do município. Aposta-se que ganhos na aprendizagem dos alunos decorrem de uma gestão calcada em atitude diagnóstico-interventiva sistemática dos gestores. Portanto, o monitoramento sistemático da implementação do Plano é fundamental e faz parte do processo de formação. Ao propor a elaboração do diagnóstico da situação socioeducacional, o Programa visa à leitura da realidade, para que, considerando as potencialidades e as fragilidades educacionais do município, as prioridades (de curto, médio e longo prazo) sejam estabelecidas e as ações que levem à solução das situações-problema identificadas sejam propostas. Esta avaliação diagnóstica norteia e torna possível a elaboração de um plano de ação adequado às peculiaridades locais. Nesse sentido, os principais temas abordados no processo de formação do Programa têm como linha condutora: 1. a educação como um dos direitos sociais básicos — o município educador: crianças e adolescentes como sujeitos de direito à educação; 2. o papel dos Conselhos Municipais e dos Conselhos de Direitos das Crianças e dos Adolescentes; 3. a educação contextualizada à região; 4. a gestão escolar participativa e a elaboração do projeto político-pedagógico pelas escolas do sistema; 5. a análise estatística do desempenho escolar dos alunos como um dos componentes direcionadores da avaliação do plano de ação. Com a finalidade de subsidiar os gestores na efetivação Cadernos Cenpec 2007 n. 3 $ENTRODEUMAVIS»O DEEDUCA¿»OPARAO DESENVOLVIMENTOINTEGRAL DOSERHUMANOENTENDESE QUEASPROPOSTASEDUCATIVAS VOLTADAS¸SCRIAN¿ASE ADOLESCENTESNECESSITAMDE LIGA¿»OCOMACOMUNIDADE N»OPODENDOSERIMPOSTASDE FORMADESCONTEXTUALIZADA das propostas apresentadas pelo Programa, os municípios participantes recebem, como material de apoio, o “kit Melhoria”, composto por um conjunto de publicações e vídeos produzidos pelo Cenpec e editados pela FIS.3 Duas são as modalidades de formação, sempre envolvendo encontros presenciais e monitoramento à distância: a. formação direta: as formadoras que compõem a equipe do Programa atuam diretamente junto aos gestores dos municípios participantes; b. formação indireta (formação de formadores): em Núcleos Regionais de Formação (NRFs), a equipe do Programa prepara e habilita técnicos de determinados municípios para atuarem como formadores em Núcleos Municipais – NMs, que englobam municípios de uma mesma região, disseminando as orientações e a metodologia do Programa. Antecedem os encontros de formação as reuniões de concertação, quando se realizam o primeiro contato com os municípios envolvidos e a articulação para o desenvolvimento do trabalho, de acordo com as peculiaridades de cada região. Durante a concertação, em conjunto, são combinadas decisões e discutidas as demandas educacionais locais. No último encontro, é realizado um Seminário de Avaliação e Socialização de Experiências, quando, além da avaliação do processo de formação, são apresentados os resultados alcançados pelos municípios participantes quanto à implementação de seus planos de ação. A avaliação das ações, parte integrante da formação, tem como característica a multidimensionalidade, o que envolve seu desdobramento em diferentes tipos de registro. Sempre com enfoque participativo e formador, o 129 SM&A (Sistema de Monitoramento e Avaliação) do Programa vale-se de quatro tipos de avaliação: 1°. Ex-ante Antecede a implantação do Programa, quando são explorados o contexto e o perfil dos participantes, que guiarão a elaboração das metas, dos objetivos e do desenho adequado de intervenção. 2°. Avaliação de Processo Acontece por meio de monitoramento dos municípios, identificando-se os pontos fortes e as dificuldades que surgem durante o desenrolar do Programa, para possíveis aperfeiçoamentos e correções de percurso. 3°. Avaliação de Resultado Apresenta os resultados alcançados ao final do processo ou de uma de suas etapas, verificando a efetividade da proposta de responder às necessidades constatadas, diante das metas estabelecidas. Toma, por base, a apresentação da Avaliação Diagnóstica e do Plano de Ação Educativa. 4°. Avaliação de Impacto Seu objetivo é levantar as repercussões do Programa nas políticas públicas locais para a educação, após o término do período de formação, quer dizer, tratase de uma avaliação pós facto que observa a influência do “Melhoria” em médio e longo prazo nas regiões contempladas. A. O estudo avaliativo sobre o impacto do Programa A discussão referente ao impacto do Programa na gestão municipal e, em última instância, na qualidade da educação oferecida aos alunos, é delicada e complexa. Por mais que sejam associados procedimentos qualitativos a procedimentos quantitativos e por mais que a relevância e a confiabilidade da avaliação tragam credibilidade ao trabalho, sabemos que os resultados de um programa educacional nunca são lineares, pois muitas são as variáveis intervenientes. Além disso, sempre há uma boa dose de subjetividade presente, a começar pela seleção dos aspectos a serem observados e dos critérios de análise. Assim, seu produto final traz indicadores, nunca certezas absolutas. A avaliação não tem um fim em si: seu objetivo é produzir um conhecimento que possa direcionar decisões sobre a reformulação e/ou continuidade das ações, na busca Cadernos Cenpec 2007 n. 3 constante de maior eficácia e eficiência. Confronta os objetivos enunciados com os de fato concretizados. Em particular, uma avaliação de impacto analisa mudanças significativas e permanentes que ultrapassam os resultados imediatos de um projeto. A implementação de políticas públicas é um processo múltiplo e complexo que acontece em um espaço de decisões carregado de negociações, dissensos e consensos, inerentes a forças políticas e níveis de governabilidade dos gestores, contexto este que não pode ser desconsiderado na realização da pesquisa. Assim, na seleção dos indicadores, na coleta de dados e na análise dos resultados, foram considerados, por um lado, a sua compatibilidade com os princípios norteadores do Programa e, por outro, as condições do ambiente social, institucional e organizacional ao qual estão ligados os gestores. Procurou-se levantar parâmetros comuns, porém, respeitando e incorporando distintas realidades municipais. Este estudo, realizado em 2006, toma por referência as mudanças derivadas da implementação do Plano de Ação, singular às peculiaridades locais, e elaborado com base na Avaliação Diagnóstica. Constitui seu objetivo central: Verificar a repercussão, a consolidação e a permanência de alterações, desencadeadas nas políticas públicas para a educação das crianças e adolescentes dos municípios participantes do Programa, que podem ser atribuídas à formação recebida pelos gestores. Melhor esclarecendo, a presente avaliação buscou conhecer, decorrido um período de 12 a 24 meses após o término da formação, a ocorrência de impactos nos beneficiários diretos — a política municipal de educação e os participantes — e nos beneficiários indiretos — os alunos dos sistemas municipais de ensino. Ela abarcou 483 municípios, de 13 estados da Federação, que participaram do Programa entre as Edições II (2000) e a Edição V (2003). Nestas edições, a formação acontecia em um ano, por meio de dois encontros semestrais, nas modalidades de formação direta ou indireta. O Quadro I apresenta a delimitação do universo da pesquisa. QUADRO I UNIVERSO DA PESQUISA Região Estado Total de Municípios* Norte AC 22 Nordeste Edições II MA 35 III PB 127 III, IV, V RN 27 IV AL 25 III PI 21 III, V SE 21 IV BA 16 V CentroOeste MS 23 II GO 21 III , IV Sudeste MG 34 III,IV SP 126 II,III Definiram-se como objetivos específicos: (*) Nesta coluna, o total de municípios é de 501. Para compor o universo da pes- 1. Observar mudanças na gestão educacional dos municípios, nos resultados escolares e nas ações e procedimentos dos atuais gestores dos municípios que podem ser associadas ao Programa. 2. Observar em que medida as estratégias da gestão educacional contribuíram para a democratização da aprendizagem — melhoria dos padrões de acesso, permanência e qualidade. 3. Identificar a consolidação dos princípios propostos pelo Programa (contextualização, participação e articulação, e aprendizagem contínua) na gestão educacional em exercício atualmente nos municípios. 4. Identificar a consolidação e a utilização adequada de aprendizagens conquistadas pelos participantes do Programa na função que exercem atualmente. 130 quisa, foram desconsiderados os municípios que participaram mais de uma vez do Programa, o que explica o total de 483 municípios (e não 501). Para a caracterização dos municípios participantes deste estudo, foram sistematizados os seguintes dados: porte da população e distribuição dos municípios nas regiões brasileiras, segundo o IDH-M. Os municípios pequenos4 foram os que mais participaram do Programa, o que trouxe repercussões à seleção realizada para este estudo. Dentre os 483 que compõem a amostra, 333 são de pequeno porte e, na maioria, com IDH-M até 0,6138. Destes, 131 estão localizados na Região Nordeste. Partindo dos princípios do Programa — contextualização, articulação e participação, e aprendizagem contíCadernos Cenpec 2007 n. 3 nua — foram definidos três eixos estruturantes que serviram para orientar a formulação, a aferição e a análise dos indicadores: 1º A Política Municipal de Educação Ganhos na qualidade da gestão educacional, derivados da consolidação de mudanças no modo de gerir a Educação, no que se refere à maior participação e partilha de decisões. 2º Os Alunos Avanços no rendimento escolar dos alunos das escolas municipais, como repercussão das alterações na gestão educacional, advindas da participação do município no Programa. 3º Os Participantes Benefícios em relação aos conhecimentos técnicos e ao compromisso com as políticas públicas educacionais. tro-Oeste e Sudeste), num total de oito, para receberem a visita técnica dos pesquisadores do Cenpec: Acrelândia (AC), Alagoa Grande (PB), Catalão (GO), Itapeva (SP), Minaçu (GO ), Pocinhos (PB), Senador Guiomard (AC) e Sud Minnucci (SP). Aos municípios de Alagoa Grande e Pocinhos (ambos da Paraíba), outro foi acrescentado: a possibilidade de um estudo longitudinal, dando continuidade a pesquisas anteriormente realizadas pelo Programa e documentadas nas publicações: Relatório de avaliação – Núcleo Regional de Formação da Paraíba, e Municípios em Busca da Melhoria da Educação no Município. Uma coisa que ficou muito forte em relação ao Melhoria foi incentivar a participação da comunidade, de fazer com que a cidade se transformasse mesmo numa cidade educadora, que a educação não ficasse somente nas escolas, tivesse outras formas, que não fosse uma coisa restrita ao conteúdo de sala de aula, mas uma coisa Optou-se por uma abordagem metodológica pluralista, isto é, quali-quantitativa, que associa a lógica dos atores, estabelecida a partir da avaliação qualitativa, ao sistema de ação, observado por meio de dados quantitativos. Entende-se que a avaliação quantitativa revela os impactos nas variáveis objetivas, mas não explica os motivos pelos quais um projeto provoca ou não mudanças na realidade e na vida das pessoas. Só a avaliação qualitativa adensa e ilumina a análise, pois leva em conta o contexto, a historicidade, o movimento da realidade, a fala dos sujeitos, a compreensão dos saberes e as características culturais de determinada localidade. Consoante a esse entendimento, foram adotados diferentes procedimentos de pesquisa para a coleta de dados: pesquisa de opinião, pesquisa de campo e estudo estatístico sobre indicadores socioeducacionais. Os resultados observados na condução da política educacional municipal e na atuação dos participantes do Programa foram aferidos por intermédio de pesquisa de opinião (questionários enviados aos atuais secretários municipais de educação e aos participantes da formação à época do desenvolvimento do Programa) e de pesquisa de campo (visitas técnicas a oito municípios beneficiários do Programa nas edições selecionadas). Com relação à pesquisa de campo, considerando a abrangência nacional do Programa em quatro das cinco regiões brasileiras e a diversidade de contextos dessas regiões, foram selecionados dois municípios de pequeno a médio porte de cada uma delas (Norte, Nordeste, Cen- 131 de que os pais participassem, em que a comunidade estivesse presente dentro da escola. MARIA GORETT SANTOS Secretária Municipal de Educação de Alagoa Grande/PB Além da pesquisa de opinião e da pesquisa de campo, foi realizado também o estudo estatístico sobre os indicadores socioeducacionais dos municípios, um ano antes e um a dois anos após o período de formação. Por intermédio desse estudo, procurou-se avaliar se houve repercussões positivas na trajetória escolar dos alunos das redes escolares envolvidas, levantando-se índices relativos a aprovação, reprovação, abandono e distorção idade-série. Foram pesquisados, ainda, os indicadores sobre o contexto social e econômico desses municípios – IDH-M e estimativa populacional – e suas possíveis influências nos resultados do Programa. Estabeleceu-se uma comparação entre os dados dos municípios participantes, chamado Grupo Tratamento – GT, e os dados de municípios não-participantes, mas com perfil semelhante, que constituíram o Grupo Controle – GC. Finda a coleta de dados, procurou-se estabelecer um corpo explicativo coerente para as informações obtidas. Uma série de procedimentos de análise, citados a seguir, foram utilizados no tratamento dado às informações: • análise comparativa dos índices socioeducacionais dos municípios constantes da amostra um ano antes e um ou dois anos após a participação no Programa, Cadernos Cenpec 2007 n. 3 cotejando-os com os dados dos municípios do Grupo Controle; • tabulação, categorização e organização das respostas dos questionários; • estabelecimento de categorias explicativas para o trabalho de caráter qualitativo desenvolvido em campo; • comparação das práticas observadas e das falas dos atores envolvidos com as respostas aos questionários e os dados objetivos coletados na pesquisa de campo. Por fim, com base nesses procedimentos, chegou-se à análise avaliativa, comparando-se as informações obtidas com os três princípios básicos do Programa: contextualização, participação e articulação, e aprendizagem contínua. B. Indicadores de gestão e resultados: pesquisa de opinião e pesquisa de campo Para a análise das respostas aos questionários e dos relatórios de visitas técnicas, foram levantados indicadores que revelassem o impacto nos beneficiários diretos do Programa, quer dizer, nos ganhos obtidos no que tange ao sistema municipal de educação e à atuação profissional dos participantes. Optou-se pela apresentação e análise conjunta dos dados oriundos destes dois procedimentos (questionário e visita técnica), uma vez que os resultados encontrados estão imbricados de tal forma que as respostas aos questionários foram ilustradas pelas estratégias singulares que os municípios visitados em campo encontraram para seus contextos. Procurou-se identificar como os gestores atuais conduzem a política educacional em seus municípios, ou seja, quais traços distinguem suas gestões. Freqüentemente, os sistemas educacionais encontram muita dificuldade para criar espaços que possibilitem compartilhar conhecimentos ou tomar decisões coletivamente. Entende-se que a transparência nas decisões favorece a autonomia dos sujeitos, amplia a percepção das necessidades locais e possibilita uma atuação mais eficaz dos envolvidos. O Programa Melhoria enfatiza a importância de uma cultura democrática de partilhar responsabilidades e de tomar decisões baseadas em informações claras e objetivas. Nesta direção, buscou-se aferir indicadores da gestão educacional nas seguintes dimensões: implantação de gestão participati- 132 va e compartilhada; compromisso com a aprendizagem — acesso à escola e ao conhecimento. O Quadro II apresenta os indicadores levantados relativos à gestão, e o Quadro III, os indicadores relativos à aprendizagem dos alunos. QUADRO II INDICADORES RELATIVOS À GESTÃO LEITURA DA REALIDADE AVALIAÇÃO DIAGNÓSTICA INTERVENÇÃO NA REALIDADE PLANO DE AÇÃO • coleta e análise de informações da situação educacional do município, das condições de vida das crianças e adolescentes, e das potencialidades educativas da cidade, realizada por meio de um processo de construção coletiva; • consulta a fontes oficiais (dados primários e secundários); • pesquisa de opinião dos ativos sociais do município; • participação de diferentes secretarias e instituições do município na elaboração da Avaliação Diagnóstica. • planejada e implementada coletivamente; • elaborada a partir das necessidades apontadas no processo da avaliação diagnóstica; • articulada com diferentes setores da sociedade civil, organizações não-governamentais e governos federal e estadual; • utilização de práticas avaliativas; • socialização de informações; • estabelecimento de relações entre municípios da região, com a perspectiva de formação de redes; • utilização das publicações e/ou vídeos do Programa. Discriminaremos, a seguir, a síntese dos principais pontos constatados que evidenciam a contribuição do “Melhoria” para uma gestão mais eficaz: 1. uma atitude investigativa que direciona a decisão em relação a possíveis intervenções parece haver se sedimentado entre os participantes: a coleta e a análise de informações para a leitura da realidade é uma estratégia de gestão amplamente citada, bem como a prática de consulta a fontes oficiais de dados e informações (IBGE, MEC–INEP) e às avaliações externas (SAEB, Prova Brasil), para se verificarem os resultados do trabalho e nortear as intervenções na gestão municipal; 2. comunicação, transparência e participação são aspectos estreitamente relacionados. Nesse sentido, pôdese observar os cuidados dos gestores quanto ao uso de diferentes instrumentos para a divulgação das ações da SME e para chamar os vários segmentos envolvidos Cadernos Cenpec 2007 n. 3 QUADRO III INDICADORES RELATIVOS À APRENDIZAGEM Acesso Existência de ações que visem: Permanência Existência de ações que visem: • ao atendimento à demanda • ao controle da freqüência dos escolar; alunos; • à provisão de equipamentos e da • à adequação do calendário escolar; estrutura física; • à recuperação da aprendizagem. • ao fornecimento do transporte escolar. com a educação nos municípios, a fim de compartilhar as decisões (estações de rádio, carros de som, reuniões, assembléias), o que revela o empenho em se estabelecer uma gestão democrática e participativa; 3. a articulação de diferentes sujeitos e instituições envolvidas com a educação é um dos princípios do Programa, no sentido de diminuir o distanciamento entre as pessoas e a fragmentação de ações; nessa direção, destaca-se a alta freqüência de respostas dos gestores no que diz respeito ao envolvimento das famílias dos alunos e ao estabelecimento de alianças e parcerias com os sistemas estaduais e outras instituições cujas ações incidem sobre o mesmo território; 4. o Programa tem, como diretriz, incentivar os gestores a estabelecer procedimentos de convívio e tomada de decisão que desenvolvam as responsabilidades individuais e sociais; o posicionamento dos gestores, que permeia todo esse estudo, demonstra o compromisso com o estabelecimento de uma cultura democrática em seus municípios, que dê voz e vez a todos os envolvidos nas políticas públicas, estejam eles ligados direta ou indiretamente à educação, já que todos contribuem com seus distintos trabalhos para a vida em sociedade.5 C. Ações destacadas No entanto, todo o movimento desencadeado na busca de uma gestão verdadeiramente democrática e eficaz só ganha sentido se colocado a serviço da democratização da aprendizagem, ou seja, da garantia de acesso e permanência na escola, com ensino de boa qualidade a todas as crianças e adolescentes. Seguem as ações que foram destacadas pelos gestores, na avaliação, para cumprir essa premissa: a. o mapeamento dos espaços e das instituições educativas e o planejamento de ações para sua utilização, 133 Qualidade Existência de ações que visem: • à formação de professores; • à valorização de professores; • à construção e /ou reconstrução de currículos; • à elaboração e /ou revisão do projeto das escolas. visando proporcionar uma educação integral e abrir horizontes para além da sala de aula, é um ponto destacado pelo “Melhoria” no processo de formação. Os resultados apresentados neste estudo demonstram a ocorrência de trabalho educativo em diferentes espaços, o que possibilita aos alunos, ao participarem de ações extra-escolares, a ampliação de seu repertório de saberes; b. repensar os currículos escolares, contextualizando-os é outro aspecto destacado durante a formação dos gestores. Espera-se que sejam planejadas coletivamente ações para reorganizar os currículos, de modo que professores e alunos problematizem a realidade local para poder transformá-la. Os resultados apontados neste estudo mostram que esse processo já está sendo desencadeado nas escolas pelos gestores municipais; c. repensar e contextualizar o currículo implicam uma melhor formação dos profissionais da educação; também a formação continuada dos professores faz parte da pauta de preocupações dos gestores, conforme se pode averiguar no estudo aqui apresentado; d. rendimento escolar dos alunos das escolas municipais: indicadores levantados e resultados. O estudo do rendimento escolar dos alunos teve início com a constituição de dois grupos: um Grupo Tratamento – GT, composto pelos municípios que participaram do Programa, e um Grupo Controle – GC, composto por municípios não- participantes, mas com características semelhantes quanto à estimativa populacional e IDH-M. A partir daí, foi realizado o levantamento de indicadores educacionais (taxas de aprovação, reprovação, abandono e distorção idade-série) dos municípios de ambos os grupos, nos anos anterior e posterior ao desenvolvimento do Programa. Para as Edições II e III, foram considerados também os índices de dois anos posteriores ao desenvolvimento do Programa. Foi realizada, então, a comparação Cadernos Cenpec 2007 n. 3 entre os resultados dos indicadores do GT e do GC para se verificar se havia diferença significativa entre eles. O Quadro IV apresenta os indicadores selecionados para a indicação de impactos nos resultados escolares dos municípios participantes do Programa. QUADRO IV INDICADORES RELATIVOS AOS RESULTADOS ESCOLARES RESULTADOS ESCOLARES 1. 2. 3. 4. reprovação escolar aprovação escolar distorção idade-série abandono escolar Foram calculadas as variações para cada indicador, por meio da diferença entre as taxas anterior e posterior, e, em seguida, foi utilizado o Test-T, instrumento estatístico que sinaliza se houve diferença significativa entre as médias do GT, e do GC para cada indicador. O teste foi realizado em oito grupos de municípios parelhados: para cada município do GT, havia um município do GC. O estudo estatístico mostrou que houve impactos positivos nos resultados escolares nas escolas de redes municipais beneficiárias do Programa Melhoria da Educação no Município. Observou-se, ainda, que a ocorrência de impactos positivos foi mais significativa quando o município: • participa da modalidade direta de formação; • elabora efetivamente a Avaliação Diagnóstica; elabora e implementa efetivamente o Plano de Ação Educativa, tendo, por base, o diagnóstico realizado. A seguir, por meio de tabelas, discriminaremos as situações que provocaram maior impacto, considerando os indicadores levantados: a. Municípios que realizaram a Avaliação Diagnóstica, elaboraram o Plano de Ação e participaram de modalidade direta de formação: observou-se impacto nas taxas de aprovação, reprovação e abandono. A Tabela I apresenta as variações nas taxas de abandono, distorção idade-série, aprovação e reprovação dos municípios que realizaram Avaliação Diagnóstica e Plano de Ação, e participaram da modalidade direta de formação. b. Municípios que realizaram a Avaliação Diagnóstica e participaram da modalidade direta de formação: observou-se impacto nas taxas de aprovação, reprovação e abandono. A Tabela II apresenta as variações nas taxas de abandono, distorção idade-série, aprovação e reprovação dos municípios que realizaram Avaliação Diagnóstica e participaram da modalidade direta de formação. Considerando-se esses resultados, conclui-se que a formação dos gestores para a elaboração e a implementação de planos educacionais, a partir de diagnósticos voltados às realidades locais, conforme proposto pelo Programa Melhoria da Educação no Município, provoca ganhos no aproveitamento escolar dos alunos. Quando a realização da Avaliação Diagnóstica e do Plano de Ação é associada à modalidade direta de formação, os resultados se mostram mais significativos. • TABELA I AVALIAÇÃO DIAGNÓSTICA, PLANO DE AÇÃO E MODALIDADE DIRETA* n Média Desvio padrão Erro médio padrão Variação da taxa de distorção participação do programa Situação do município 90 -10,234 7,115 0,75 não participação no programa 90 -10,264 9,070 0,956 Variação da taxa de aprovação participação do programa 90 2,636 7,595 0,801 não participação no programa 90 -1,953 9,697 1,022 Variação da taxa de reprovação participação do programa 90 -0,167 5,539 0,584 não participação no programa 90 2,669 7,039 0,742 Variação da taxa de abandono participação do programa 90 -2,469 5,055 0,533 não participação no programa 90 -0,716 5,793 0,611 * Variações nas taxas de abandono, distorção idade-série, aprovação e reprovação dos municípios que realizaram Avaliação Diagnóstica – AD e Plano de Ação – PA, e participaram da Modalidade Direta de Formação 134 Cadernos Cenpec 2007 n. 3 TABELA II AVALIAÇÃO DIAGNÓSTICA E MODALIDADE DIRETA Variação da taxa de distorção aprovação reprovação abandono Situação do município n Média Desvio padrão Erro médio padrão participa do programa 101 -10,497 7,099 0,706 não participa do programa 101 -9,937 8,855 0,881 participa do programa 101 3,144 7,813 0,777 não participa do programa 101 -1,980 9,639 0,959 participa do programa 101 -0,199 5,293 0,527 não participa do programa 101 2,699 6,872 0,684 participa do programa 101 -2945 5,635 0,561 não participa do programa 101 -0,719 5,743 0,571 D. Resultados finais: apreciação Como secretária, em 2002 (...) aprendi com o Melhoria que, para se fazer um diagnóstico, é preciso consultar as fontes oficiais de dados e informações. Naquele tempo, nós estávamos precisando fazer o censo escolar. Decidimos fazê-lo com o envolvimento de todos da escola e a equipe da Secretaria de Educação. Este processo causou muita polêmica. Com base no IBGE e colocando esta atividade no calendário escolar, mapeamos toda a cidade. Cada escola fez o censo de sua comunidade. Esta medida radical de colocar o professor para fazer o censo escolar provocou muitas reclamações, com a alegação de que eu poderia contratar uma empresa para fazer o trabalho. Meu argumento foi de que os educadores precisavam conhecer realmente o que estava acontecendo na vida de nossas famílias, com as crianças com deficiências, largados em casa, sem condições de freqüentar a escola (...). Mady Rolim Professora, ex-secretária municipal de educação – Itapeva, SP. O compromisso com a educação pública exige uma ação mais estratégica para o avanço da política educacional brasileira, que é o de investimento na competência gestora dos governos municipais. O desafio atual é o de formar gestores municipais de educação. A legitimidade e a assertividade de planos educacionais, sinalizados até mesmo pelo Plano Nacional de Educação, dependem de gestores que saibam acessar e processar informações, assegurar a participação, definir metas consensuais e implementar e monitorar planos educacionais. Nesse sentido, o Programa Melhoria da Educação no Município nasceu com a pretensão de não se constituir em “mais um programa” a ser oferecido aos municípios. Seu objetivo é formar os gestores educacionais para es- 135 truturar suas ações diante da multiplicidade de projetos e programas planejados “de fora” e alheios ao contexto local. Entende-se que somente um gestor que exerça a reflexão e a crítica, com uma postura democrática e participativa, será capaz de selecionar, dentre tudo o que lhe é ofertado, o que convém à sua realidade, tendo, como foco, os problemas locais e, como finalidade última, a melhor aprendizagem dos alunos. Outrossim, sabemos que impactos positivos nos sistemas educacionais não advêm apenas de um programa e/ou de um projeto, pois muitas são as variáveis intervenientes. As redes escolares locais são partes constituintes do sistema nacional de educação que, por sua vez, sofre repercussões das condições socioeconômicas nacionais e internacionais adversas. No entanto, a magnitude dos problemas da educação brasileira não pode levar à paralisia na busca de soluções. Nesta procura, os princípios e as práticas democráticas são apreendidos mediante o diálogo e o debate em torno de diferentes pontos de vista, legitimando as vozes, as experiências e as histórias daqueles que pouco são ouvidos. Só o “espaço das possibilidades” pode oferecer novos caminhos para o avanço das condições educacionais. O discurso por si só não provoca mudanças. Por isso, o “Melhoria” não se pauta na reflexão teórica apenas, ele também se volta para a prática reflexiva e para a formação de uma postura investigativa. A proposta se concretiza no apoio aos gestores municipais de educação para que superem a falta de perspectivas; encontrem soluções criativas para os problemas locais; racionalizem e otimizem recursos financeiros e culturais; busquem novos recursos e articulem parcerias para desenvolver a educação municipal. Cadernos Cenpec 2007 n. 3 Mudanças nas gestões educacionais vigentes, decorrentes da participação dos municípios no Programa Melhoria da Educação, puderam ser observadas por intermédio deste estudo. A permanência e a consolidação dessas mudanças foram identificadas por meio de indicadores de desempenho sobre estratégias de gestão que consideram, por um lado, a leitura da realidade, operacionalizada na elaboração da Avaliação Diagnóstica, e, por outro, a intervenção nesta realidade, consolidada pela elaboração, implementação e avaliação do Plano de Ação Educativa. A marca do Programa se encontra justamente nas ações singulares, criadas e concretizadas pelas equipes gestoras em resposta às demandas e condições, igualmente singulares, dos diferentes contextos municipais. Para redirecionar as ações do Programa, a equipe do “Melhoria” se apóia nas avaliações de processo e de resultados, recolhidas no decorrer da formação. O Programa montou um banco de dados, em cooperação com o IBGE e com o INEP, que armazena informações quanto às ações desenvolvidas pelas equipes gestoras locais, os indicadores sobre a realidade dos municípios e os indicadores de desempenho da educação estadual e municipal. A aposta que o Programa faz na elaboração e na implementação compartilhadas de planos educacionais, a partir de diagnósticos voltados às realidades locais, provoca, na ponta do sistema, ganhos na aprendizagem dos alunos. Para que isso aconteça, o fortalecimento dos gestores em seu papel estratégico na condução de políticas públicas, voltadas à garantia do direito à educação para todos, é fundamental. Com efeito, dentre os instrumentos que orientam o trabalho da SME, os mais apontados pelos gestores atuais foram: • diagnóstico educacional – 69,08%; • plano de ação – 62,65%; • cronograma de atividades – 54,22%. O que de mais significativo aconteceu em relação à mudança na forma de gerir a educação foi seu efeito em cadeia, que pôde ser constatado estatisticamente na alteração das taxas escolares. Comparando-se os municípios participantes do Programa — Grupo Tratamento - GT — com os municípios que compuseram o Grupo Controle - GC, os dados mais significativos foram: a. média de variação positiva na taxa de aprovação e média de variação negativa nas taxas de reprovação e de abandono, nos municípios que fizeram a Ava- 136 liação Diagnóstica e participaram da modalidade de formação direta; b. média de variação positiva na taxa de aprovação e variação negativa nas taxas de reprovação e de abandono, nos municípios que fizeram a Avaliação Diagnóstica e o Plano de Ação, e participaram da modalidade de formação direta. Para que essa diferença ocorresse, os gestores se valeram de diversos procedimentos para buscar a universalização do acesso à escola e a permanência com aprendizagem significativa: • reorganização curricular, voltada para o contexto local e com participação dos professores e representantes da comunidade — 69,48%; • otimização de diferentes espaços e instituições, para o desenvolvimento de ações extra-escolares, considerando a educação integral das crianças e adolescentes — 95%; • valorização do magistério, com a oferta de cursos de formação inicial e continuada aos professores e a implantação do horário de trabalho coletivo — 94,78%; • providências quanto ao transporte escolar — 55,82% e quanto aos projetos especiais para alunos que apresentam dificuldades — 62,24%; • contato com as famílias de alunos com freqüência irregular — 94,37%; Cadernos Cenpec 2007 n. 3 • aliança com conselhos tutelares e promotorias públicas — 75,10%. As repercussões observadas se mostram especialmente positivas, considerando-se que, nas edições avaliadas (II a V), a formação acontecia em apenas um ano, com dois encontros presenciais, totalizando 64 horas, e 30 horas de monitoramento à distância. Esse desenho, pelo curto tempo de permanência do Programa nos municípios, permitia orientações à distância somente até a elaboração da Avaliação Diagnóstica, o que acontecia no intervalo do primeiro para o segundo encontro, quando os municípios apresentavam, então, a proposta do Plano de Ação, não ocorrendo assim o monitoramento na implementação do Plano de Ação. Constatou-se, ainda, que as atuais gestões trazem marcas que evidenciam a consolidação de estratégias propostas pelo Programa, mesmo que os gestores não tenham participado pessoalmente do processo de formação. Para a leitura da realidade, visando ao planejamento das intervenções e ao monitoramento de resultados escolares, é procedimento sistemático, entre os gestores, a coleta e a análise de informações, o levantamento de dados estatísticos no próprio município (91,97%) e as consultas a fontes oficiais de dados sobre os resultados educacionais: IBGE, MEC-INEP/SAEB, Prova Brasil (52,21%). A preocupação com a transparência, socializando as ações da SME e incentivando a participação da população nos encaminhamentos relativos às políticas públicas, vale-se de diferentes meios (reuniões – 93,17%; programas de rádio – 51,81%; jornal – 32,13%). Esta é outra marca detectada nas atuais gestões. Também se destaca o empenho na articulação para o estabelecimento de políticas públicas, decididas, em conjunto, com os diferentes atores e instituições, governamentais ou não, vinculadas à educação (outras secretarias municipais — 76,31%; conselhos e fóruns — 71,08%; escolas públicas estaduais — 70,68%). Especialmente em relação aos pais de alunos, percebe-se o esforço para aproximar família e escola, valorizando, a um só tempo, o envolvimento dos pais nas decisões escolares e a cultura local (81,53%). Uma informação importante é que 92% dos ex-participantes do Programa continuam atuando na área da Educação. E mais: 30,52% dos secretários de educação em exercício que responderam ao questionário foram participantes do Programa. 137 Enfim, o Programa Melhoria da Educação no Município enseja uma fotografia diagnóstica da realidade educacional local, induzindo o governo municipal a eleger prioridades educacionais e a escaloná-las no tempo. Introduz metodologias de ação pautadas na formação-ação de agentes locais heterogêneos na função que exercem — gestores municipais, conselheiros, técnicos supervisores, agentes da escola e de ONGs — e na leitura de dados oficiais da realidade municipal, combinados com a investigação cartográfica, isto é, com a avaliação diagnóstica empírica da realidade local. O exame da realidade, por meio de indicadores sociais — IBGE, INEP — combinados à verificação empírica, tem se tornado um ponto-chave da formação-ação. Outro ponto-chave incide na formulação de planos de ação. Ambas as tarefas — Avaliação Diagnóstica e Plano de Ação Educativa — exigem a consulta à comunidade, a mobilização e a articulação com os demais programas e serviços do local. Aposta-se que a formação, assim contextualizada e consubstanciada na ação, desenvolve competências de gestão imprescindíveis à melhoria duradoura da qualidade da educação, conjugando formação presencial e à distância. Referências BRANT DE CARVALHO, Maria do Carmo. Avaliação de projetos sociais. In: BRANT DE CARVALHO, Maria do Carmo (Org.). Avaliação: construindo parâmetros das ações socioeducativas. São Paulo: Cenpec, 2005. p. 47-75. Notas 1 2 3 4 5 Equipe de pesquisa: Vanda Noventa Fonseca (coordenadora), Ana Maria Aparecida de Abreu Guedes Pinto, Ana Maria Falsarella, Elisabete da Assunção José, Maria Tereza Antonia Cárdia, Neusa Maria Mendes Borges e Wladilene Maryan Alves Duch. A partir da Edição VIII, o Plano de Ação Educativa passou a ser chamado de Plano Integrado de Ação Educativa (PIAE). Neste texto, continua sendo chamado de Plano de Ação Educativa (PAE) ou, simplesmente, de Plano de Ação (PA). O kit é composto por: Coleção Jovens e a Escola Pública; Formação em serviço — Guia de apoio às ações do Secretário de Educação; Guia de ações complementares à escola para crianças e adolescentes; Os municípios em busca da melhoria na educação; Coleção Raízes e Asas; Melhoria da educação no município — um trabalho coletivo (Coleção para Gestores Educacionais). Segundo o IBGE, os municípios que têm até 20 mil habitantes são classificados como municípios pequenos. A utilização dos materiais pedagógicos, disponibilizados pelo “Melhoria”, também foi uma constatação positiva: de acordo com os depoentes, o material (em especial, o Raízes e Asas) é útil e atualizado, o que convalida a sistemática, adotada pelo Programa, de aliar, à formação, materiais pedagógicos que subsidiem as ações das equipes gestoras. Cadernos Cenpec 2007 n. 3 ESTUDO DE CASO: PROGRAMA EDUCAREDE Internet na escola, escola na Internet. Denise blanes Márcia Padilha Lotito Mílada Tonarelli Gonçalves Priscila Gonsales* Em 2002, com o lançamento do EducaRede no Brasil (www.educarede.org.br), nascia uma experiência inovadora de inclusão social. Na atual sociedade da informação e do conhecimento, o investimento em educação ganha destaque quando assume o compromisso com o desenvolvimento pleno e com a oferta igualitária de oportunidades a todos os cidadãos. Ao lançar seu Portal inteiramente direcionado ao atendimento da escola pública, a Fundação Telefônica apostou não só na ampliação do acesso de uma parcela expressiva da população à sociedade da informação, como também na formação de cidadãos capazes de lidar com as demandas das tecnologias digitais. Guiados pela crença de que a inclusão digital constitui fator de eqüidade social, a Fundação Telefônica e seus parceiros brasileiros — Cenpec - Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária, Fundação Carlos Alberto Vanzolini e Terra Networks — assumiram o desafio de difundir o uso pedagógico da Internet por meio do EducaRede. O Portal estrutura-se como um programa de educação que atua na capacitação de educadores e no desenvolvimento de projetos de mobilização e sensibilização * Denise Neri Blanes é doutora em Serviço Social e analista de projetos do Instituto de Estudos Especiais da PUC-SP. É especialista e consultora na área de gestão, desenvolvimento, avaliação e monitoramento de programas e projetos sociais. Marcia Padilha foi coordenadora-executiva do EducaRede. É especialista no desenvolvimento de projetos com uso de Internet e de conteúdos digitais para educadores e jovens. É consultora da ONG Midiativa. Mílada Tonarelli Gonçalves é psicóloga e mestre em Ciências da Comunicação pela Universidade de São Paulo. Desde 2000, trabalha como pesquisadora do Cenpec, no Programa EducaRede Brasil. Priscila Gonsales é jornalista, pós-graduada em Comunicação e Educação pela Universidade de São Paulo. Desde 2001, trabalha como pesquisadora do Cenpec, na coordenação do Programa EducaRede Brasil. 138 de escolas, em parceria com governos locais. Em cinco anos de atividade, formou diretamente mais de dez mil professores e beneficiou 56 mil alunos da rede pública de ensino. Este artigo apresenta a reflexão acumulada no período acerca de um dos temas mais importantes da educação contemporânea: a relação entre Internet e aprendizagem, com base no conceito de letramento digital, para detalhar e explicitar as aprendizagens favorecidas pelo uso da Internet na escola. A partir da reflexão conceitual, apresentam-se: a concepção da avaliação no EducaRede, os processos utilizados e a sua matriz avaliativa. Internet e aprendizagem Os desafios enfrentados ao longo dos cinco primeiros anos do EducaRede no Brasil resultaram em um conjunto de reflexões sobre a relação entre Internet e aprendizagem. Se o século XXI oferece a possibilidade de a www — world-wide web, a interface gráfica da Internet — enriquecer o modo de aprender e ensinar, é preciso problematizar sua relação com os processos desejáveis para a aprendizagem significativa e socialmente compartilhada, pensando de que maneira os meios tecnológicos podem favorecer a produção do conhecimento em contextos educativos. No contexto da cultura das mídias, o professor, e até mesmo um especialista, perde a função de única fonte de informação. A dinâmica que se estabelece na sala de aula — ou no laboratório de Informática — marcada por atividades múltiplas e simultâneas, favorece o diálogo e a troca entre educadores e alunos, horizontalizando as relações. Nesse cenário, cabe ao professor selecionar fontes de pesquisa, refletir criticamente sobre as informações Cadernos Cenpec 2007 n. 3 OPAPELDOEDUCADORÁ FUNDAMENTALPARAESTIMULAR NOSALUNOSUMAAMPLAGAMA DEAPRENDIZAGENSALÁMDE PROVÂLOSDAORIENTA¿»OEDO APOIONECESS¹RIOSPARAQUE SETORNEMAPTOSAPESQUISAR PUBLICAREINTERAGIRNA )NTERNETCOMSEGURAN¿ADE FORMACRÅTICAEAUTÌNOMA DENTROOUFORADAESCOLA qQUESTÍESQUEDEMANDAM UMPROCESSODEFORMA¿»O CONTINUADADOPRËPRIO PROFESSOR encontradas, atribuir-lhes significados, contribuir para que os alunos identifiquem o que é relevante, orientar a publicação de trabalhos e qualificar a comunicação digital entre os alunos. Sua formação e experiência como educador lhe conferem condições para exercer o papel a que se tem exaustivamente chamado de professor-mediador. A profusão de fontes de conhecimento e o aumento das oportunidades de comunicação ressaltam a centralidade do educador na proposição de desafios e contrapontos ao aluno. Para isso, contudo, é necessário que o professor entenda a Internet como instrumento cognitivo, sabendo equilibrar seu uso para tarefas em que ela realmente faça a diferença. Ao aluno, coloca-se a oportunidade de assumir uma postura ativa na construção das habilidades necessárias para ter acesso às oportunidades que a Internet oferece. Assim, ao mesmo tempo em que fascina por ser uma poderosa ferramenta para o alargamento da ação educativa em novos espaços de aprendizagem, esse meio torna ainda mais complexas as tarefas de ensinar e aprender. Em face disso, o papel do educador é fundamental para estimular, nos alunos, uma ampla gama de aprendizagens, além de provê-los da orientação e do apoio necessários para que se tornem aptos a pesquisar, publicar e interagir na Internet com segurança, de forma crítica e autônoma, dentro ou fora da escola — questões que demandam um processo de formação continuada do próprio professor. 139 Ciberespaço e hipermídia O mundo que se acessa ao entrar na Internet, chamado de ciberespaço, é formado por uma série de dados que aparece em forma de textos, sons ou imagens. Pode-se dizer que um de seus grandes diferenciais é o fato de a organização, a manipulação e a troca de informações dependerem da interação do usuário, que pode atuar de maneiras diferenciadas para obter resultados com os recursos disponíveis na Rede. A isso se chama “navegar”. Navegar é mais do que visitar passivamente um universo pré-definido de informações. Ao navegar, o internauta interfere no ciberespaço, reorganizando o fluxo de informações das quais ele é composto. Por isso, de certa forma, ele é um leitor-autor, pois, ao escolher suas ações na web com seus “cliques”, interfere no modo, no tempo e na ordem com que as informações são apresentadas. Do ponto de vista da educação, a navegação no ciberespaço pode ser compreendida como uma ação de aprendizagem exploratória e criativa, realizada de modo particular e reflexivo: • exploratória porque permite ao aluno clicar livremente, ir e vir, repetir e experimentar caminhos; • criativa e particular porque exige definição de critérios, regras e lógicas que auxiliam na construção do percurso e na obtenção de resultados significativos; • reflexivo, pois, ao definir um método de navegação, o aluno deve analisar e readequar suas estratégias e seu raciocínio, ainda que de maneira informal. Muitas possibilidades estão abertas no ciberespaço: • comunicar-se por meio de ferramentas, como batepapos e fóruns; • participar de grupos e comunidades virtuais; • tornar-se autor de informações, por meio da criação de páginas e sites, sejam elas com recursos simples de textos ou envolvendo recursos de simulações e bancos de dados, entre outros. Conhecer as diferentes ferramentas disponíveis no ciberespaço possibilita ao professor usar a Internet de forma consciente e personalizada. Além de seu potencial de pesquisa e de comunicação, a Internet é um importante instrumento cognitivo, que potencializa os processos de ensino e aprendizagem. Para tanto, é necessário que o professor compreenda e saiba usar esse meio, definindo com clareza os objetivos que pretende atingir, planejan- Cadernos Cenpec 2007 n. 3 do como avaliá-los durante o processo, de preferência com a participação dos alunos. Quantidade e qualidade: uma conquista Desde a segunda metade do século XIX, a informação converteu-se em importante mercadoria. Se, por um lado, existe a tecnologia para tornar disponível todo o conhecimento elaborado, por outro, a informação-mercadoria não favorece a construção do conhecimento, uma vez que é marcada por imediatismo, redundância de conteúdos, produtos de fácil e rápida leitura, pouco exigentes em termos de interpretação (Barato, 2005). Nesse contexto, a enorme disponibilidade de dados exige habilidades de apreensão rápida e simultânea, além da capacidade de relacionar informações em um raciocínio disperso, movido por links. No entanto, o completo usufruto das informações impõe a necessidade de se recorrer cada vez mais à interpretação, à seleção e à crítica, ações que exigem concentração e análise. Além da familiaridade com formas de comunicação difusas e com a diversidade de linguagens, análise e concentração são igualmente relevantes para a transformação da informação em conhecimento pessoal e significativo. As ferramentas são instrumentos para uso dos recursos de interatividade da Internet. Elas podem ser de: • busca — pesquisa na Rede; • comunicação — fórum, bate-papo; • publicação — como a Oficina de Criação e a Galeria de Arte do EducaRede. Aprender a pesquisar Enciclopédias, dicionários, livros, websites, bancos de imagens, animações, vídeos... São tantas as informações disponíveis na Internet, em variados formatos e fontes, que não é difícil se perder entre as múltiplas janelas abertas do navegador, em uma espécie de labirinto digital. Nesse cenário, os novos modos de acessar e ler textos em enorme quantidade e codificados em diferentes linguagens tornam-se um grande desafio. Como chegar a algum lugar nesse labirinto? Como estabelecer unidade nesse universo de conexões? Como construir conhecimento nesse mar de informações? Para que a pesquisa na Internet seja significativa no processo de construção do conhecimento do aluno, evitando o famoso “copiar e colar”, é importante uma me- 140 todologia focada no desenvolvimento de aprendizagens relacionadas a identificar e selecionar informações relevantes. Essas aprendizagens envolvem diversos recursos cognitivos, como levantamento de hipóteses, análise, comparação e síntese, e pressupõem outras habilidades — leitura de textos não-lineares, como hipertextos, e alfabetização nos códigos das linguagens do ambiente hipermídia. Hiperlink e hipertexto Uma característica marcante da Internet é o hiperlink, ligação que permite que se vá de um texto a outro, ou de uma parte de um texto a outra desse mesmo texto, por meio de palavras ou imagens interligadas. Com o hiperlink, constroem-se hipertextos — textos organizados para uma leitura não-linear, isto é, com várias possibilidades de percurso, conforme associações de idéias, direcionamento de interesse ou níveis de aprofundamento. Desse modo, o leitor acessa conteúdos elaborados por outras pessoas, porém, criando a própria rota, um caminho que produzirá sentidos de acordo com a navegação individual. Os links normalmente são planejados de modo a proporcionar ao leitor autonomia na escolha de direções, dentro de caminhos inicialmente previstos pelos autores daquele site ou documento. Além de ligarem trechos de um texto ou partes de um mesmo site, eles podem fazer a ponte entre vários sites. Nos processos de ensino e aprendizagem, do ponto de vista individual, links e hipertextos possibilitam que o aluno tenha a liberdade de caminhar em sua pesquisa de acordo com seu interesse e seu ritmo. Do ponto de vista coletivo, é enriquecedor que o trabalho do grupo seja complementado pelos percursos individuais e diferenciados de cada aluno. Aprender a publicar Um recurso importante disponibilizado pela Internet é a possibilidade de publicar documentos de qualquer tipo (texto, som ou imagem) de forma organizada para o leitor. Pode-se publicar a partir de soluções sofisticadas ou simples, como as ferramentas para construção de sites pessoais ou blogs, voltadas especialmente para o público leigo. Essa facilidade torna a publicação na Internet uma ação bastante difundida nos dias de hoje. Cadernos Cenpec 2007 n. 3 Do ponto de vista da educação, trata-se de uma oportunidade de incrementar as habilidades de comunicação entre os jovens, tornado-os produtores e editores de conteúdos próprios e de terceiros. Publicar na Internet é também uma forma de dar maior alcance aos produtos desenvolvidos na escola, oferecendo a alunos e professores a oportunidade de agir como promotores de cultura. A publicação das atividades escolares no ciberespaço também é um canal para expressar as diferentes realidades, reafirmando questões de identidade, ao mesmo tempo que permite visualizar os contextos localizados e globalizados que caracterizam a atual era. Para assegurar qualidade no uso educacional desse recurso, é necessário orientar os alunos a construir um significado próprio para a atividade de publicação de conteúdos na web, entendendo-a como uma oportunidade criativa de interferir em uma rede que congrega conhecimentos, diferentes modos de ver e de estar no mundo. Para publicar algo, é necessário planejar o que será divulgado, definir tamanhos e tipos de documentos, a navegação entre eles, num trabalho que envolve produção e edição das informações. É preciso que o aluno tenha algo importante a dizer e a publicar e que se veja como autor de informações e produtor de conhecimento. Aprender a se comunicar digitalmente O caráter interativo da Internet é um dos distintivos mais notáveis dessa mídia. Embora o debate seja amplo entre estudiosos, pode-se dizer que a interatividade diz respeito à relação homem-máquina (ou homemsoftware) e à relação homem-homem, mediada pela máquina. Em seu primeiro aspecto, ela pode ser bastante simples, como nos casos de ação e reação em softwares de perguntas e respostas que indicam acertos e erros, ou complexa, quando o usuário modifica o conteúdo e a forma do ambiente no momento em que navega, em tempo real. O EducaRede adota a interação entre pessoas em processos de comunicação com o uso de computadores ligados à Internet. Ambientes interativos como fóruns, salas de bate-papo e listas de discussão são os mais populares da Internet. Todos têm a finalidade de colocar grupos de pessoas em comunicação, mas as características de cada um os tornam mais adequados a este ou àquele tipo de uso. Eles representam uma oportunidade para os professores trabalha- 141 rem, com seus alunos, as habilidades de comunicação e expressão e suas particularidades no meio digital. Os fóruns e bate-papos também têm um importante potencial para constituir novas aplicações pedagógicas. O fórum é um ambiente em que as mensagens podem ser postadas a qualquer momento, ficando registradas para leitura dos participantes do grupo. As mensagens são enviadas com o nome dos destinatários e geralmente ficam organizadas em listas de perguntas e respostas. Os participantes têm a liberdade para comentar mensagens já existentes ou inserir novas. Por ser um ambiente em que os tempos de escrita e leitura não influenciam no fluxo da comunicação, os fóruns são adequados para a realização de debates e estudos aprofundados, com mensagens longas, sejam reflexivas ou descritivas. Em relação às discussões presenciais, os fóruns em meio digital apresentam algumas vantagens para o uso pedagógico, como: • registro completo das participações, facilitando o acompanhamento do professor e a análise das opiniões dos alunos; • estímulo à escrita, como instrumento significativo de comunicação entre pares; • valorização do papel do aluno, com o incentivo à participação dos mais tímidos; • restrição da dispersão e da indisciplina, em razão da identificação das mensagens; Cadernos Cenpec 2007 n. 3 • apoio à concentração e à análise necessárias à participação no ambiente. O bate-papo permite que pessoas se comuniquem em tempo real: os participantes trocam mensagens uns com os outros abertamente, sendo propiciado a todos acessar as mensagens enviadas. Há ambientes em que dois participantes podem conversar de modo reservado. A comunicação sincrônica é a principal marca das atividades desenvolvidas no bate-papo. A troca entre as pessoas é bastante dinâmica, assemelhando-se à conversa facea-face. A flexibilidade de encaminhamento do tema conforme o interesse do grupo também é maior. Do ponto de vista cognitivo, a velocidade de escrita das mensagens demanda a habilidade de síntese, para a elaboração de mensagens curtas e objetivas. A agilidade na leitura e na classificação das temáticas já abordadas é exigida para evitar a repetição desnecessária de mensagens. Do ponto de vista social, cria uma auto-regulamentação no grupo, que demanda a adequação do tempo pessoal ao tempo do grupo, e a crítica em relação à intensidade da participação pessoal, viabilizando a participação de todos. Em relação à conversa presencial, o bate-papo tem em comum com o fórum a mudança na dinâmica entre os alunos. Se for gravado, também engloba a qualidade do registro. Ambos desenvolvem leitura, escrita e comunicação em meio digital, embora com exigências de habilidades e competências distintas. Aprender em rede: comunidades virtuais Na construção coletiva, a Internet semeia novas possibilidades educacionais, novos processos e novas estruturas que estimulam, provocam e facilitam a colaboração, em que os saberes individuais são valorizados e contribuem para a construção, que é do grupo. A rede é, antes de tudo, um instrumento de comunicação entre pessoas, um laço virtual em que as comunidades auxiliam seus membros a aprender o que desejam saber. Os dados não representam senão a matéria-prima de um processo intelectual e social vivo, altamente elaborado. Enfim, toda a inteligência coletiva do mundo jamais dispensará a inteligência pessoal, o esforço individual e o tempo necessário para aprender, pesquisar, avaliar e se integrar a diversas comunidades, sejam elas virtuais ou não (Lévy, 1998, p. 2). 142 !SCOMUNIDADESVIRTUAIS TÂMOPOTENCIALDEGERAR MUDAN¿ASNOSPROCESSOS DEENSINOEAPRENDIZAGEM NASFORMASDEINTERA¿»O ENTREQUEMAPRENDEEQUEM ENSINAENARELA¿»OCOM OCONHECIMENTOGERANDO ESTRATÁGIASPEDAGËGICAS INUSITADAS Comunidades virtuais são ambientes planejados para a realização de trabalhos em grupo na Internet. Podem apresentar recursos de pesquisa, de publicação e de comunicação digital, combinando ferramentas de registro de produtos e processos, de compartilhamento entre colegas, de comunicação síncrona e assíncrona. Elas se estruturam conforme seus objetivos. Nas comunidades de troca de informações, participantes organizam-se para disponibilizar e obter informações sobre temas de interesse comum. Nas comunidades de aprendizagem, são estabelecidos objetivos, metas e um projeto pedagógico adequado para a construção colaborativa de determinado saber. Do ponto de vista da escola, os ambientes virtuais têm possibilitado o desenvolvimento de metodologias enriquecedoras que podem combinar, de forma original e personalizada, os recursos de pesquisa, de comunicação digital e de compartilhamento de registros voltados ao trabalho colaborativo. A ampliação do número e da diversidade de sujeitos em um ambiente virtual, devido à superação de barreiras de tempo e espaço, intensifica a necessidade de negociação de sentidos ou, em outras palavras, de vivência de conflitos sociocognitivos, fundamentais para os processos de aprendizagem. É necessário compreender as comunidades virtuais e seu caráter colaborativo para utilizá-las com bom senso. Elas têm o potencial de gerar mudanças nos processos de ensino e aprendizagem, nas formas de interação entre quem aprende e quem ensina e na relação com o conhecimento, gerando estratégias pedagógicas inusitadas. Também podem potencializar estratégias reconhecidamente importantes, como a cooperação, o registro e o sentido social dos trabalhos escolares. Cadernos Cenpec 2007 n. 3 Mas nada disso ocorrerá se forem repetidos, nesses ambientes, os velhos modelos de aprendizagem isolada, de comunicação unidirecional, ou se forem propostas tarefas cuja natureza não seja colaborativa. Nesse caso, a ação resultará em um artificialismo que gera o desinteresse e o baixo aproveitamento dos alunos (Barato, 2005). Uma faceta marcante das comunidades virtuais está ligada à promoção das relações sociais no âmbito da educação, uma vez que constituem um dos canais mais acessíveis para ampliar e consolidar redes pessoais, incrementando aquilo que sociólogos chamam de “capital social” e que determina as oportunidades culturais, profissionais e até mesmo afetivas das pessoas. O que avaliar: recortes e escolhas Avaliar significa estabelecer um processo contínuo e permanente que embasa a tomada de decisão quanto a propósitos, processos de ação e alocação de recursos, envolvendo concepção, implementação e resultados do Programa (...). É também um exercício de controle social que possibilita transparência e publicização do Programa nas suas diversas facetas. Maria do Carmo Brant de Carvalho A avaliação no EducaRede é um processo sistemático e contínuo, parte integrante das ações desenvolvidas. Considera os conhecimentos acumulados, os referenciais teórico-metodológicos e os objetivos e resultados a serem alcançados. Como todo processo avaliativo, estabelece recortes e escolhas para ganho de relevância e de viabilidade na execução. Desde antes do lançamento do Portal, desenvolveuse um sistema de monitoramento concebido para registrar permanentemente as informações relevantes sobre o continuum das ações. Em termos quantitativos, o uso do EducaRede tem sido acompanhado por meio de relatórios com os números de páginas vistas, de visitantes únicos, de visitas, de cadastros e de postagens dos usuários nas seções interativas. As análises dos números alcançados e dos gráficos comparativos, gerados a partir deles, permitem monitorar o impacto das ações e a eficácia das estratégias implantadas. Possibilitam também a previsão de metas e sua adequação aos recursos disponíveis, em termos de acessos e disseminação do Portal. A análise do cadastro 143 dos participantes propicia o acompanhamento do perfil dos usuários, explicitando a assertividade do público a que se destina a iniciativa: a rede de educação pública brasileira. Em termos qualitativos, a avaliação tem utilizado estratégias diversificadas para coletar informações que organizam e explicitam elementos que possam ajudar na tarefa de aferir a pertinência das ações desenvolvidas. Dentre elas, destacam-se: grupos focais para entrevistas; pesquisas on line com usuários cadastrados; questionários em ações presenciais; estudos de caso. Todo o processo já implantado favoreceu muitos ensinamentos e permitiu a adequação de ações estratégicas, assim como o melhor entendimento das questões norteadoras relativas à Educação e Internet que direcionam as iniciativas do EducaRede. Em 2005, visando aprimorar o sistema de monitoramento do Portal, a Fundação Telefônica promoveu entre os parceiros — Cenpec e Fundação Vanzolini — um processo de reflexão que permitiu rever pressupostos, objetivos e conceitos fundamentais da iniciativa, assim como metodologias empregadas até então. A dinâmica de trabalho incluiu um ciclo de leituras e debates entre as equipes e especialistas convidados, os professores Jarbas Novelino Barato, da Escola do Futuro da USP, e Rogério da Costa, da PUC-SP. Questões norteadoras que direcionam as iniciativas do Educarede Como e quanto o Portal colabora com o uso pedagógico da Internet nas escolas? Como a utilização sistemática e permanente da Internet e, em especial, do EducaRede, pode trazer benefícios à prática pedagógica na escola? O que professores e alunos necessitam para usar a Internet de forma positiva em processos de ensino e aprendizagem? Quais desses elementos estão presentes? Um dos produtos1 desse processo foi a construção da Matriz Avaliativa, um recurso gráfico-metodológico que apresenta o arranjo que se estabeleceu entre os elementos, pressupostos, referenciais e estratégias a serem avaliados, delimitando claramente as dimensões e os indicadores de monitoramento e avaliação. Cadernos Cenpec 2007 n. 3 Matriz avaliativa Objetivos e Dimensões Para construir a Matriz, o EducaRede partiu de sua missão — contribuir para a melhoria da qualidade da educação pública por meio do uso pedagógico da Internet — e definiu dois aspectos fundamentais para alcançá-la. Tais aspectos são apontados como objetivos e se relacionam com a origem, a abrangência e os resultados esperados por meio de sua consecução. Para cada objetivo, determinou-se uma ou mais “dimensões”, traduzidas em “indicadores”, que permitem mensurar, de modo conciso e contínuo, os resultados e os avanços. Os “descritores” são coletados em fontes de pesquisa determinadas, como o próprio Portal, softwares específicos para a coleta de acessos e depoimentos de usuários, entre outras. 144 • Objetivo 1: tornar público o uso pedagógico da Internet na escola. Compreende colocar à disposição, democratizar, promover o uso da Internet como espaço de aprendizagem, por meio do EducaRede. Dimensões: “público usuário do EducaRede” e “redes de relacionamento do EducaRede”. • Objetivo 2: promover aprendizagens relacionadas ao letramento digital: pesquisa, comunicação e publicação. Dimensões: “ação pedagógica” e “ferramentas tecnológicas”. Cadernos Cenpec 2007 n. 3 A Matriz Avaliativa foi construída a partir dos valores e princípios certificados pelos parceiros do EducaRede, portanto, está impregnada dos valores presentes nas concepções de Educação e Internet que permeiam a iniciativa. Seu processo de elaboração foi deliberado, no sentido de perseguir os objetivos e a missão. Isso significa que a Matriz tem sentido político, ético e valorativo, como qualquer processo avaliativo. Sabe-se, no entanto, que os valores indicados não são os únicos. Contudo, muitos indicadores e descritores apontados na Matriz podem contribuir para a reflexão de outras ações de uso pedagógico da Internet e de inclusão digital. Ao leitor interessado, sugerimos consultar a matriz de avaliação do EducaRede no volume 1 da Coleção EducaRede, páginas 44 a 48, disponível para consulta e impressão no Portal EducaRede < www.educarede.org.br >. Letramento Digital Um uso aprimorado da Internet remete à compreensão de sua utilidade como instrumento pedagógico no desenvolvimento de aprendizagens relacionadas à pesquisa (buscar, selecionar e analisar informações), comunicação digital (trabalho em rede e a distância) e publicação de materiais (postura ativa e autoral). Referências BARATO, Jarbas N. Internet e educação nas sociedades da informação e da imagem. Processo de Avaliação do Programa EducaRede, São Paulo, 2005. BELTRÁN LLERA, Jesús A. Enseñar a aprender: algunas reflexiones. In: EDUCARED. Enseñar a aprender: Internet en educación. Madri: Fundación Telefonica, 2004. BUZATO, Marcelo. O letramento eletrônico e o uso do computador no ensino de língua estrangeira: o caso Tereza. Disponível em: <http://www.educarede. org.br/educa/img_conteudo/letramento_eletronico.htm>. Acesso em: 29 mar. 2006. CARVALHO, Maria do Carmo B. de. Avaliação de projetos sociais. In: ÁVILA, Célia M. (Coord.). Gestão de projetos sociais. São Paulo: AAPCS, 2001. CASSOL, Márcio B. F.; PRIMO, Alex F. T. Explorando o conceito de interatividade: definições e taxonomias. Disponível em: <http://www.psico.ufrgs. br/~aprimo/pb/pgie.htm>. Acesso em: 29 mar. 2006. CASTELLS, Manuel. A galáxia da Internet: reflexões sobre a Internet, os negócios e a sociedade. Rio de Janeiro: Jorge Zahar, 2003. CHIAPINNI, Lígia. A reinvenção da catedral. São Paulo: Cortez, 2005. CITELLI, Adilson. Comunicação e educação: a linguagem em movimento. São Paulo: Senac, 2005. 145 CITELLI, Adilson. Outras linguagens na escola. São Paulo: Cortez, 2000. v. 6. (Col. Aprender e ensinar com textos não-escolares.) CORTELLA, Mário Sérgio. Feios, sujos e malvados? Folha de S.Paulo, São Paulo, 27/09/2005. COSTA, Cristina. Ficção, comunicação e mídias. São Paulo: Senac, 2001. COSTA, Rogério da. A promoção da educação através das tecnologias da inteligência. Processo de Avaliação do Programa EducaRede, São Paulo, 2005. DAVIS, Cláudia; NUNES, Marina; NUNES, César. Metacognição e sucesso escolar: articulando teoria e prática. Disponível em: <http://www.scielo.br/scielo. php?script=sci_arttext&pid=S0100-15742005000200011&lng=en& nrm=iso>. Acesso em: 29 mar. 2006. DELORS, Jacques (Coord.). Educação, um tesouro a descobrir: relatório para a Unesco da Comissão Internacional sobre Educação para o Século XXI. São Paulo; Brasília: Cortez; Unesco/MEC, 1998. DIAS, Lia Ribeiro (Coord.). Inclusão digital: com a palavra, a sociedade. São Paulo: Plano de Negócios, 2003. EDUCAREDE. Vannevar Bush e a idéia original de hipertexto. Disponível em: <http://www.educarede.org.br/educa/internet_e_cia/historia.cfm?id_historia=3>. Acesso em: 30 out. 2005. FÉRRES, Joan. O uso de tecnologia audiovisual e informática na sala de aula: entrevista. Pátio – Revista Pedagógica, Porto Alegre, n. 9, p. 24-27, 1999. FREIRE, Paulo. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra, 1983. FUNDAÇÃO GETÚLIO VARGAS. Mapa da exclusão digital. Disponível em: <http:// www2.fgv.br/ibre/cps/mapa_exclusao/apresentacao/apresentacao.htm>. Acesso em: 29 mar. 2006. JANNUZZI, Paulo de Martino. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. São Paulo: Alínea, 2001. JOFFILY, Olívia R. Letramento digital e conhecimento. Disponível em: <http://www.educarede.org.br/educa/internet_e_cia/informatica. cfm?pagina=informatica_principal&id_inf_escola=14>. Acesso em: 29 mar. 2006. LÉVY, Pierre. As tecnologias da inteligência: o futuro do pensamento na era da informática. Trad. Carlos Irineu da Costa. Rio de Janeiro: Editora 34, 1993. ________. A Internet tem sido capaz de criar mecanismos próprios de controle das informações. Folha de S.Paulo, Caderno Mais, São Paulo, p. 1-2, abril, 98f. ________. Educação e cibercultura: a nova relação com o saber. Educação, subjetividade & poder, Porto Alegre, n. 5, jul. 1998. MARTÍN-BARBERO, Jesús. Desafios culturais da comunicação à educação. Revista Comunicação & Educação, São Paulo, n. 18, p. 51-61, maio/set. 2000. MATTELART, Armand. A globalização da comunicação. Trad. Laureano Pelegrin. Bauru: Edusc, 2000. OROZCO GÓMEZ, Guillermo. Professor e meios de comunicação: desafios, estereótipos e pesquisas. Comunicação & Educação, São Paulo, n. 10, p. 57-68, set./dez. 1997. RIBEIRO, Vera Masagão. Por mais e melhores leitores. In: ________. Letramento no Brasil: reflexões a partir do Inaf 2001. São Paulo: Global, 2003. SANTAELLA, Lúcia. Navegar no ciberespaço: o perfil cognitivo do leitor imersivo. São Paulo: Paulus, 2004. SILVA, Marco. O que é interatividade. Disponível em: <http://www.senac.br/informativo/BTS/242/boltec242d.htm>. Acesso em: 29 mar. 2006. SOARES, Magda. Letramento: um tema em três gêneros. Belo Horizonte: Autêntica, 1998. TRIVINHO, Eugênio. Epistemologia em ruínas: a implosão da teoria da comunicação na experiência do ciberespaço. In: MARTINS, F. M; SILVA, J. M. Para navegar no século XXI: tecnologias do imaginário e cibercultura. Porto Alegre: EDIPUCRS; Sulina, 2000. v. 1 (Col. Comunicação.) Notas 1 Foram produzidos textos e um DVD com a edição dos encontros e debates da equipe. Cadernos Cenpec 2007 n. 3 146 Cadernos Cenpec 2007 n. 3 ARTIGO Tânia Regina de Souza Romero* !VALIANDONA PERSPECTIVA SOCIOCULTURAL / ato de avaliar era, até bem pouco tempo, talvez uma das tarefas mais óbvias do processo de ensino-aprendizagem nas escolas: tradicionalmente, por meio de prova ou chamada oral, o professor verificava “o que ficou” do conteúdo “passado aos alunos”. A exigência da média sete “para passar” garantia que o aluno tinha “retido” 70% do total ensinado, ou seja, o suficiente para que se considerasse que ele aprendeu a maior parte do conteúdo. Então, por meios quantitativos e de modo extremamente simples, solucionava-se a grande questão, em tese, resguardando objetividade, precisão e neutralidade. Aliás, esses mesmos critérios deveriam estar presentes nas respostas dos alunos, que se constituía em um processo de “corta e cola” dos textos usados pelo professor ou do material didático selecionado para as aulas: a memorização era o instrumento básico para se aprender. Até aí, nada de novo. Sabemos que essa prática é resultante do pensamento positivista que foca quantidade e produto, verificados ao final de um processo. Caracterizava-se, assim, um modelo educacional tecnicista em que os resultados e comportamentos deveriam ser claramente (entenda-se: objetivamente, sem dúvidas ou julgamentos de valor) observáveis e medidos com precisão para se promover a eficiência. A visão de educar, portanto, calcava-se no que Luckesi (1998) denominou de “pedagogia do exame”, responsável até hoje pela preocupação maior dos alunos: “passar na prova, tirar nota boa”, contribuindo assim para o desenvolvimento de indivíduos submissos ante o papel autoritário, classificatório e excludente da avaliação (Hadji, 1994, 1997; Luckesi, 1998; Santos, 2003). Avaliação significava um veredicto dado ao aluno, uma vez que “a prova ou a-prova ou re-prova” (Romero, 2004, p. 28). * Tânia Regina de Souza Romero é doutora em Lingüística Aplicada e Estudos da Linguagem pela Pontifícia Universidade Católica de São Paulo. Professora de graduação e pós-graduação em Lingüística Aplicada da Universidade de Taubaté e do curso Avaliação na Visão Sociocultural– PUC/SP – COGEAE. 147 Cadernos Cenpec 2007 n. 3 Os verbos estão no passado, mas não se pode deixar de lembrar que muitos professores, assim como coordenadores e diretores de escolas públicas e particulares, continuam a praticar e incentivar esse tipo de avaliação, acreditando ser esta a orientação oficial. Lembre-se, entretanto, que há documentos — como a LDB, Lei 9394/96, Deliberação CEE 9/97 e Indicação CEE 8/97, Normas Regimentais Básicas (Parecer CEE 67/98) e os Parâmetros Curriculares Nacionais (Brasil, 1998) — em que a avaliação é concebida como contínua e qualitativa, um elemento que integra a aprendizagem e o ensino, portanto, destinada a ser processual, para possibilitar a conscientização das dificuldades dos alunos pelos professores e pelos próprios alunos, de modo a orientar (re)planejamentos e estar a serviço do desenvolvimento de aprendizagem, renegando seu caráter punitivo e excludente. Não acredito, em absoluto, que prosseguir com uma prática considerada hoje inadequada se deva à má vontade dos educadores. É muito difícil mudar, pois, como nos lembra Bourdieu (1989), interiorizamos conjuntos de estruturas que refletem as condições sociais que adquirimos em situações vivenciadas em nosso percurso histórico. Ou seja, precisamos fazer um esforço muito grande para deixar de agir como estamos acostumados, para adotar (e acreditar em!) novas formas de ação das quais temos pouca (e, muitas vezes, nenhuma!) referência. Pois bem, o paradigma mudou: queremos alunos que saibam se expressar, colocar e defender seus pontos de vista, cuidadosamente argumentados, levando em consideração posições divergentes em um mundo de múltiplas verdades coexistentes que, de repente, expandiu-se e está, em tempo real, em nossa casa, ao alcance de uma tecla. Precisamos de sujeitos críticos, conscientes do mundo em que vivem e alertas, para não se deixarem modelar passivamente diante de um discurso em que prevalecem interesses econômicos e políticos, “fundado em um pensamento único, pautado pela globalização” (Moita Lopes, 2003, p. 31). A pergunta que se faz é: como conseguir isso? Avaliando a avaliação Podemos iniciar uma tentativa de resposta a esta candente questão salientando que avaliação, na perspectiva sociocultural, que hoje orienta os parâmetros educacionais em voga (a exemplo dos Parâmetros Curriculares Nacionais, divulgados nacionalmente no final do último século), é entendida como parte inerente do pro- 148 AAVALIA¿»OD¹SUBSÅDIOS PARAOPROFESSORAESCOLA ACOMUNIDADEAFAMÅLIA OALUNOENCAMINHAREMO DESENVOLVIMENTOLEVANDOEM CONTAASPREMÂNCIASSOCIAIS DENOSSOTEMPO cesso ensino-aprendizagem. Isso equivale a dizer que o foco de nossa questão não é a avaliação em si, e sim a prática pedagógica, percebida como um processo interativo em que se avalia para melhor se (inter)agir: a avaliação dá subsídios para o professor, a escola, a comunidade, a família, o aluno encaminharem o desenvolvimento, levando em conta as premências sociais de nosso tempo. Com isso, todos os envolvidos no processo são igualmente aprendizes. Salienta-se aqui a necessidade de um esforço coletivo — pouco ou nada adiantarão esforços isolados. Busca-se uma mudança para que se cultive uma cultura de aprendizagem que sirva como base para se entender a vida, engajar-se nela, saber se colocar diante dela e transformá-la, em consonância com as discussões de Paulo Freire (1970). Neste enfoque, deve-se procurar instaurar um clima de confiança em sala de aula, em que não cabem, por exemplo, os “testes-surpresa” para “pegar o aluno desprevenido”. Se o aluno e o professor trabalham em colaboração mútua, eles se vêem como aliados, não como ameaça. Então, também se entendem os erros e as tentativas como partes do processo de aprendizagem e conscientização, além de incentivo à interação constante, com o discurso do professor voltado para a orientação. Em consonância com essa visão, está a idéia de que ser justo não significa dar exatamente o mesmo teste ou tarefa para todos os alunos. Ao contrário: é preciso levar em conta que diferentes alunos têm interesses, compreensão, motivação, vivência e envolvimento também diferentes em relação a determinados tópicos e disciplinas. Ao professor, não se restringe mais a tarefa de só ensinar conteúdos. A ele, cabe propor desafios, e, ao mesmo tempo, dar os instrumentos ao aluno para lidar com eles, enfatizando o desenvolvimento de suas habilidades ou estratégias, tanto diretas quanto indiretas. Dentre as estratégias diretas, segundo destaca Rebecca Oxford (1990, p. 17, apud William e Burden, 1997, p. 153), encontram-se as de: Cadernos Cenpec 2007 n. 3 a. memória como criar imagens e sons, organizar material por categorias, fazer relações mentais, revisar, criar mnemônicos; b. cognição como praticar, receber e enviar mensagens, analisar e raciocinar, criar estruturas facilitadoras; c. compensatórias como inferir de maneira inteligente ou superar limitações para falar e escrever. As três estratégias indiretas, elencadas pela autora, são: a. metacognitivas como planejar o tempo de estudo e auto-avaliar progressos e conquistas; b. sociais como fazer perguntas, trabalhar em colaboração com outros; c. afetivas como diminuir a ansiedade, encorajar-se e confiar em si. Um esforço inicial para realizar a mudança é o exame da própria prática avaliativa, numa reflexão crítica direcionada inicialmente a se entender os princípios e crenças que a regem. Em cursos dedicados a discutir a avaliação, seguindo os passos da educadora Maria Antonieta Alba Celani, percebemos que o ponto de partida para a transformação deve ser a prática. Assim, é fundamental que o professor, junto com seu grupo institucional, inicie o processo de transformação tentando entender os princípios que fundamentam sua prática para, somente depois, empenhar-se no processo dialético com outras fundamentações teóricas. Para orientar o processo de reflexão crítica, partindo-se da análise de um instrumento (ou conjunto de instrumentos) de avaliação, são oferecidas, a seguir, algumas sugestões que retomam as questões até aqui discutidas. Por meio das seguintes perguntas, entendemos que é relevante verificar se o instrumento — ou o conjunto de instrumentos — de avaliação: 1. É coerente com os princípios de ensino-aprendizagem adotados pela instituição: sua instituição considerase construtivista, socioconstrutivista, por exemplo? 2. Reflete o projeto político-pedagógico da instituição: a ação educacional direciona-se ao desenvolvimento de 149 quais características no educando? Qual é a missão a que a Instituição se propõe? As ações didático-pedagógicas convergem, direcionam-se a este fim? 3. É parte integrante e intrínseca do processo educacional, ou seja: faz parte do processo de ensino-aprendizagem contínuo ou é colocado de forma isolada, como verificação de um produto final? 4. Destina-se a verificar necessidades e/ou interesses dos alunos, ou seja: tem a função de orientar um planejamento negociado? 5. Serve para se saber quais são os conhecimentos prévios dos alunos: esse tipo de instrumento de avaliação estaria atuando como iniciador de interação significativa? 6. É válido para se entender o processo de aprendizagem dos alunos, para que o professor possa trabalhar o desenvolvimento de habilidades metacognitivas, por exemplo? 7. É útil para investigar qualitativamente o entendimento que o aluno construiu? Em outras palavras, esse instrumento não deve ser construído com perguntas fechadas, exigindo respostas lacônicas? 8. Serve para averiguar a qualidade de ensino oferecido? 9. É adequado para o professor planejar sua regulação? 10. Investiga se determinada habilidade foi adquirida? 11. Examina se houve transferência? 12. Prevê uma rediscussão das questões colocadas, visando à ampliação do entendimento do item trabalhado? 13. Proporciona a auto-avaliação procedimental (relacionada ao “como fazer”), atitudinal (relacionada à maneira de a pessoa se colocar socialmente) e conceitual (referente ao conteúdo trabalhado)? 14. Trabalha com a habilidade de raciocínio? 15. Propicia ao aluno a reflexão e a expressão de sua opinião, fundamentando-a? 16. Possibilita que o aluno formule questões ou levante hipóteses? 17. Leva o aluno a analisar ou sintetizar algo? 18. As instruções são claras? 19. Os critérios são explícitos? Esta observação remete a uma política de transparência, segundo a qual o aluno deve ter um entendimento claro do que será levado em conta para avaliar seu trabalho. Esta compreensão a respeito dos critérios pode, inclusive, ajudar o aluno a avaliar seu próprio trabalho, desenvolvendo nele uma conscientização metacognitiva, auxiliada pela explicitação do professor. Cadernos Cenpec 2007 n. 3 20.Engloba várias áreas do conhecimento? 21. Faz com que o aluno pesquise ou considere os pontos de vista divergentes? 22.É familiar para o aluno, ele entende como este instrumento funciona e deve ser trabalhado? 23. Ensina algo para o aluno? Se sim, o quê? 24.Ensina algo para o professor, instituição ou comunidade? Se sim, o quê? 25. Está sendo usado em momento adequado no desenvolvimento do curso ou da disciplina? Essa listagem pode e deve ser adaptada ao contexto peculiar de cada escola. Observe-se que várias questões se sobrepõem e são, inclusive, redundantes, pois pretendem incentivar uma (re)análise cuidadosa da prática de avaliação que está sendo utilizada pelo professor ou instituição. Além disso, devemos apontar, como o leitor já deve ter percebido, que um só instrumento não será capaz de satisfazer todos os pontos indicados por esses 25 itens. Isso se explica por acreditarmos que apenas um instrumento ou poucos não coadunam com a visão de que a avaliação é parte contínua e integrante do processo de ensino-aprendizagem. Alguns exemplos para a prática A título de ilustração, daremos alguns exemplos de avaliações que, em conjunto com outras ações didático-pedagógicas coerentes, podem caminhar na direção do que foi discutido até aqui. Elas são contribuições de leituras diversas sobre avaliação e de professores atuantes na prática educativa. A. Meio ambiente 1. Em uma escola da Grande São Paulo, um aluno comentou, em classe, quando estavam sendo discutidas formas de não se desperdiçar água, que a propaganda de uma marca de chuveiro, veiculada na televisão naquela época, incentivava as pessoas a se entregarem ao prazer de banhos longos. A propaganda, afirmou o aluno, estava na contramão de campanhas contra o desperdício. Aproveitando a sua contribuição, a classe resolveu pesquisar o endereço do fabricante do chuveiro para lhe enviar uma carta. A carta foi preparada pela classe toda, sob a orientação da professora de Português, que cuidou para que ela fosse respeitosa, contivesse 150 /SPORTIFËLIOSPOSSIBILITAM ODESENVOLVIMENTODE APRENDIZAGEMAUTOREGULADA NEGOCIA¿»ODESIGNIÙCADOS PROCESSOSEPRODUTOSCOMO PROFESSOREOPORTUNIDADESDE REÚEX»OCONJUNTA o problema percebido e mencionasse o poder da mídia para influenciar as pessoas. Pedia-se ainda para que medidas fossem tomadas. Rapidamente, a propaganda foi retirada do ar. 2. Em uma escola da periferia da cidade de São Paulo, chegou a notícia de que o bairro fora escolhido para abrigar um dos lixões da área metropolitana. Preocupados com o impacto ambiental e as possíveis conseqüências sanitárias que daí pudessem advir para os moradores, os alunos debateram a questão em sala de aula e decidiram envolver a comunidade, conversar com as autoridades municipais e promover passeatas, além de chamar a imprensa para testemunhar as iniciativas. O lixão não foi para este bairro. 3. Uma professora de Inglês levou, a pedido de um grupo de alunas, uma música do grupo Backstreet Boys. A escolha foi contestada por outros grupos da sala que alegaram não gostar daquele tipo de música, insinuando que os componentes do grupo eram homossexuais. Estas diferenças de opinião e expressão de preconceito contra orientações sexuais consideradas “certas” deram margem a discussões frutíferas quanto à diversidade, exclusão e negociação. E, para subsidiar as discussões, foram usados outros textos, também em inglês, pesquisados na Internet pelos alunos, que falavam sobre a vida dos componentes do grupo musical, violência em conseqüência de preconceitos etc. Estes são exemplos de ações cidadãs. Segundo Clough e Holden (2002), para que isso ocorra, é necessário que a escola atue de forma que os alunos desenvolvam: a. confiança para emitir opiniões; Cadernos Cenpec 2007 n. 3 b. habilidades para reconhecer pontos de vista e/ou opiniões diferentes das suas; c. habilidades de pensamento crítico, dialético, e argumentação embasada; d. habilidades de colaboração e resolução de conflitos, quando discutir acordos com outros; e. habilidade de participação democrática; f. experiência em tomar iniciativas para conseguir mudanças. Pode-se verificar que os três casos relatados puderam propiciar o desenvolvimento desses seis requisitos, a partir de situações reais. B. Portfólios Em vários níveis de escolaridade, os portfólios vêm sendo usados para a avaliação, segundo relatam Paris e Ayres (1994). Esses instrumentos têm encontrado grande respaldo de educadores por se constituírem em alternativa mais significativa a formas quantitativas de avaliação, além de, potencialmente, possibilitarem, muito além de uma amostragem estática, o desenvolvimento de aprendizagem autoregulada, o envolvimento do aluno e a negociação de significados, processos e produtos com o professor e oportunidades de reflexão conjunta. Shores e Grace (2001) consideram os portfólios “uma coleção de itens que revela, conforme o tempo passa, os diferentes aspectos do crescimento e desenvolvimento de cada [aluno]”. É importante, entretanto, ressaltam as autoras, que se estipule uma política de coleta de trabalhos consistente com o projeto político-pedagógico da instituição. cognitivo da auto-avaliação. No terceiro exemplo, já se prevê espaço para essa interação. 1. Auto-avaliação de projeto • O que você gostou do projeto? • O que poderia ter feito com que este projeto fosse melhor? • De que você mais se orgulha? Por quê? • Como você se dedicou ao projeto? • O que foi difícil? • O que você sabe agora que não sabia antes? (Seja específico.) • Que nota você acha que seu grupo merece neste projeto? Justifique sua resposta. 2. Apresentação para a professora do próximo ano. Escreva uma carta se apresentando para a sua professora do próximo ano. Escolha seu melhor trabalho do portfólio e anexe a sua carta. Descreva seus pontos fortes como leitor e escritor, usando o trabalho anexo como referência. 3. Com base nesta prova [de Biologia] que você acabou de fazer: 1. Avalie sua aprendizagem. 2. Você necessita de orientação da professora? Em qual conteúdo? 3. O que você deve fazer para melhorar ou continuar melhorando o seu desempenho? Comentários da professora: .............................. ............................................................................... C. Auto-avaliação D. História do Brasil Destacam-se, a seguir, duas contribuições de Paris e Ayres (1994, p. 78 e 83): a primeira deve ser aplicada logo após a realização de um projeto em grupo; a segunda favorece também o desenvolvimento de escrita com propósito real. O terceiro exemplo foi elaborado por uma profissional especialista em avaliação. Para os dois primeiros exemplos, em acréscimo, sugerimos que as produções dos alunos sejam posteriormente discutidas com o professor para que se confrontem, possivelmente, opiniões diferentes e também para orientar o processo meta- 151 1. Em seguimento a uma discussão sobre assinatura da Lei Áurea, assinada pela Princesa Isabel, responda: qual a conseqüência desse ato? Explique. 2. Suponhamos que você tivesse a possibilidade de viajar em uma máquina do tempo e voltasse para 1889, no Rio de Janeiro, e lá atuasse como repórter de um importante jornal. Escreva um artigo de/para jornal noticiando a Proclamação de Independência. Cadernos Cenpec 2007 n. 3 Ambas as questões requerem que o aluno faça avaliações das situações apresentadas, expressese e exponha seus pontos de vista, embasando-os criticamente. São questões abertas que propiciam o desenvolvimento da linguagem e funções psicológicas superiores, em termos vygotskianos, como: pensamento abstrato, raciocínio dedutivo, capacidade de se relacionar e transferir conhecimento. Olhando por esse ângulo, estas considerações têm o propósito de instigar novas discussões e, por conseguinte, incentivar pesquisa, diálogo, reflexão. Para finalizar, recorremos a Maria Antonieta Alba Celani (2000, comunicação pessoal). Segundo ela, a avaliação não deve se desvincular do entendimento que, na escola, “conteúdos são meios para que os alunos desenvolvam as capacidades que lhes permitam produzir bens culturais, sociais e econômicos e deles usufruir”. E. Projeto conjunto: Geografia, História, Inglês e Informática Referências 1. Escolha três países distintos em que a língua inglesa é falada (exceto a Inglaterra). 2. Pesquise as razões históricas da introdução da língua inglesa nestes países. 3. Pesquise as características gerais e as particularidades de cada país. 3. Faça um resumo das especificidades de cada país e compare-as. 4. Prepare um pôster para ser afixado no corredor da escola e apresentado oralmente para os colegas, resumindo sua pesquisa. Este projeto foi realizado em duplas, com a colaboração dos professores das disciplinas envolvidas ou de um único professor-orientador escolhido pelos grupos. Os alunos foram orientados, entre outras necessidades, quanto aos instrumentos básicos de pesquisa e busca na Internet, redação e organização adequadas para o pôster. Com esta tarefa, incentivaram-se, por exemplo, a criatividade, a iniciativa de busca, a variedade de interesses, a organização de sínteses e a relação interpessoal. BOURDIEU, P. O poder simbólico. Rio de Janeiro; Lisboa: Bertrand Brasil; Difel, 1989. BRASIL. Secretaria de Educação Fundamental. Parâmetros Curriculares Nacionais: introdução. Brasília: MEC/SEF, 1998. CLOUGH, N.; HOLDEN, C. Education for citizenship: ideas intoaction. London: Routledge Falmer, 2002. FREIRE, P. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra, 1970. HADJI, A. A avaliação, regras do jogo. Das intenções aos instrumentos. Portugal: Porto Editora, 1994. LUCKESI, C. Avaliação da aprendizagem escolar. 8. ed. São Paulo: Cortez, 1998. MOITA LOPES, L. P. A nova ordem mundial, os parâmetros curriculares nacionais e o ensino de inglês no Brasil: a base intelectual para uma ação política. In: RAMOS, L. Bárbara; RAMOS, R. de C. G. (Org.). Reflexão e ações no ensinoaprendizagem de línguas. Campinas: Mercado de Letras, 2003. PARIS, S. G.; AYRES, L. R. Becoming reflective students and teachers with portfolios and authentic assessment. Washington: American Psychological Association, 1994. PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens – entre duas lógicas. Porto Alegre: Artmed, 1999. ROMERO, T. R. S. Os desafios da avaliação: contribuições da visão sociocultural. Contexturas: ensino crítico de língua inglesa, São Paulo, Apliesp (Associação de Professores de Língua Inglesa do Estado de São Paulo), n. 7, 2003/2004. SANTOS, P. S. Avaliação: representações da instituição, dos professores e alunos. 2003. Dissertação (Mestrado) - LAEL, PUC-SP, São Paulo, 2003. SHEPARD, L. The role of assessment in a learning culture. Educational Researcher, v. 2, n. 7, p. 4-14, out. 2000. SHORES, E.; GRACE, C. Manual de portfólio: um guia passo-a-passo para o professor. Porto Alegre: ArtMed, 2001. WILLIAM, M.; BURDEN, R. L. Psychology for language teachers. Cambridge: Cambridge University Press, 1997. Algumas considerações Para saber mais A discussão, dúvidas e buscas sobre a avaliação são tão infindas, propensas ao debate e polêmicas quanto o próprio processo de ensino-aprendizagem. Não há receita pronta, um “faça assim que vai dar certo”, porque a vida (seus vários prismas, significados, sentidos e premências) é multifacetada. Felizmente! Resguardase, assim, nossa ação atenta e crítica ante as nossas ações passadas e futuras como profissionais da educação, comprometidos com a missão que assumimos para nós mesmos. 152 Curso de avaliação na visão sociocultural, no COGEAE, PUC-SP, e no site: <www.pucsp.br/cogeae>. Notas 1 2 Segundo Perrenoud (1999, p. 89), regulação é a ação intencional do professor ou educador, “cuja intenção seria determinar ao mesmo tempo o caminho já percorrido por cada um [o aluno] e aquele que resta percorrer com vistas a intervir para otimizar os processos de aprendizagem em curso”. Diz-se que houve transferência de conhecimento quando se é capaz de usar o conhecimento adquirido em situações novas, o que requer flexibilidade, novas relações e generalizações (Shepard, 2000). Cadernos Cenpec 2007 n. 3 RELATO DE PRÁTICA: PRÊMIO CULTURA VIVA Critérios para premiar tradições brasileiras Maria do Carmo Brant de Carvalho* Em um processo seletivo, a avaliação tem o propósito de julgar o mérito de uma ação a partir de um determinado referencial valorativo, explícito e aceito pelos sujeitos que avaliam. Avaliar, portanto, significa julgar com base em um referencial de valores. Para o processo de seleção das iniciativas inscritas na primeira edição do Prêmio Cultura Viva, buscou-se uma avaliação pautada na idéia de que a cultura na comunidade potencializa os processos de inclusão social, autonomia, empoderamento e protagonismo: • cultura é mediação insubstituível para a construção da cidadania e o desenvolvimento sustentável das comunidades, é força na coesão social; • cultura é conhecimento e aprendizado. Em outras palavras, em qualquer sociedade, a cultura ressignificase enquanto conhecimento e aprendizado compartilhados; • cultura pode se transmutar em economia solidária, geração de trabalho e renda. O Ministério da Cultura do Brasil, na gestão de Gilberto Gil, procura destacar a relação entre cultura e cidadania, potencializando as inúmeras práticas culturais desenvolvidas pela sociedade. Nesse sentido, implementou, no território brasileiro, o Programa Nacional de Cultura, Educação e Cidadania – Cultura Viva – cuja principal ação são os Pontos de Cultura. Ao final de 2005, lançou o Prêmio Cultura Viva, com a intenção de dar visibilidade ao tamanho e à diversidade das práticas culturais que pulsam em cada canto do país. Um Brasil feito da cultura que faz o Brasil. * Maria do Carmo Brant de Carvalho é coordenadora geral do Cenpec, doutora em Serviço Social pela Pontifícia Universidade Católica de São Paulo e pela École des Hautes Études en Sciences Sociales, Paris. 153 O processo de avaliação das iniciativas inscritas foi de extrema importância, pois se constituiu em um meio de mobilização e reconhecimento de práticas que resultam dos saberes e fazeres das comunidades. Assim, o processo, mais que a premiação em si, foi o “coração” do Prêmio Cultura Viva, já que permitiu que fossem alcançados objetivos maiores, como: • o desenvolvimento de consensos para a avaliação de iniciativas culturais: avaliação participativa, realizada de modo descentralizado; • a produção de um mapeamento nacional do “estado da arte” das iniciativas culturais; • a indução de políticas públicas mais robustas e assertivas no que se refere ao fortalecimento da cultura, de forma abrangente, no país. As etapas de seleção do Prêmio Cultura Viva O processo de avaliação dividiu-se em quatro etapas: 1. Análise preliminar Teve por objetivo verificar a compatibilidade das iniciativas inscritas com os requisitos definidos no Regulamento, desclassificando aquelas que não estivessem de acordo com este documento. 2. Seleção das 100 iniciativas semifinalistas As iniciativas, classificadas na análise preliminar, foram avaliadas com base nos indicadores de análise estabelecidos no Manual de Avaliação de Iniciativas Culturais do Prêmio Cultura Viva. Para cada regional, foi composta uma equipe de avaliadores locais que realizou a seleção a partir da leitura das fichas de inscrição e dos materiais complementares, segundo as orientações propostas no manual. Cadernos Cenpec 2007 n. 3 Feita de maneira regionalizada, a seleção partiu de um critério de proporcionalidade, ou seja, o número de semifinalistas de cada regional foi proporcional ao respectivo número de inscrições em cada categoria. 3. Seleção das 30 iniciativas finalistas A seleção das iniciativas finalistas foi realizada por um Comitê Técnico, com base na leitura das fichas de inscrição, dos materiais complementares e dos pareceres produzidos pelos avaliadores regionais. O Comitê Técnico foi composto por representantes de institutos, fundações, universidades, organizações governamentais e da sociedade civil, além de profissionais de reconhecida atuação na área da cultura. 4. Seleção nacional das nove iniciativas premiadas Fase A – Os participantes de cada uma das 30 iniciativas finalistas receberam a visita de um profissional da Comissão Técnica de Visitas, que apresentou um relatório com elementos complementares para a avaliação da Comissão Julgadora. Fase B – Seleção das nove iniciativas vencedoras (três em cada categoria), realizada pela Comissão Julgadora, por meio da leitura das fichas de inscrição e materiais complementares, da documentação produzida pelos avaliadores regionais e pelo Comitê Técnico, além dos relatórios elaborados pela Comissão Técnica de Visitas. 154 A análise documental e visitas técnicas A análise preliminar, a seleção dos 100 semifinalistas e a dos 30 finalistas foram baseadas na avaliação documental — ficha de inscrição contendo informações detalhadas de cada iniciativa inscrita e material complementar. A análise documental conjuga duas perspectivas: uma, mais objetiva, considera as informações factuais, como conteúdo, estratégias, processo e resultados da ação; e outra, subjetiva, capta valores, atitudes, condutas, motivações e tensões. Cada iniciativa foi analisada buscando-se compreender a sua importância no contexto em que se encontra inserida. Sem dúvida, a diversidade de experiências e de conhecimentos acumulados pelos avaliadores trouxe olhares objetivos e subjetivos também variados. Se, por um lado, isso foi um risco, por outro, constituiu a riqueza do processo avaliativo implementado. Na quarta e última fase, foram realizadas visitas técnicas aos locais das 30 iniciativas finalistas recomendadas, para atestar os pareceres avaliativos produzidos, confirmando ou não a seleção proposta. Os avaliadores No processo de avaliação, a convocação de agentes sociais ligados à cultura, à política social, à gestão governamental e às organizações da sociedade civil democratizou e diversificou o olhar sobre as iniciativas cultu- Cadernos Cenpec 2007 n. 3 $ADAAVARIABILIDADE DESUJEITOSEPROPOSTASE CONSIDERANDOSOBRETUDO ADIVERSIDADEREGIONAL EAPRESEN¿ADOSGRUPOS INFORMAISFOINECESS¹RIA UMABOADOSEDE ÚEXIBILIDADEDURANTEO PROCESSODESELE¿»O.»O ÁPOSSÅVELPOREXEMPLO ESPERARPORTFËLIOSCOMPLETOS DOSGRUPOSINFORMAISNEM DOSAPRESENTADOSPELA MAIORIADASORGANIZA¿ÍES CONSTITUÅDASLEGALMENTE rais presentes na sociedade brasileira, tornando o processo mais participativo e transparente, e criando uma rede de parceiros na produção dos retratos de cultura deste país. Respeitando as características socioculturais e geográficas do território, foram estabelecidas três regionais: Nordeste, Sul e Sudeste, Norte e Centro-Oeste. Este processo gerou alguns produtos sociopolíticos da maior importância: • valorização de práticas culturais; • fortalecimento de políticas locais e regionais de cultura; • desenvolvimento de competências em torno da própria avaliação de iniciativas culturais. Precedendo o trabalho de avaliação, cabe destacar que os 72 avaliadores regionais receberam formação presencial, visando a uma discussão mais aprofundada a respeito dos critérios definidos no manual. O processo O Manual de Avaliação de Iniciativas Culturais do Prêmio Cultura Viva orientou a avaliação/seleção, apontando critérios e valores que seriam os parâmetros da análise das iniciativas culturais inscritas. Se, por um lado, o manual organiza indicadores de avaliação no campo da cultura, por outro, não encerra 155 o assunto. Ao contrário: abre possibilidades, suscita reflexões e revisões, permitindo a construção de olhares mais atentos e cuidadosos sobre a riqueza das manifestações culturais brasileiras. Além disso, traz indicadores para avaliar, em sua totalidade, a iniciativa inscrita, situada e datada neste Brasil de regiões absolutamente distintas. Introduz, igualmente, indicadores mais específicos para cada categoria: Tecnologia Sociocultural, Manifestação Tradicional e Gestão Pública. Dada a variabilidade de sujeitos e propostas, e considerando, sobretudo, a diversidade regional e a presença dos grupos informais, foi necessária uma boa dose de flexibilidade durante o processo de seleção. Não é possível, por exemplo, esperar portfólios completos dos grupos informais, nem dos apresentados pela maioria das organizações constituídas legalmente. Por isso, foram solicitados materiais complementares, e não portfólios. Houve iniciativas apresentadas com documentação e escritas irrepreensíveis; outras, com lacunas documentais e redação muitas vezes incompreensível, mas que sinalizavam criatividade e potencialidade. Foram necessárias, portanto, a experiência e a sensibilidade dos avaliadores para a compreensão das várias desigualdades regionais/locais, do isolamento de muitas dessas iniciativas, sua rara presença no espaço público maior e, entretanto, sua forte inserção no espaço público das comunidades. Cultura é pertencimento. Portanto, adquire a cor e a identidade das comunidades. Outra peculiaridade importante é a de que a cultura é expressa por meio de projetos que têm sentido multissetorial, isto é, aparece às vezes na interface com a educação ou com a área de combate à pobreza, ora como desenvolvimento local, ora, ainda, como empoderamento de grupos considerados minorias, ditadas por gênero, etnia, faixa etária... Assim, é necessário compreender que cultura é a mediação fundamental em projetos das demais áreas de políticas públicas que visam ao exercício de cidadania, à educação popular e ao desenvolvimento local. O parecer avaliativo/seletivo, no âmbito do Prêmio Cultura Viva, incidiu na pertinência, consistência, coerência, legitimidade e peso social da iniciativa para a comunidade, aferindo sua relevância e beleza como expressão de identidade e pertencimento à comunidade. Cadernos Cenpec 2007 n. 3 155 Cadernos Cenpec 2007 n. 3 -OSAICO SITESLIVROSEÙLMES A cada instante, avaliamos e somos avaliados. O ser humano se avalia e é avaliado diariamente. Ao final de cada dia, imperceptivelmente, cada um de nós está com bom ou mau humor. Com certeza, essa sensação tem algo a ver com o balanço das avaliações que fizemos e que fizeram de nós mesmos: - Terei dormido bem? - Chegarei a tempo ao trabalho? - O chefe e/ou os chefiados estarão receptivos? - Estou desempenhando bem meu ofício? - Esta é a roupa que devo usar na festa? - Estou elegante? - Saí-me bem na reunião? Fernando Rios Isa Maria F. Rosa Guará* &ILMES Quantas outras perguntas nos fazemos e quantas fazemos em relação aos outros! Somos seres avaliativos. O tempo todo. No extremo, podemos chegar à maledicência... Apesar dessa intensa convivência, temos medo da avaliação. Tememos tanto avaliar quanto sermos avaliados. Se isso acontece informalmente no dia-a-dia, o que não acontece na atividade de avaliação em educação? Alunos, professores, gestores, administradores, todos são questionados quando os resultados das avaliações escolares ficam abaixo dos desejados. E então... Certamente, refletir sobre esse fenômeno pode diminuir nossa ansiedade tanto ao avaliarmos quanto ao sermos avaliados. Mas a questão não é apenas diminuir a tensão. A questão é: o que fazer com os resultados de uma avaliação, seja ela pessoal, seja profissional? Esta edição do Cadernos Cenpec oferece um semnúmero de argumentos para que enfrentemos profissionalmente o tema da avaliação em educação. Nesta seção, procuramos complementar essa oferta, apresentando alguns filmes, livros, artigos e sítios. Nossa intenção é que, com mais elementos para reflexão, certamente ampliaremos nossa consciência e poderemos desenvolver ações mais conseqüentes. * Fernando Rios é jornalista, publicitário, cientista social e consultor em comunicação organizacional integrada. Isa Maria F. Rosa Guará é pedagoga, doutora e mestre em Serviço Social (PUC-SP) e pós-graduada em Psicopedagogia. É consultora em programas e projetos sociais. 156 O que você faria DIRETOR: MARCELO PIÑEYRO. ATORES: EDUARDO NORIEGA, NAJWA NIMRI, EDUARD FERNÁNDEZ, PABLO ECHARRI, ERNESTO ALTERIO, CARMELO GÓMEZ, ADRIANA OZORES, NATALIA VERBEKE. DRAMA, ESPANHA-ARGENTINA-ITÁLIA, 2005, 115 MINUTOS. Uma situação de avaliação, no mais alto nível, de uma competitividade que pretende ser cordial: sete executivos se candidatam a um emprego e se submetem a um processo de seleção no mesmo dia em que Madri é movimentada por marchas de protesto contra a globalização e a política monetária do FMI, que realiza sua reunião no mesmo prédio. O grupo é deixado a sós em uma sala e são promovidos vários testes por computador que pretendem avaliar a interação entre eles. De início, todos acreditam ter controle sobre seu comportamento e emoções, mas os jogos os levam a situações-limite que, aliadas ao fato de saberem estar sendo observados, colocam-nos em um nível de tensão insuportável. As alianças, paranóias, medos e misérias não tardam a aparecer. Em um clima claustrofóbico, de máxima desconfiança e absoluta falta de escrúpulos, acontecem acordos, disputas, revelam-se segredos, vêm à tona conflitos passados. Aos poucos, emerge uma inconseqüente e fria luta pela sobrevivência, muito comum em nossa economia capitalista globalizada. Cadernos Cenpec 2007 n. 3 Segundo o crítico Luiz Carlos Merten, “a força do filme vem das relações. A personagem da mulher fornece a chave e é magnífica. O mundo globalizado ficou pior, mas o cinema do argentino Marcelo Piñeyro continua ótimo”. Ganhou dois prêmios no Goya, da Academia das Artes e Ciências Cinematográficas da Espanha, nas categorias de Melhor Ator Coadjuvante (Carmelo Gómez) e Melhor Roteiro Adaptado (Mateo Gil e Marcelo Piñeyro). Foi, ainda, indicado nas categorias de Melhor Ator (Eduard Fernández), Melhor Revelação Masculina (Pablo Echarri) e Melhor Edição (Ivan Aledo). Bicho de sete cabeças DIRETORA: LAÍS BODANSKY. ATORES: RODRIGO SANTORO, OTHON BASTOS, CÁSSIA KISS E CACO CIOCLER. DRAMA, BRASIL, 2000, 80 MINUTOS. Quem pode ter a verdade numa conflituosa relação pai e filho? Quem estrutura a família? Como um jovem pode reagir a fatos que acontecem no cotidiano, compreendê-los, avaliálos, fazer prevalecer sua individualidade e permanecer ileso? Este filme de Laís Bodansky é um convite à reflexão. Tudo é questionado: a família, a paternidade, a maternidade, a juventude, a questão das drogas, o tratamento hospitalar de deficientes mentais, a sociedade contemporânea, a urbanidade... E neste vórtice de inconseqüências, cada personagem se apresenta diante e em relação ao personagem central, o adolescente Neco, interpretado por Rodrigo Santoro, que parece caminhar inexoravelmente para uma tragédia. Não se diga que o filme retrata uma típica família de classe média periférica brasileira. Mas essas famílias costumam apresentar muitas dessas situações. É um trabalho supercuidadoso, com ótima direção de atores e belos movimentos de câmera. O crítico Thiago P. Ribeiro faz uma síntese elucidativa: Temos o prazer em ver Rodrigo Santoro mostrar por que está onde está. Internados em seus pensamentos difusos e fora do normal, os atores conseguem retratar com perfeição o mundo criado pelos roteiristas, diretores e diretores de arte. Afinados com a falta de realidade comum entre os internos de qualquer manicômio, os atores parecem se fechar em mundos próprios, recôncavos e circundados por delicados movimentos e olhares sem expressão definida. Caminham pelo pátio entediados, sem esperança, sujos, renegados. Os melhores momentos são aqueles em que a prisão, imposta pela sociedade aos rotulados ‘fora do padrão’, revela personagens criados com carinho pelos cineastas e atores. São nas mínimas expressões entre alento e perdição que encontramos o tom do filme. Janela da alma DIRETORES: JOÃO JARDIM E WALTER CARVALHO. ENTREVISTADOS: AGNES VARDA, ANTÔNIO CÍCERO, ARNALDO GODOY, CARMELLA GROSS, EUGEN BAVCAR, HANNA SHYGULLA, HERMETO PASCOAL, JOÃO UBALDO RIBEIRO, JOSÉ SARAMAGO, MADALENA GODOY, MANOEL DE BARROS, MARIETA SEVERO, MARJUT RIMMINEN, OLIVER SACKS, PAULO CEZAR LOPES, WALTER LIMA JR., WIM WENDERS. DOCUMENTÁRIO, BRASIL, 2001, 73 MINUTOS. “O olho abraça a beleza do mundo inteiro. É janela do corpo, por onde a alma especula e frui a beleza do mundo. O que há de admirável no olho é que através dele – de um espaço tão reduzido – seja possível a absorção das imagens do universo. De sorte que esse órgão – um entre tantos – é a janela da alma, o espelho do mundo.” Esse texto, atribuído a Leonardo da Vinci (além de tudo, ele sabia escrever bem) serviu de epígrafe e inspiração para este maravilhoso filme que fala sobre ver, olhar, enxergar, discernir, vislumbrar, descortinar... a vida e seus pertences, visíveis pelo olho e pela alma. 157 Cadernos Cenpec 2007 n. 3 Utilizando um grupo seleto de entrevistados, de míopes e cegos – entre eles, o escritor e Prêmio Nobel José Saramago, o músico Hermeto Paschoal, o cineasta Wim Wenders, o fotógrafo cego franco-esloveno Evgen Bavcar, o neurologista Oliver Sacks, a atriz Marieta Severo, o vereador cego de Belo Horizonte, Arnaldo Godoy – o filme nos propõe uma reflexão que remete para a maneira de cada um estar no mundo, percebê-lo e interpretá-lo. Todos trazem revelações surpreendentes: do funcionamento fisiológico do olho, o significado de ver ou não a poluição visual que domina o planeta até a importância das emoções como elemento transformador da realidade. Cada um deles, a partir de sua deficiência, maior ou menor, articula uma nova eficiência. Esta é uma das grandes lições do trabalho de João Jardim e Walter Carvalho. Uma lição que pode enriquecer o dia-a-dia de qualquer pessoa, sobretudo de professores e alunos. Janela da Alma ganhou o Grande Prêmio Cinema Brasil de Melhor Documentário e recebeu outras seis indicações: Melhor Diretor, Melhor Roteiro Original, Melhor Trilha Sonora, Melhor Montagem, Melhor Fotografia e Melhor Som; o prêmio de Melhor Documentário, no Festival do Rio 2001; os prêmios de Melhor Documentário - Júri Oficial e Melhor Documentário - Júri Popular, na Mostra de Cinema de São Paulo. Depois que abrimos com cuidado a “Janela da Alma” e lançamos nosso olhar sobre a paisagem que ela propõe, notamos quão importante é sentir a realidade e perceber que é possível transformá-la para melhor. Pro dia nascer feliz DIRETOR: JOÃO JARDIM. DOCUMENTÁRIO, BRASIL, 2006, 88 MINUTOS. Provavelmente, o melhor documentário já feito no Brasil comparando escolas públicas e particulares, por meio de depoimentos de adolescentes de classes baixa, média e alta, mesmo considerando que uma entrevistada tenha subido ao palco do Cine Sesc São Paulo, na estréia, para protestar contra os trechos escolhidos de sua entrevista. Ainda assim, os depoimentos de adolescentes de áreas urbanas e rurais, dos estados de São Paulo, Rio de Janeiro e Pernambuco revelam angústias, esperanças e desesperanças, incertezas e conflitos vividos por eles. Não se podem generalizar as situações apresentadas em Pro Dia Nascer Feliz. Contudo, no fim do filme sobra um grande desalento em relação ao ensino público, no qual o adolescente brasileiro enfrenta preconceito, precariedade e violência. Ao menos é traçado um retrato realista das adversidades enfrentadas pelos adolescentes nas escolas brasileiras e a reprodução de um sistema social injusto, no qual apenas os ricos têm acesso às melhores escolas, aos melhores empregos e, conseqüentemente, às melhores condições de vida. Uma denúncia que merece apuração e medidas para transformá-la. Em um bate-papo no site UOL, o diretor João Jardim comentou seu trabalho: A idéia do documentário nasceu quando eu estava fazendo uma pesquisa sobre gravidez precoce. Comecei a perceber que os adolescentes reclamavam muito da escola. Esse antagonismo entre o adolescente e a escola foi o ponto de partida para fazer o filme. (Este filme é) ... um diário de observação. Acompanhei durante um tempo o que os adolescentes viviam. É um filme de pessoas contando histórias, misturadas com imagens de momentos da vida deles. Basicamente todas as histórias me chocaram. A que mais me choca é a história de uma menina que matou uma colega. Ela já estava presa, eu fui atrás um tempo depois e colhi o depoimento dela. A variação do tom é muito grande, esse momento é muito imprevisível. É uma mistura de tédio com emoção. 158 Cadernos Cenpec 2007 n. 3 Acho que é muito essa questão de o mundo ter mudado muito e a educação ainda ser a mesma. A família é o que tem de mais importante, às vezes no momento que o filho precisa de apoio, os pais são muito rígidos e vice-e-versa. Falta uma discussão melhor dentro da escola sobre o que está acontecendo com o jovem. Ninguém precisa dizer aos pais como fazer, mas vale explicar melhor. (...) os professores estão na mesma realidade que os alunos. É um pouco sem saída. O professor não sabe lidar muito bem com o jovem, ele está aí sem os recursos necessários. Os diretores, mais ainda. A situação, que não parece ser nova para quem está no magistério, também não vem sendo alvo de estudo pelas Universidades. Não percebi em nenhuma das Universidades onde estive fazendo pesquisa a preocupação de formar pessoas que saibam lidar com essa realidade de desinteresse. Não há sistematização desse conhecimento. O filme ganhou os Kikitos de Ouro de Melhor Filme - Júri Popular, Melhor Trilha Sonora, o Prêmio Especial do Júri e o Prêmio da Crítica, no Festival de Gramado; recebeu o prêmio de Melhor Documentário - Júri Oficial, o Prêmio da Juventude e o Prêmio Bombril de Melhor Documentário Brasileiro, na Mostra de Cinema de São Paulo. Sobre o título, Jardim explica: “é uma tentativa de dizer que Pro Dia Nascer Feliz a realidade que esse filme mostra tem que ser mudada”. Nenhum a menos DIRETOR: ZHANG YIMOU. ATORES: WEI MINZHI, ZHANG HUIKE, TIAN ZHENDA, GAO ENMAN, SUN ZHIMEI, LI FANFAN. DRAMA, CHINA, 1999, 106 MINUTOS. Um retrato da precária escola rural na China, uma história de obstinação para ganhar algum dinheiro, uma discussão sobre evasão escolar, uma lição para quem precisa dar aulas sem qualquer recurso, um exemplo do caos urbano chinês, o desenvolvimento de um processo de solidariedade. Sim, tudo isso está presente no singelo Nenhum a Menos, de Zhang iYmou. Mas prefiro destacar aquilo que Sócrates chama de ética da consciência. A emergência de um grande compromisso com o objetivo de seu trabalho, uma responsabilidade moral, que surge e cresce numa professora, adolescente de 13 anos. Com atores amadores e uma câmara que podemos classificar de rústica, o diretor nos apresenta muitos argumentos para uma reflexão sobre o processo pedagógico em situações-limite. E nos mostra ainda como é possível fazer um filme contundente com poucos recursos. Ele também dirigiu o poético O Caminho para Casa (ver Cadernos Cenpec, n. 2, p. 160). A história é simples: Gao, professor de uma escola primária, precisa tirar um mês de licença para cuidar de sua mãe doente. Nada demais, se estivéssemos em um país desenvolvido. Acontece que, na pequena cidade de Shuiquan, apenas uma menina de 13 anos, Wei Minzhi, pode substituí-lo. Além disso, de uma turma de 50 alunos, apenas 28 permanecem. Nos primeiros dias de Wei, uma das alunas foi selecionada para freqüentar uma escola de esportes e um aluno de 10 anos abandona a classe para procurar emprego na cidade. E o único pedido do professor Gao é o de que a classe não diminua, nem um aluno sequer. Está aí o motivo do filme: a mobilização de uma adolescente e de seus alunos, pouco mais novos, para recuperar a ovelha desgarrada, num périplo do rural para o urbano, com todos os riscos que isso pode trazer. Num primeiro momento, o único envolvimento de Wei é com a possibilidade de ganhar uns trocados a mais, se nenhum aluno desistir. Mas isso muda. Está aí um filme que nos coloca 159 Cadernos Cenpec 2007 n. 3 diante de dilemas aparentemente insolúveis. Porém, quando se quer realmente mudar a realidade, surgem as propostas e as maneiras de implementá-las. Nenhum a Menos ganhou o prêmio Leão de Ouro, no Festival de Veneza, em 1999. ,IVROSETEXTOSNA)NTERNET Avaliação: uma prática em busca de novos sentidos MARIA TERESA ESTEBAN (ORG.). REGINA LEITE GARCIA, ÁNGEL DÍAZ BARRIGA, ALMERINDO JANELA AFONSO, CORINTA M. G. GERALDI, JUSSARA M. P. LOCH. DP&A EDITORA, RIO DE JANEIRO, RJ, 1999, 144 P. Um pequeno livro (do último ano do século passado, que parece tão distante) desafia-nos: o que temos feito? Essa afirmação de Maria Teresa Esteban nos provoca: O processo de avaliação do resultado escolar dos alunos e alunas está profundamente marcado pela necessidade de criação de uma nova cultura sobre avaliação, que ultrapasse os limites da técnica e incorpore em sua dinâmica a dimensão ética. Este livro leva à reflexão, estimula a ação e, principalmente, incita a nossa indignação. No texto “Uma polêmica em relação ao exame”, Angel Diaz Barriga alfineta: O exame se converteu num instrumento no qual se deposita a esperança de melhorar a educação. (...) Um falso princípio didático: um melhor sistema de exame, melhor sistema de ensino. Nada mais falso que essa proposição. (...) a proposta técnica de fazer exames – manejo estatístico dos dados, construção de reativos, objetivos, entre outros – contribuiu ao empobrecimento da visão sobre a educação. A pedagogia do exame criou mais problemas para a educação do que resolveu. Avaliação da aprendizagem: práticas de mudança. Por uma práxis transformadora. CELSO DOS S. VASCONCELLOS. EDITORA LIBERTAD, COLEÇÃO CADERNOS PEDAGÓGICOS, SÃO PAULO, SP, 2005, 7ª EDIÇÃO, 232 P. Celso Vasconcelos se propõe a responder perguntas que vivem sem resposta nas mentes de milhares de pessoas: - Como passar das muitas análises do papel político da avaliação, das simples negações das práticas avaliativas dos professores, do uso de uma linha avaliativa ingênua ou reprodutora para a construção de caminhos concretos na perspectiva crítica? - O que fazer a fim de superar as práticas autoritárias de avaliação ou, ao menos, o que fazer em termos de preparação para uma mudança maior? - Como avançar para além do discurso e traduzir em ações a nova visão da avaliação? Aqui, o leitor encontrará boas respostas, e explicações para elas ainda não terem sido utilizadas. Mas Vasconcelos não desanima, muito menos os leitores, já que o livro está na sétima edição. Para ele: (...) o ser humano gosta de desafios (...); a tarefa que está posta é superar sua formulação alienada – “ser o melhor”, “conseguir nota”, “passar de ano” – e apontar novas tarefas para os alunos: aprender mais e melhor; não deixar ninguém pelo caminho, avançar juntos (“nenhum a menos”); refletir, desfrutar o prazer de conhecer; pensar com a própria cabeça; descobrir novas possibilidades de organização do real; ser capaz de intervir, abrir novos horizontes dentro e fora da escola. Na perspectiva de uma práxis transformadora, Vasconcelos defende que a avaliação deve ser considerada um compromisso com a aprendizagem de todos e com a mudança institucional. 160 Cadernos Cenpec 2007 n. 3 E conclui: Por não haver uma forma perfeita de avaliação, há necessidade de alimentarmos uma atitude ao mesmo tempo de humildade e de ousadia: não ter medo de fazer, não deixar de avaliar, de criar dispositivos avaliativos que favoreçam a efetiva aprendizagem e estar aberto à crítica, ter presente que qualquer prática de avaliação é sempre uma aproximação, o que demanda diálogo autêntico. Nossa escola pesquisa sua opinião MANUAL DO PROFESSOR. INSTITUTO PAULO MONTENEGRO / GLOBAL EDITORA, SÃO PAULO, 2002, 2ª EDIÇÃO, 192 P. Nossa escola pesquisa sua opinião DIÁRIO DE PESQUISA JANUÁRIA ALVES. INSTITUTO PAULO MONTENEGRO / GLOBAL EDITORA, SÃO PAULO, SP, 2002, 2ª EDIÇÃO, 192 P. O aluno é sempre avaliado. Em tese, na teoria e na prática, é ele quem precisa “passar de ano”. Mas... e os professores, e os gestores, e a escola, e os pais, e a comunidade? Os resultados das avaliações da educação brasileira não têm sido muito animadores. Quem sabe, se pudéssemos fazer uma avaliação “em processo” da educação – conhecer melhor alunos, professores, gestores, condições materiais da escola, pais, comunidade, durante o período letivo – conseguíssemos melhores resultados? É exatamente isso o que propõem estes dois livros, editados pelo Instituto Paulo Montenegro, uma ONG voltada para a educação, do Instituto Brasileiro de Opinião Pública e Estatística, mais conhecido como Ibope. Logo no início, o livro propõe: Você já parou para pensar por que fazemos pesquisa de opinião? Por que a opinião sobre outras pessoas e fatos é tão importante que precisa ser medida? Responda, então, ao teste: Fazemos pesquisa de opinião: a. Para averiguar a existência de algum problema? b. Para confirmar a continuidade de uma ação que já está em andamento? c. Para compreender a visão que as pessoas têm de um fato ou de alguma ação em curso? d. Para detectar a dimensão de algum problema ou de alguma ação? e. Para refletir sobre como agir, como mudar, como superar, ou como reafirmar as posições ou caminhos já escolhidos? f. Todas as alternativas anteriores estão corretas. É claro que você optou pela alternativa “f”. Estes dois livros ensinam tudo isso. Resta saber se todos os envolvidos estão dispostos a serem avaliados. Mas que vale a pena não apenas ler os livros como também colocar suas idéias em prática, lá isso vale! E ainda há um ótimo sítio para se esclarecerem as dúvidas: <www.ipm.org.br>. Avaliação sob exame HÉLIA SONIA RAPHAEL E KESTER CARRARA (ORG.). ALDA JUNQUEIRA MARIN (COM: CLAUDIA CRISTINI FLORIO GUILHERME, JOSELY KOBAL DE OLIVEIRA, MARIA CRISTINA DE SENZI ZANCUL, MARIA IOLANDA MONTEIRO), ANA CLÁUDIA BARTOLOZZI MAIA, ELIANA MARIA GRADIM FABRON, LÉA DEPRESBITERIS, MIGUEL CLÁUDIO MORIEL CHACON, RITA DE CÁSSIA TIBÉRIO ARAÚJO, ROSALY MARA SENAPESCHI GARITA, SADAO OMOTE. FAPESP / EDITORA AUTORES ASSOCIADOS, CAMPINAS, SP, 2002, 226 P. Pedagogia e psicologia sempre andaram juntas. A psicologia é um dos principais instrumentos de inteligência do processo pedagógico. E isso faz sentido: a pedagogia tem sido prioritariamente chamada a se relacionar com crianças e jovens, para desenvolver processos 161 Cadernos Cenpec 2007 n. 3 de aprendizagem; e para se conhecer essa população, a psicologia é imprescindível. As autoras, contudo, chamam a atenção para a abrangência da questão pedagógica e remetem os leitores para questões mais amplas. Elas mesmas advertem: O que se torna necessário é o entendimento das questões emanadas da psicologia da educação, da sociologia, da filosofia, da antropologia e de quaisquer outras áreas do saber presentes na questão abordada, como algo indissociável, ou seja, uma totalidade de inter-relações que oferecem um entendimento dinâmico do processo avaliatório. É nessa direção que caminham os oito estudos apresentados, que tratam desde as óticas teóricas e processo de construção da cidadania – ao propor uma avaliação da avaliação, e avaliação diagnóstica em educação especial – até a abordagem ecológica na análise de notas escolares, além da pergunta crucial: podemos ser conscientes quando avaliamos? Leia mais Para quem deseja mais informações, indicamos também outros livros e artigos. ,IVROS Análise das práticas dos professores e das situações pedagógicas MARGUERITE ALTET. PORTO EDITORA, PORTO, PORTUGAL, 2000, 192 P. Avaliação educacional: regulação e emancipação ALMERINDO JANELA AFONSO. CORTEZ EDITORA, SÃO PAULO, SP, 2000, 2ª EDIÇÃO, 152 P. Escola, currículo e avaliação MARIA TERESA ESTEBAN (ORG.). ALMERINDO JANELA AFONSO; ANA LÚCIA SOUZA DE FREITAS; MAILSA CARLA PASSOS E CARLOS ROBERTO DE CARVALHO; ANELICE RIBETTO, GENI AMÉLIA NADER VASCONCELOS, PAULO SGARBI E VALATER FILÉ; INÊS BARBOSA DE OLIVEIRA E DIRCEU CASTILHO PACHECO; MARIA CLÁUDIA REIS FERRAZ E STELLA MARIS MOURA DE MACEDO; CARMEN SANCHES SAMPAIO. CORTEZ EDITORA, SÉRIE: CULTURA, MEMÓRIA E CURRÍCULO, SÃO PAULO, SP, 2003, 168 P. Mitologias da avaliação – de como ignorar, em vez de enfrentar problemas PEDRO DEMO. EDITORA AUTORES ASSOCIADOS, COLEÇÃO: POLÊMICAS DO NOSSO TEMPO, CAMPINAS, SP, 2002, 86 P. !RTIGOSNA)NTERNET A avaliação do desempenho escolar como ferramenta de exclusão social ANDRÉA CRISTINA MARQUES DE ARAÚJO Disponível em: <http://www.ccuec.unicamp.br/revista/infotec/artigos/andrea_cristina2.html.> A dimensão reflexiva da avaliação ENTREVISTA COM MARIA TEREZA ESTEBAN Disponível em: <http://www.tvebrasil.com.br/salto/entrevistas/maria_teresa_esteban%20.htm>. 162 Cadernos Cenpec 2007 n. 3 Avaliação educacional e projeto político-pedagógico MOACIR GADOTTI. Disponível em: <http://www.paulofreire.org/Moacir_Gadotti/Artigos/Portugues/Curriculo/Avali_educacional_PPP.pdf>. Avaliação na pedagogia de projetos PGM 5 – Práticas avaliativas na pedagogia de projetos MARIA TERESA ESTEBAN Disponível em: <http://www.tvebrasil.com.br/SALTO/boletins2002/aas/aastxt5.htm>. Avaliação: uma roupa nova em um corpo novo FLORA SUMIE TAKAMORI, LUIZ SEABRA JÚNIOR, MARIA LOURDES VIEIRA Disponível em: <http://www.unipinhal.edu.br/movimentopercepcao/include/getdoc. php?id= 358& article= 112& mode= pdf>. Avaliar para crescer REPORTAGEM: PAOLA GENTILE Disponível em: <http://novaescola.abril.uol.com.br/index.htm?ed/138_dez00/html/avaliacao>. Boa gestão, e não orçamento maior, determina boas notas. SIMONE IWASSO Disponível em: <http://www.estado.com.br/editorias/2007/03/25/ger1.93.7.20070325.8.1.xml>. Educação infantil inspira avaliação formativa ENTREVISTA: ANTONI ZABALA Disponível em: <http://novaescola.abril.uol.com.br/ed/138_dez00/html/zabala.doc>. Intencionalidade: palavra-chave da avaliação ENTREVISTA: CELSO DOS SANTOS VASCONCELOS Disponível em: <http://novaescola.abril.uol.com.br/ed/138_dez00/html/celso.doc>. 3ÅTIOS www.abave.org.br INTERCÂMBIO DE EXPERIÊNCIAS A Associação Brasileira de Avaliação Educacional - Abave é uma associação de natureza científica que se apresenta como um espaço de intercâmbio de experiências entre os acadêmicos e os implementadores da avaliação educacional. http://www.inep.gov.br/ AVALIAÇÃO INTERNACIONAL Entre no site do INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. No menu, do lado esquerdo, encontra-se a área Biblioteca Virtual de Educação. Ela traz uma relação de sites internacionais com textos sobre avaliação. http://www.unesco.org.br/ EDUCAÇÃO NO BRASIL E NO MUNDO Unesco-Organização das Nações Unidas para a Educação, a Ciência e a Cultura – sítio no qual se pode conhecer a atuação da entidade no mundo em suas diversas áreas de atu- 163 Cadernos Cenpec 2007 n. 3 ação: Educação, Ciências Naturais, Ciências Humanas e Sociais, Cultura, Comunicação e Informação, Pesquisa e Avaliação. http://www.preal.org/Default.asp PRÁTICAS EDUCACIONAIS LATINO-AMERICANAS PREAL – Programa de Promoção da Reforma Educativa da América Latina e Caribe promove a participação de diversos atores sociais no desenvolvimento e aperfeiçoamento de políticas, além de estimular a busca de acordos nacionais para melhorar a qualidade, eqüidade e eficácia dos sistemas educativos na região. www.ice.deusto.es/rinace/ PESQUISA SOBRE QUALIDADE E EQÜIDADE A Rede Ibero-Americana de Investigación sobre Cambio e Eficacia Escolar é uma rede de pesquisadores em educação comprometidos em aumentar os níveis de qualidade e eqüidade dos sistemas educativos. www.icsei.net. EFEITO ESCOLA Um grupo de pesquisadores de todo o mundo tem realizado conferências anuais sobre o tema da Escola Efetiva – International Congress for School Effectiveness and Improvement – oferecendo contribuições importantes para o desenvolvimento da pesquisa sobre os efeitos da escola. Em inglês. www.ncrel.org DESENVOLVIMENTO PROFISSIONAL E PESQUISA Para leitores de língua inglesa, o sítio do Learning Point Associates oferece pesquisas, recursos de desenvolvimento profissional para professores e informa sobre as melhores práticas existentes para o aperfeiçoamento da eficácia escolar. 164 Cadernos Cenpec 2007 n. 3 Cadernos Cenpec Cenpec Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária Ano II Número 3 Primeiro semestre de 2007 Presidência Maria Alice Setubal Diretora Presidente Ricardo Campus Caiuby Ariani Diretor Vice-Presidente Diretores Administrativos Lydia Maria Queiroz Ferreira de Magalhães Tereza Maria Macedo Soares de Araújo Cadernos Cenpec é uma publicação do Conselho de Administração Antonio Carlos Caruso Ronca Bernardete Angelina Gatti Hélio Mattar Maria Alice Setubal Michel Paul Zeitlin Ricardo Campos Caiuby Ariani Conselho Fiscal Reginaldo José Camilo Rebecca de Castro Filgueiras Raposo Cenpec – Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária Rua Dante Carraro, 68 05422-060 – São Paulo – SP Brasil Coordenação Coordenadora Geral Maria do Carmo Brant de Carvalho Telefax: (55) (11) 2132 9000 [email protected] www.cenpec.org.br Assessoria da Coordenação Maria Ângela Leal Rudge Maria Cristina S. Zelmanovits Carola Carbajal Arregui Os artigos assinados não representam necessariamente os ponto de vista do Cenpec. As opiniões e idéias expressas neles são de responsabilidade exclusiva de seus autores. Coordenadora Administrativo-Financeira Maria Aparecida Acunzo Forli 165 Cadernos Cenpec 2007 n. 3 Créditos desta edição Priscila Gonsales Regina Scarpa Sônia Maria de Oliveira Nudelman Tânia Regina de Souza Romero Terezinha Azerêdo Rios Vanda Mendes Ribeiro Vanda Noventa Fonseca Vera Masagão Ribeiro Waldenir (Nino) Bernini Lictenthaler Organização e Coordenação Isa Maria F. Rosa Guará Comitê Editorial Ana Regina Carrara Eloísa de Blasis Fernando Rios Isa Maria F. Rosa Guará Maria do Carmo Brant de Carvalho Redator Fernando Rios Conselho Editorial Âmbar de Barros Antonio Jacinto Mathias Bernadete Gatti Fernando Almeida Fernando Rossetti Gilda Portugal Gouveia Isa Maria F. Rosa Guará Marco Aurélio Nogueira Maria Alice Setubal Maria do Carmo Brant de Carvalho Vera Masagão Revisão e preparação de textos Dora Helena Feres Sylmara Beletti Projeto gráfico original Homem de Melo & Troia Design Diagramação e editoração eletrônica Fonte Design Fotos João Kulcsár (consultor) Arquivo Prêmio Cultura Viva Arquivo Unicef Daniel Malva Daniela Savastano Fernando Rios Colaboram nesta edição Ana Luíza Mendes Borges Ana Maria Falsarella Bernardete Gatti Claudia Petri Denise Blanes Erika Himmel König Gabriel Grossi Heloísa Trenche Joana Buarque de Gusmão Jorge Kayano José Francisco Soares José Hamilton Maruxo Júnior Liliane Petris Márcia Padilha Lotito Maria Amábile Mansutti Maria de Salete Silva Maria Helena Guimarães de Castro Mílada Tonarelli Gonçalves Naércio Menezes Tiragem 2.000 exemplares Cadernos Cenpec / Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária. – N. 3 (2007) – São Paulo: CENPEC, 2007 ISSN 1808-9631 Semestral 1. Educação 3. CENPEC CDD 370 166 Cadernos Cenpec 2007 n. 3 Cadernos Cenpec: educação em todos os sentidos Cadernos Cenpec é um importante periódico brasileiro dedicado à discussão dos gran gran-des problemas da educação pública brasileira e sua interface com a cultu cultu-ra e as ações sociais. Os dois primeiros números abordam temas que estão na pauta das questões educacionais e deverão continuar por muito tempo: Cidade Educadora e Educação Integral. Este terceiro volume trata de Avalia Avalia-ção em Educação. Em cada edição, o Cenpec utiliza sua larga experiência, por meio de artigos e seus colaboradores diretos, e convida especialistas para desenvolverem te te-as específicos. Cadernos Cenpec é dirigido a professores, gestores escolares, ministradores e políticos, enfim, a todos aqueles comprometidos com a me me-ria da educação brasileira. O Cenpec é uma das principais organizações não-governamentais brasileiras atua na formação e aperfeiçoamento técnico-pedagógico das equipes de edu edu-o, cultura e ação social e no desenvolvimento de projetos, metodologias e re re-s didáticos voltados para a educação integral. Em cada revista, um tema atual. Como adquirir No volume 1, que trata de Cidade Educadora, um grupo de re re-nomados educadores debate o tema “Qual cidade educadora queremos”. Outros artigos abordam a educação na cidade sob diferentes olhares, as possibilidades de organização de uma cidade voltada para a educação, a utilização dos espaços edu edu-cativos, práticas e experiências de educação articuladas com a comunidade, além de indicações e propostas para uma boa política municipal de educação. Cadernos Cenpec podem ser comprados diretamente na ins ins-tituição. No volume 2, que discute Educação Integral, os artigos abor abor-dam experiências que vão do campo à cidade na busca de um lugar da educação integral na política social. Discutimos o que se diz sobre a escola pública de horário integral e as possibili possibili-dades educativas de diversos espaços complementares com com-pondo, com a escola, um programa de tempo integral. Refle Refle-tindo sobre os conceitos de cidadania integral, escola de tem tem-po integral e educação integral, a edição apresenta relatos e depoimentos que ilustram os caminhos teóricos. Para adquirir a publicação, você também pode acessar o site site:: < www.cenpec.org.br > e seguir as instruções de compra. O preço é R$ 20,00, por exemplar. Quantidades acima de 20 exemplares têm desconto de 20%. Mais informações pelo telefone 11 2132.9000 ou pelo email < [email protected] > Os Cadernos estão à venda também na Livraria Cortez. Telefax 11 3873.7111; site site:: < www.livrariacortez.com.br > Contribuição teórica e prática “Educação parece ser o grande desafio da sociedade brasi brasi-leira”, comenta a professora Maria do Carmo Brant de Carva Carva-lho, coordenadora geral do Cenpec Cenpec,, que argumenta: “não es es-tamos conseguindo preparar corretamente os alunos das es es-colas públicas para enfrentar uma sociedade altamente com com-petitiva, que veicula uma grande quantidade de informação e que exige uma consistente formação profissional. Com esta publicação, queremos contribuir, teórica e praticamente para discutir, entre outros temas, a formação e o papel dos profes profes-sores na sociedade do conhecimento, a relação entre violên violên-cia e conhecimento na escola, a importância dos gestores es es-colares e a formulação e implementação de políticas públicas em educação”. 167 Cenpec – Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitári Comunitária a Rua Dante Carraro, 68, 05422-060 Pinheiros, São Paulo, SP. Telefone: 55 11 2132.9000 E-mail: [email protected] Site:: www.cenpec.org.br Site Cadernos Cenpec 2007 n. 3 168 Cadernos Cenpec 2007 n. 3