1 RENATO AUGUSTO DA SILVA USO DOS RESULTADOS DE AVALIAÇÕES EXTERNAS NA ESCOLA DO JARDIM CONCEIÇÃO: POSSIBILIDADES E DESAFIOS UNIVERSIDADE CIDADE DE SÃO PAULO 2010 2 RENATO AUGUSTO DA SILVA USO DOS RESULTADOS DE AVALIAÇÕES EXTERNAS NA ESCOLA DO JARDIM CONCEIÇÃO: POSSIBILIDADES E DESAFIOS Dissertação apresentada à Banca Examinadora da Universidade Cidade de São Paulo, como exigência parcial para obtenção do Título de Mestre em Educação, sob orientação da Profª. Dra. Sandra Maria Zákia Lian Sousa. UNIVERSIDADE CIDADE DE SÃO PAULO 2010 3 UNIVERSIDADE CIDADE DE SÃO PAULO COMISSÃO JULGADORA ___________________________________________ ___________________________________________ ___________________________________________ 4 Ficha Elaborada pela Biblioteca Prof. Lúcio de Souza . UNICID S586u Silva, Renato Augusto da Uso dos resultados de avaliações externas na escola do Jardim Conceição: possibilidades e desafios / Renato Augusto da Silva --- São Paulo, 2010. 84p.; anexos Bibliografia Dissertação apresentada como exigência parcial para a obtenção do título de Mestre em Educação junto à Universidade Cidade de São Paulo – UNICID sob orientação da Profa. Dra. Sandra Maria Zákia Lian Sousa. 1. Avaliação escolar. 2. Avaliação do aluno. I.Sousa, Sandra Maria Zákia Lian II. Titulo. CDD 371.27 5 SUMÁRIO Ficha catalográfica IV Sumário V Agradecimentos VI Resumo VII Abstract VIII Lista de Siglas IX Lista de Anexos X Introdução, objetivos e justificativa 11 Capítulo 1 - Histórico e cenário da Escola do Jardim Conceição 18 1.1 – A criação da Escola do Jardim Conceição 24 1.2 – A implantação da “avaliação institucional” 27 Capítulo 2 – A Avaliação de desempenho dos alunos induzindo ações na escola Jardim Conceição 2.1 – Resultados obtidos na avaliação do ano de 2007, interpretação e ações subsequentes 36 2.1.1 – Ações de natureza administrativa 40 2.1.2 – Ações de natureza pedagógica 43 2.2 – Opinião dos professores sobre formação continuada e avaliação externa 51 Capítulo 3 - As avaliações de desempenho e sua influência na gestão escolar 62 3.1 – A “pressão competitiva” e a concessão de bônus ou reconhecimento 68 Considerações Finais 76 Referências 80 Anexos 84 39 6 AGRADECIMENTOS Agradeço a todos que contribuíram para a realização do presente trabalho. A minha esposa Graziela e ao meu filho Murilo, pelo apoio e passeios que faziam sozinhos para garantir minha tranquilidade nos finais de semana de estudo. Aos meus pais, Raimundo e Maria Lujan, que não reclamavam de minhas ausências nos almoços de família no domingo. A orientadora Sandra Maria Zákia Lian Sousa, pelo apoio incondicional, pela generosidade e por mostrar-me quão sublime é a arte de ensinar. Ao professor Romualdo Luis Portela de Oliveira pela disponibilidade e intervenções apresentadas durante o Exame de qualificação. A professora Ecleide Furlanetto pelo incentivo, pelas indicações apresentadas a este trabalho e pela cessão da sala tranquila para estudos. A senhora Sônia Regina da Silva Costa pelo apoio constante e confiança. 7 RESUMO Este trabalho analisa a utilização dos resultados de avaliação externa de desempenho dos alunos aplicada na Escola Fundação Bradesco Jardim Conceição para a gestão escolar. Identifica, ainda, opiniões dos professores da escola sobre essa avaliação. Tendo como referência documentos produzidos pela escola, ações que foram desencadeadas a partir de resultados da avaliação e respostas dos professores a um questionário, são discutidos possíveis efeitos que a avaliação tem provocado na organização e na dinâmica do trabalho escolar. As informações coletadas foram analisadas à luz da literatura da área da avaliação educacional, particularmente as contribuições relativas a desafios e implicações do uso dos resultados de avaliações externas para a organização e dinâmica do trabalho escolar. Palavras chaves: Avaliação de desempenho de aluno, avaliação em larga escala, gestão escolar 8 ABSTRACT This paper analysis the utilization of the results from student’s achievement tests applied at Fundação Bradesco Jardim Conceição School and the relationship between those and school manegement. It also recognizes teacher’s opinion about this assessment. Considering the documents written by the school, developed actions about the results from the examination and the answers from a survey applied to the teachers, some effects are discussed to understand how these results impacts on the school organization. The collected information was analyzed in the light of educational examination literature and its contributions and its implications on the using of the results from the standardized examinations. Keywords: performance examination, standardized examinations, school examination 9 LISTA DE SIGLAS Aneb Avaliação Nacional da Educação Básica Anresc Avaliação Nacional do Rendimento Escolar BIB Blocos Incompletos Balanceados BNI Banco Nacional de Itens Daeb Diretoria de Avaliação da Educação Básica Enem Exame Nacional do Ensino Médio Ideb Indicador de Desenvolvimento da Educação Básica IEO Índice de Eficiência Operacional Inep Instituto Nacional de Pesquisas Educacionais Anísio Teixeira Iomo Imprensa Oficial do Município de Osasco LDB Lei de Diretrizes e Bases da Educação Nacional MEC Ministério da Educação e Cultura ONU Organização das Nações Unidas PDE Plano de Desenvolvimento da Educação PGE Plano de Gestão Estratégica Pnud Programa das Nações Unidas para o Desenvolvimento Saeb Sistema de Avaliação da Educação Básica Saep Sistema de Avaliação do Ensino Público Unesco Organização das Nações Unidas para a Educação, a Ciência e a Cultura Unicef Fundo das Nações Unidas para a Infância Unicid Universidade Cidade de São Paulo USP Universidade de São Paulo 10 LISTA DE ANEXOS ANEXO A Quadro síntese com metas e resultados alcançados pela escola nos últimos anos. ANEXO B Boletins contendo os resultados da escola na avaliação externa aplicada no ano de 2007. ANEXO C Plano de Ação de Matemática. ANEXO D Réguas elaboradas pelos professores para análise da distribuição dos resultados da avaliação aplicada em 2007. ANEXO E Tabelas confeccionadas pelos professores para análise dos descritores por componente curricular e série. ANEXO F Questionário aplicado aos professores. 11 INTRODUÇÃO, OBJETIVOS E JUSTIFICATIVA O propósito deste estudo é analisar possíveis efeitos dos resultados da avaliação externa de desempenho dos alunos aplicada na Escola Fundação Bradesco Jardim Conceição na gestão do trabalho escolar. Buscou-se também identificar opiniões dos professores da escola sobre essa avaliação. A motivação para seu desenvolvimento decorre do fato de exercer a função de orientador pedagógico1 da referida escola, o que me permitiu identificar que, crescentemente, a avaliação de desempenho dos alunos tem ocupado lugar central como suporte de decisões administrativas e pedagógicas, que se explicitam no Plano de Gestão Estratégica, no Plano de Formação de Professores e na organização de diferentes modalidades de atendimento aos alunos. Esta prática de avaliação externa, que vem se consolidando nessa escola, pode ser situada em um contexto mais amplo, nacional e internacional, de valorização da avaliação de desempenho dos alunos, cujos resultados se traduzem, entre outras iniciativas, em estabelecimento de metas e propostas de gestão educacional. Para ilustrar o movimento internacional cito o artigo quarto da Declaração Mundial sobre Educação Para Todos (1990), intitulado “Concentrar a atenção na aprendizagem”, que estabelece a necessidade de definir os níveis de aquisição de 1O cargo de orientador pedagógico é similar ao usualmente denominado coordenador pedagógico, não se limitando a esfera de acompanhamento dos alunos, mas também ao planejamento e acompanhamento do trabalho pedagógico desenvolvido na escola. 12 conhecimento desejáveis para cada sistema de ensino, os quais serão conferidos pela aplicação de avaliações, como a seguir explicitado: A tradução das oportunidades ampliadas de educação em desenvolvimento efetivo – para o indivíduo ou para a sociedade - dependerá, em última instância, de, em razão dessas mesmas oportunidades, as pessoas aprenderem de fato, ou seja, apreenderem conhecimentos úteis, habilidades de raciocínio, aptidões e valores. Em consequência, a educação básica deve estar centrada na aquisição e nos resultados efetivos da aprendizagem, e não mais exclusivamente na matrícula, freqüência aos programas estabelecidos e preenchimento dos requisitos para a obtenção do diploma. Abordagens ativas e participativas são particularmente valiosas no que diz respeito a garantir a aprendizagem e possibilitar aos educandos esgotar plenamente suas potencialidades. Daí a necessidade de definir, nos programas educacionais, os níveis desejáveis de aquisição de conhecimentos e implementar sistemas de avaliação de desempenho. (Unesco, 1990, p.4) Acompanhando a tendência mundial, no Brasil registra-se a ampliação do uso de testes educacionais para a gestão educacional, situando-se nos anos finais da década de 1980 a primeira iniciativa de organização de uma sistemática de avaliação do ensino fundamental, em âmbito nacional, denominada à época Sistema de Avaliação do Ensino Público de 1º Grau (Saep)2. Sousa (2003) destaca que as avaliações em larga escala são apresentadas como mecanismos privilegiados de promoção da qualidade de ensino: [...] situa-se nos finais da década de 80 a primeira iniciativa de organização de uma sistemática de avaliação do ensino fundamental e médio, em âmbito nacional. Esta sistemática, denominada pelo Ministério da Educação (MEC), a partir de 1991, Sistema Nacional de Avaliação da Educação Básica (Saeb)3 é 2 Dirce Nei T. de Freitas (2007) apresenta informações detalhadas sobre a emergência da “medida-avaliação” na educação básica no Brasil. mais detalhada das alterações ocorridas no Sistema de Avaliação da Educação Básica nos estados pode ser consultada em: BONAMINO, Alicia; FRANCO,Creso; BESSA, Nicia (Org.). Avaliação da Educação Básica. Pesquisa e Gestão. Rio de Janeiro: Ed. PUC-Rio; São Paulo: Loyola, 2004 3 Caracterização 13 apresentada como mecanismo privilegiado de promoção da qualidade de ensino. (Sousa, 2003, p.179) Desde sua criação o Sistema de Avaliação da Educação Básica (Saeb) passou por alterações e, a partir de 2005, foi constituído por duas iniciativas: a Avaliação Nacional da Educação Básica (Aneb) e a Avaliação Nacional do Rendimento Escolar (Anresc). A primeira é realizada a cada dois anos, por amostragem das redes de ensino em todos os Estados brasileiros e tem foco nas gestões dos sistemas educacionais, mantendo as características do Saeb. A segunda, conhecida como Prova Brasil, tem foco nas unidades escolares urbanas que possuam classes com mais de 20 alunos na série avaliada e também ocorre a cada dois anos. A Prova Brasil foi idealizada para produzir informações sobre o ensino oferecido por municípios e escolas, por meio da verificação do desempenho dos alunos, com o objetivo de auxiliar os governantes nas decisões e no direcionamento de recursos técnicos e financeiros, assim como a comunidade escolar no estabelecimento de metas e implantação de ações pedagógicas e administrativas, visando à melhoria da qualidade do ensino. Os resultados da Prova Brasil integram o Indicador de Desenvolvimento da Educação Básica4 (Ideb) e, em conjunto com dados do Censo Escolar relativos à aprovação constitui-se em referência para a definição de metas a serem alcançadas pelas redes públicas de ensino até o ano de 2021. 4 O IDEB foi criado pelo Instituto Nacional de Estudos e de Pesquisas Educacionais Anísio Teixeira (Inep), órgão vinculado ao Ministério da Educação. Para informações mais detalhadas sobre o IDEB consultar http://www.inep.gov.br. 14 O Ideb é um indicador que tem alcançado visibilidade e ampla divulgação na imprensa nacional, o que o transformou em um índice que gradualmente ganha legitimidade junto à sociedade. Ao funcionar como um indicador comparativo de qualidade da educação tem por objetivo aumentar a responsabilização das redes de ensino e das escolas pelos resultados obtidos pelos alunos em provas de Língua Portuguesa e Matemática. Como explicitado no Plano de Desenvolvimento da Educação5 (PDE) há a intenção de, com a divulgação do índice, “tentar aumentar a responsabilização da comunidade de pais, professores, dirigentes e da classe política com o aprendizado" (PDE, 2007, p.20). Esta iniciativa não se dá sem contestação, considerando análises que alertam para o seu potencial indutor de ampliação de desigualdades educacionais e sociais, na medida em que desconsidera as condições específicas do alunado ao se calcular o Ideb, além de seu potencial de induzir a que se restrinja a noção de qualidade de ensino ao que é medido nas provas. É nessa conjuntura de valorização da avaliação do rendimento dos alunos que escolas privadas, como no caso da Fundação Bradesco Jardim Conceição, passam a desenvolver sistemáticas próprias de acompanhamento do desempenho dos alunos, como um dos meios de gestão do trabalho escolar. Em 2001 a Fundação Bradesco implanta um processo de avaliação denominado “Avaliação Institucional”, que se constitui de aplicação de provas das disciplinas de Língua Portuguesa e de Matemática, aplicadas nas séries finais dos ciclos do ensino 5 Em 15 de março de 2007, o Governo Federal publicou um conjunto de medidas em documento denominado Plano de Desenvolvimento da Educação (PDE), que inclui um diagnóstico detalhado sobre o ensino público e ações com foco na formação do professor, além de 54 programas em andamento, com o intuito de melhorar a qualidade de ensino no país. 15 fundamental e médio (5º e 9º anos do ensino fundamental e 3ª série do ensino médio). A Escola Jardim Conceição passou a adotar a avaliação externa em 2005, conforme os procedimentos estabelecidos para o conjunto das escolas que integram a Organização Educacional Fundação Bradesco. Que uso vem sendo feito dos resultados das avaliações externas para a gestão do trabalho escolar é a indagação que norteia o presente estudo, focalizando ações implantadas pela escola da Fundação Bradesco Jardim Conceição. Para responder a essa questão, buscou-se analisar eventuais efeitos dos resultados das avaliações externas nas decisões relativas às estratégias de formação continuada oferecidas aos professores, na oferta de diferentes modalidades de atendimento aos alunos e na própria administração escolar. Além disso, também se constitui alvo da investigação a percepção dos professores sobre as estratégias de formação utilizadas pela escola e sua opinião sobre as avaliações. Para desenvolvimento deste estudo as seguintes etapas foram percorridas. Inicialmente procedi à análise de documentos informativos sobre a proposta de Avaliação Institucional da Fundação Bradesco, para caracterizar os objetivos propostos e a sistemática de trabalho prevista. Em seguida realizei uma análise do Plano de Gestão Estratégica para investigar indícios do uso dos resultados da avaliação externa como suporte da administração escolar e ao atendimento aos alunos. Com relação ao corpo docente realizei levantamento e caracterização de iniciativas da coordenação pedagógica direcionadas à divulgação e à análise dos resultados da avaliação. Elaborei, ainda, um questionário que foi aplicado aos 16 professores para coletar informações sobre sua formação e, em especial sobre as atividades de formação continuada promovidas pela Escola Jardim Conceição, bem como opiniões sobre a avaliação externa. O estudo abrangeu vinte e cinco professores da referida escola. Os dados coletados por meio de análise documental e questionário foram organizados em quadros, tabelas e gráficos, seguidos de considerações descritivas e analíticas. Este trabalho apresenta os resultados sistematizados da pesquisa e está organizado em três capítulos. O capítulo 1 traça o histórico e cenário da Escola Jardim Conceição, permitindo conhecer dados do contexto onde se desenvolveu o estudo; mostra também o início da utilização das avaliações de desempenho dos alunos na escola. O capítulo 2 apresenta os resultados das avaliações e possíveis efeitos que estes têm produzido na dinâmica do trabalho pedagógico e administrativo da escola. Registra como foram utilizados, pela direção, orientadores pedagógicos e professores, os resultados das avaliações externas para o planejamento das ações e as opiniões dos professores, coletadas por meio do questionário, sobre formação inicial e continuada e avaliações externas. O capítulo 3 sistematiza contribuições presentes na literatura que me auxiliaram na compreensão do significado da avaliação externa, destacando argumentos presentes nas discussões travadas no Brasil, ao qual se seguem as Considerações Finais, que retomam as principais evidências trazidas pela pesquisa, com destaque a contribuições da avaliação externa para o planejamento escolar, bem como indicação de desafios a serem enfrentados em direção ao seu 17 aprimoramento. Nos anexos são apresentados o quadro síntese com metas e resultados alcançados pela escola nos últimos anos, os boletins contendo os resultados da escola na avaliação externa aplicada no ano de 2007, o plano de ação para a área de Matemática, as réguas elaboradas pelos professores para análise da distribuição dos resultados, as tabelas para análise dos descritores por componente curricular e série e o questionário aplicado aos professores. 18 Capítulo 1 HISTÓRICO E CENÁRIO DA ESCOLA JARDIM CONCEIÇÃO Neste capítulo apresento um breve histórico da criação da Fundação Bradesco e o cenário da escola onde a pesquisa se realizou, destacando informações gerais da instituição e características do bairro Jardim Conceição, região Oeste da Grande São Paulo. Conforme registro em livro publicado pela Fundação Bradesco (Fonseca, 2006), na década de 1950 havia no Brasil uma preocupação com a expansão do ensino para as camadas populares. A Constituição de 1934 apresenta inovações e avanços no que se refere à educação em relação ao previsto na Constituição de 1891, trazendo um capítulo inteiro dedicado à educação. Especialmente, o artigo 149 frisava que a “educação é direito de todos e deve ser ministrada pela família e pelos poderes públicos”. Na Constituição dos Estados Unidos do Brasil promulgada em 1946, em seu artigo 166, é estabelecido que “a educação é direito de todos e será dada no lar e na escola”. Declara que esta deve “inspirar-se nos princípios de liberdade e nos ideais de solidariedade humana” e, no artigo 168, prevê que o “ensino primário deve ser obrigatório e gratuito, oferecido pelo Poder Púbico”, mas garante à iniciativa privada a possibilidade de atuar no ramo educacional, desde que observados os preceitos legais. O artigo 168 obrigava as empresas industriais, comerciais e agrícolas em que trabalhassem mais de cem pessoas a manter ensino primário gratuito para os seus 19 servidores e os filhos destes. A eficácia deste dispositivo, contudo, somente ocorreu com a promulgação da Lei 4.440 em 1964, com a instituição do salário-educação que é uma contribuição patronal criada com a finalidade de suplementar os recursos públicos destinados à manutenção e ao desenvolvimento do ensino. Segundo observa Cortes (1989): No Brasil, a vigência daquele dispositivo Constitucional só se tomou efetiva com a criação por lei (lei 4440, de 27 de outubro de 1964) da contribuição obrigatória mensal — o Salário-Educação — devida pelas empresas vinculadas à Previdência Social. Esta lei adotou o percentual de 2% sobre o salário mínimo, a ser recolhido pelas empresas em relação a cada empregado, independente do estado civil e do número de filhos. (Cortes, 1989, p.415) As empresas com mais de cem empregados poderiam deixar de contribuir se tivessem ensino primário próprio ou distribuíssem bolsas de estudos aos empregados ou seus filhos mediante convênios firmados com escolas privadas. A intenção do Estado, segundo o autor, era mobilizar a iniciativa privada a promover ações que possibilitassem a ampliação da oferta de educação para a população. Nesta conjuntura é que se situa a iniciativa da criação da Fundação São Paulo de Piratininga, hoje denominada Fundação Bradesco, assim registrada em seu histórico: Enquanto o quadro da educação no Brasil permanecia confuso, Amador Aguiar, diretor-superintendente do Bando Brasileiro de Descontos, há muito acalentava o sonho de proporcionar educação e profissionalização a crianças, jovens e adultos. Sem esperar por medidas governamentais, resolveu concretizar a ideia no dia 22 de novembro de 1956, quando acompanhado por Laudo Natel, então diretor gerente do banco, assinou a escritura de instituição da Fundação São Paulo de Piratininga[...] (Fonseca, 2006). 20 As Fundações são instituições autônomas criadas por iniciativa privada ou pelo Estado, com personalidade jurídica e patrimônio próprio, com fins altruístico, beneficente, de interesse ou de utilidade pública ou particular, administradas segundo as determinações de seus fundamentos. São fiscalizadas pelo Ministério Público do Estado ou do Distrito Federal, onde estiverem situadas. Pode haver extinção compulsória de suas atividades caso se torne ilícito o seu objetivo, for impossível a sua manutenção ou se vencer o prazo de sua existência. Em ocorrência de extinção das Fundações o seu patrimônio deverá ser destinado a outras Fundações que se proponham a fins iguais ou semelhantes. Além disso, para que usufruam determinadas isenções fiscais e outras prerrogativas, devem ser entidades declaradas de utilidade pública, com cunho exclusivamente filantrópico. O Banco Bradesco é o instituidor da Fundação São Paulo de Piratininga e faz uma doação inicial de cem mil cruzeiros. A instituição nasce com a finalidade de: [...] promover a assistência social a menores, de preferência órfãos, expostos e filhos de funcionários necessitados do Banco Brasileiro de Descontos S.A, sem qualquer distinção de raça, nacionalidade ou credo, encarregando-se do seu abrigo e manutenção, assistir aos menores sob sua guarda e responsabilidade, através da manutenção de cursos profissionais, administrando-lhes, ainda, educação moral e cívica, assistir estudantes de famílias pobres e dignos, sem qualquer distinção. (Fonseca, 2006). O primeiro prédio próprio da instituição foi construído em 1962 e no dia de sua inauguração, 29 de junho, havia 289 alunos, 6 salas de aula e funcionava no período matutino e vespertino atendendo a alunos da 1ª a 4ª séries. Nesta época vigorava a Lei de Diretrizes e Bases da Educação Nacional número 4.024, sancionada um ano antes, 21 em 1961 que, entre outras determinações, obrigava o oferecimento de curso técnico e normal nas escolas de Ensino Médio. Desde então vem ampliando o atendimento e, particularmente, a partir da década de noventa a Fundação Bradesco vem discutindo novas disposições pedagógicas, reformulando seus currículos, alicerçadas nas demandas socioculturais do momento histórico, despertando o interesse de pesquisadores em relação ao seu trabalho de responsabilidade social. Para exemplificar tal interesse, registra-se que no ano de 2007 a Fundação Bradesco tornou-se tema de estudo de caso da School of Government John Fitzgerald Kennedy da Universidade de Harvard dos Estados Unidos. O estudo intitulado “Os desafios da Fundação Bradesco: fazendo a diferença no sistema educacional brasileiro”6, relata a trajetória dos 50 anos de atividades da instituição dedicados à educação, mostrando seus diferenciais em relação ao ensino aplicado no Brasil e traz uma série de vertentes que sinalizam possíveis caminhos a serem seguidos nos próximos 50 anos. Os pesquisadores passaram mais de um ano conhecendo a estrutura e o funcionamento da Fundação Bradesco, entrevistando professores, orientadores, diretores e executivos da organização Bradesco. O estudo foi desenvolvido por Christine Letts7, Diretora Associada para Educação Executiva da John Fitzgerald Kennedy School of Government. 6 The Bradesco Foundation’s Challenge: Making a Difference in Brazil’s Education System. Case 1872.0 pode ser acessado em http://ksgcase.harvard.edu/casetitle.asp?caseNo=1872.0# 7 [email protected] 22 As escolas da Fundação Bradesco trabalham com recursos próprios oriundos dos dividendos de sua participação acionária no Banco Bradesco, que em 30/06/2010 era da ordem de 9,02%. Além do ensino, os alunos atendidos atualmente recebem material didático, alimento, uniforme, assistência médica e odontológica. No ano de 2009 as quarenta escolas que compõem atualmente a Fundação atenderam 50.030 alunos nos dois segmentos da Educação Básica, com orçamento total de R$ 237,7 milhões, segundo dados publicados no Relatório Anual 2009 divulgado no site institucional8. Além da oferta de ensino em escolas próprias, a Fundação Bradesco implantou, a partir de 2007, por meio do Projeto Educa+Ação, o atendimento a crianças matriculadas em escolas da rede pública, nos anos iniciais do ensino fundamental, como relata Neubauer et al. (2010): [...] valendo-se das suas experiências bem sucedidas, em parceria com o Banco Bradesco, lançou o projeto Educa+Ação, visando a integrar a iniciativa privada e o setor público municipal no esforço de levar o padrão educacional dos alunos nas primeiras séries do ensino fundamental. O Educa+Ação tem como objetivo oferecer condições para que as crianças atendidas pela educação pública aprendam a ler e escrever nos dois primeiros anos do ensino fundamental (de nove anos). (Neubauer et al, 2010, p. 299) Atualmente a Fundação Bradesco possui, pelo menos, uma escola em cada Estado da Federação e tem como missão “promover a inclusão social por meio da educação e atuar como multiplicador das melhores práticas pedagógico-educacionais http://www.fb.org.br/Institucional/InvestimentoseResultados/RelatoriosAnuais/RelatorioAnual2009.htm <acessado em 26/09/2010.> 8 23 junto à população brasileira socioeconomicamente desfavorecida” 9, e também legitimar a Organização Bradesco como empresa socialmente responsável. Relatório de Atividades (2009, p.11) disponível em http://www.fb.org.br/NR/rdonlyres/2AE58D79-435D-41D1-AB195936728CC864/0/RelatorioFundacaoBradesco2009.pdf <acessado em 26/09/2010.> 9 24 1.1 - A criação da Escola Jardim Conceição. Seguindo o plano de expansão da Fundação Bradesco, que consistia em instalar pelo menos uma escola em cada estado da Federação com a missão de atender à comunidade de seu entorno, no dia 15 de março de 2004 foi inaugurada a quadragésima escola da Fundação Bradesco no Brasil. A nova escola está situada no Jardim Conceição no município de Osasco, localizada no sudeste do estado de São Paulo, na região oeste da Região Metropolitana, com área de 66,9 km2 e população de 700 mil habitantes; sendo o 5º maior município do estado e o vigésimo quarto do país. No estado de São Paulo existiam, até 2003, cinco unidades da Fundação Bradesco, duas instaladas na matriz do Bradesco, localizada na Cidade de Deus em Osasco, e as demais nos municípios de Registro, Marília e Campinas. As escolas de Marília, Campinas e Registro atendiam à comunidade do entorno da escola, exceção à escola localizada em Osasco que atendia, em sua maioria, filhos de funcionários da Organização Bradesco. Daí a justificativa de construir-se mais uma unidade em Osasco para atender, exclusivamente, à população do Jardim Conceição e adjacências. A escolha do bairro Jardim Conceição foi feita com base em dados de demanda e em decisão conjunta com a Prefeitura Municipal que realizou a doação do terreno para construção. A celebração do convênio foi anunciada oficialmente por meio de publicação na Imprensa Oficial do Município de Osasco no dia 30 de maio de 2003. 25 Será de competência da PREFEITURA a viabilização e doação, a título definitivo, de área de terreno com 7500 m² (sete mil e quinhentos metros quadrados), conforme descrito no Anexo I deste Convênio. Uma vez formalizada a doação da área para esse fim específico, a PREFEITURA se exime de toda e qualquer responsabilidade sobre reclamações que possam advir da construção, operação ou manutenção da Unidade, seja a que título for. (Iomo, 2003, p.1.) O bairro Jardim Conceição localiza-se na zona sul do município e foi formado por loteamentos que eram oferecidos aos antigos trabalhadores da Companhia Brasileira de Materiais Ferroviários e da Ferrovia Paulista. Embora os lotes fossem vendidos havia somente um alvará da prefeitura sem escrituras definitivas e muitos lotes, inclusive, sem arruamento. O mais antigo loteamento era formado por apenas cinco ruas e se denominava Jardim Tereza. A partir deste surgiram outros e entre eles o Jardim Andreoli, que era propriedade da família Munhoz Bonilha onde se originou o Jardim Conceição. O bairro tem 1.478 Km2 e passou a pertencer a Osasco a partir de sua emancipação. Tinha 2.326 moradores em 1970, distribuídos em 420 domicílios, na década de 1980 o número de moradores passa a 6.034 e 1.245 domicílios. Ao final desta década a população passa a 11.792 pessoas em 2.723 domicílios. O número de vagas nas escolas da região não era suficiente para acolher as crianças e jovens com idade entre cinco e catorze anos que girava em torno de 3.019 pessoas. A Escola Estadual Professor Armando Gaban, fundada em 1979, oferecia 1.170 vagas para o Ensino Fundamental e 670 para o Ensino Médio. A Escola Estadual Manoel Tertuliano de Cerqueira, fundada em 1974, oferecia 269 vagas e a Escola Municipal de Ensino Fundamental Renato Fiúza Telles, fundada em 1995, oferecia 26 1.564 vagas para os anos iniciais do ensino fundamental. Considerando que no ano 2000 a população do bairro com idade entre cinco e catorze anos era de 4.674 pessoas, constata-se que ainda persistia o déficit de vagas. A Escola do Jardim Conceição, inaugurada em 2004, abre 1140 vagas para o Ensino Fundamental, 135 vagas para o Ensino Médio, 800 vagas para a Educação de Jovens e Adultos e 350 vagas para a formação inicial de trabalhadores e privilegia a população do entorno da escola estabelecendo, entre os critérios para o ingresso, ser a residência do aluno próxima a escola. Em 2009 a escola atendeu 1.534 alunos na Educação Básica, sendo 1.143 atendidos no Ensino Fundamental, 391 no Ensino Médio e 1001 em Educação de Jovens e Adultos, além de 501 atendimentos nos cursos de formação inicial e continuada de trabalhadores. A previsão para atendimento no ano de 2010 é de 112 alunos na Educação Infantil, 1.140 no Ensino Fundamental, 400 no Ensino Médio, 45 no Ensino Técnico, 1080 na Educação de Adultos e 486 nos cursos de formação continuada de trabalhadores, totalizando 3.263 atendimentos. 27 1.2. - A Implantação da “Avaliação Institucional” Neste item apresento uma sucinta retrospectiva da aplicação de avaliações de desempenho nas escolas que integram a Fundação Bradesco, implantada a partir de 2001, situando-a no movimento mais amplo desencadeado no Brasil de valorização de resultados de desempenho de alunos para o planejamento educacional. Cabe esclarecer que a escola denomina “avaliação institucional” a avaliação de rendimento dos alunos, realizada por meio de provas das disciplinas de Língua Portuguesa e Matemática, aplicadas no 5º e 9º anos do ensino fundamental e na terceira série do ensino médio aplicadas por instituição externa à escola.10 Para situar a avaliação institucional da escola em um contexto mais amplo, incluí referências sobre iniciativas praticadas pelo governo federal brasileiro, com maior visibilidade a partir dos anos 1990, precedidas de breve menção ao movimento da área nos Estados Unidos considerando que as experiências deste país inspiram propostas em curso no Brasil. A escolha do ano de 1990 como marco da retrospectiva aqui apresentada se deve à intensificação das recomendações internacionais sobre o assunto, conforme observa Freitas (2005): Os anos de 1990 registraram a intensificação das recomendações internacionais em decorrência da aceleração do processo de internacionalização do capitalismo, no bojo do qual se verificou o alargamento da internacionalização do processo decisório e da mundialização das atividades políticas. (Freitas, 2005, p. 90). Usualmente na literatura da área da educação o termo avaliação institucional é utilizado para referir-se à avaliação global da escola, em suas dimensões administrativas e pedagógicas. No entanto, a Escola do Jardim Conceição utiliza este termo para a avaliação de rendimento dos alunos. 10 28 No Brasil, embora com defasagem de décadas, tem-se, no campo da avaliação educacional, a influência das iniciativas dos Estados Unidos que desde a década de 1950 vem consolidando esta área de investigação como meio de impulsionar a qualidade do ensino. Com o lançamento do satélite russo Sputnik I, no ano de 1957 e a constatação do avanço intelectual e científico dos soviéticos, surge um sentimento de fragilização da suposta supremacia americana, conforme aponta Worthen, Sanders e Fritzpatrick (2004, p.65) . Visando tornar as escolas dos Estados Unidos da América mais eficientes, principalmente nas áreas das ciências exatas, promulga-se a Lei Educacional de Defesa Nacional, no ano de 1958, injetando-se milhões de dólares em programas de desenvolvimento de currículos. Foi com isso que John Fitzgerald Kennedy, presidente dos Estados Unidos, desencadeou o evento precursor da ideia de responsabilizar as escolas norte-americanas pelo seu desempenho. Em resposta ao investimento de bilhões de dólares em educação houve pressão do congresso estadunidense para a utilização de avaliações formais para os programas de ensino com objetivo de melhorar os currículos. Os resultados positivos legitimariam o investimento realizado nos programas educacionais, assegurando credibilidade e transparência nos investimentos. (Sobrinho, 2003, p. 26). No ano de 1965 a Lei do Ensino Fundamental e Médio é um marco das avaliações de larga escala com o objetivo de avaliar os sistemas de ensino. A lei atrelava o financiamento federal da educação ao preenchimento, pelos educadores, de 29 um questionário de avaliação que mostrasse os resultados dos gastos dos fundos federais. No Brasil, o impulso que coloca as avaliações em larga escala em destaque foi o compromisso internacional assumido pelo país em Jomtien, na Tailândia, nos anos 1990. Neste ano, o Programa das Nações Unidas para o Desenvolvimento (Pnud), o Banco Mundial, a Organização das Nações Unidas para Educação, Ciência e Cultura (Unesco) e o Fundo das Nações Unidas para a Infância (Unicef) realizam a Conferência Mundial sobre Educação para Todos, que resulta na Declaração Mundial sobre Educação para Todos. Dentre as proposições constantes desta Declaração tem-se a afirmação da necessidade de avaliação dos sistemas de ensino: Abordagens ativas e participativas são particularmente valiosas no que diz respeito a garantir a aprendizagem e possibilitar aos educandos esgotar plenamente suas potencialidades. Daí a necessidade de definir, nos programas educacionais, os níveis desejáveis de aquisição de conhecimentos e implementar sistemas de avaliação de desempenho. (Unesco, 1990, p.4). As avaliações em larga escala tornam-se condição necessária tanto para o planejamento como para a gestão da educação básica nos diversos países. Com a promulgação da Lei de Diretrizes e Bases da Educação Nacional (LDB), no Brasil, em 1996, referências são feitas à implantação de avaliações em âmbito nacional. No artigo 9º, inciso VI, é dada a União a incumbência de “assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino”. 30 Freitas (2005) chamou a atenção para o debate sobre a modificação do papel do Estado, que se encarregaria de fixar qual o saber mínimo a difundir de modo que cada indivíduo possa prosseguir sua formação por seus próprios meios, observando que: [...] caberia ao Estado estabelecer a coerência do conjunto. Para isso, necessitaria dispor de instrumentos de avaliação e de controle que permitissem tanto a coerência dos objetivos gerais como o respeito à autonomia dos atores (Freitas, 2009, p.91). Antecedendo a LDB já se tinha implantado o Sistema Nacional de Avaliação da Educação Básica (Saeb). Embora os estudos apontassem para limitações e implicações educacionais e sociais da avaliação, segundo Sousa (1997), o poder público recorria à testagem de rendimento do aluno como expressão do desempenho das escolas e das redes de ensino. Crescentemente os resultados do Saeb vêm sendo referenciados nos documentos de formulação de políticas educacionais, como no Plano Nacional de Educação (2001) que prevê a utilização dos resultados do Saeb para: [...] assegurar a elevação progressiva do nível de desempenho dos alunos mediante a implantação, em todos os sistemas de ensino, de um programa de monitoramento que utilize os indicadores do Sistema Nacional de Avaliação da Educação Básica e dos sistemas de avaliação dos estados e municípios que venham a ser desenvolvidos. (Brasil, 2001, p. 26). O Sistema de Avaliação da Educação Básica, conforme estabelece a Portaria n.º 931, de 21 de março de 2005, é atualmente composto por dois processos: a Avaliação Nacional da Educação Básica (Aneb) e a Avaliação Nacional do Rendimento Escolar (Anresc). A Aneb é realizada por amostragem das Redes de Ensino, em cada unidade 31 da Federação e tem foco nas gestões dos sistemas educacionais e por manter as mesmas características do Saeb tal como realizado desde o início da década de 1990 recebe o nome do Saeb em suas divulgações. A Anresc tem foco em cada unidade escolar e recebe o nome de Prova Brasil em suas divulgações. Os objetivos do Saeb, conforme anunciados pela Diretoria de Avaliação da Educação Básica – Daeb, órgão do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, submetido ao Mistério da Educação responsável por sua realização, são: “[...] oferecer subsídios à formulação, reformulação e monitoramento de políticas públicas e programas de intervenção ajustados às necessidades diagnosticadas nas áreas e etapas de ensino avaliadas; identificar os problemas e as diferenças regionais do ensino; produzir informações sobre os fatores do contexto socioeconômico, cultural e escolar que influenciam o desempenho dos alunos; proporcionar aos agentes educacionais e à sociedade uma visão clara dos resultados dos processos de ensino e aprendizagem e das condições em que são desenvolvidos e desenvolver competência técnica e científica na área de avaliação educacional, ativando o intercâmbio entre instituições educacionais de ensino e pesquisa.” (Disponível em: <http://www.inep.gov.br/basica/saeb/perguntas_frequentes.htm>). Segundo expectativas divulgadas pelo Inep, as informações obtidas a partir dos levantamentos do Saeb permitem acompanhar a evolução da qualidade da educação ao longo dos anos, sendo utilizadas principalmente pelo Ministério da Educação e secretarias estaduais e municipais de educação na definição de ações voltadas para a solução dos problemas identificados, assim como, no direcionamento dos seus recursos técnicos e financeiros às áreas prioritárias, visando ao desenvolvimento do sistema educacional brasileiro e à redução das desigualdades nele existentes. 32 Os testes aplicados aos alunos são compostos por questões de múltipla escolha, elaborados por professores das séries e disciplinas avaliadas, a partir dos descritores das Matrizes de Referência do Saeb. Depois de elaborados, os itens são submetidos a uma revisão e a uma testagem estatística para verificar as características de comportamento das questões após sua aplicação em campo. Com os testes dos itens é possível estimar a sua capacidade de diferenciar os alunos que conhecem o conteúdo e já desenvolveram as competências requeridas dos demais, o índice de dificuldade de cada questão, o que permite equilibrar as provas com questões de diferentes graus de dificuldade, controlando a probabilidade de acerto ao acaso, que indica a chance de acerto do item sem o conhecimento e a construção da habilidade requerida. Os testes do Saeb contêm 169 itens para cada uma das séries e disciplinas avaliadas a fim de medir as habilidades previstas nas Matrizes de Referência. Para permitir a aplicação dessa grande quantidade de itens, é utilizado o delineamento denominado “Blocos Incompletos Balanceados” (BIB). Esse modelo permite que os 169 itens sejam divididos em subconjuntos menores chamados blocos. Cada bloco é composto por 13 itens, o que faz com que se tenha, ao todo, 13 blocos. Estes 13 blocos são organizados em grupos de três diferentes combinações. Cada combinação resulta em um caderno de prova, e todas as combinações em 26 cadernos diferentes. Esta distribuição assegura que sejam superados fatores intervenientes na resposta aos itens, como o cansaço do aluno ou a falta de tempo para responder às questões que aparecem no fim da prova e para garantir a comparabilidade entre os anos mantêm-se alguns blocos de itens já aplicados em anos anteriores. Já a 33 comparabilidade do desempenho dos alunos entre as três séries avaliadas é assegurada pela aplicação de blocos da 4ª série do ensino fundamental à 8ª série do ensino fundamental, bem como da 8ª série do ensino fundamental à 3ª série do ensino médio. Para garantir a comparabilidade do resultado ao longo dos anos, mantêm-se alguns blocos e/ou itens comuns, já aplicados em anos anteriores. Por sua vez, para garantir a comparabilidade do desempenho dos alunos entre as três séries avaliadas, aplicam-se blocos de 4ª série do ensino fundamental na 8ª série do ensino fundamental, bem como, blocos da 8ª série do ensino fundamental na 3ª série do ensino médio. (Saeb, 2001, p.31) Sob este ponto de vista as avaliações em larga escala se tornaram um dispositivo útil para informar a sociedade e as agências nacionais e internacionais sobre a qualidade da educação brasileira. Acompanhando este movimento nacional a Fundação Bradesco, desde 2001, adota um processo de avaliação de desempenho de seus alunos por meio da aplicação de avaliações externas. No ano de 2007 a Escola de Educação Básica Fundação Bradesco Jardim Conceição, que é tratada neste trabalho, como Escola Jardim Conceição, participou desse processo com 390 alunos, sendo 120 do 5º ano, 135 do 9º ano do Ensino Fundamental e 135 da 3ª série do Ensino Médio. Esta avaliação externa se realiza ao final dos anos escolares que encerram ciclos, tal qual estabelecido pelo Saeb, nas disciplinas Língua Portuguesa e Matemática. A escolha, pela Fundação Bradesco, dessas séries e disciplinas foi feita em função do interesse em acompanhar e comparar o desempenho dos alunos, 34 tomando como referência o desempenho dos alunos brasileiros obtidos por meio do Saeb. A Fundação Bradesco contratou a Fundação Cesgranrio, instituição de direito privado, com finalidades educacionais, culturais, assistenciais e de saúde, sem fins lucrativos, e reconhecida como Entidade de Utilidade Pública Federal, pelo Decreto Presidencial nº 91.526, de 12/08/85, para produzir as provas e realizar a correção. A utilização de itens provenientes do Banco Nacional de Itens (BNI) do Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (Inep) e a calibragem dos itens propiciaram que os resultados fossem comparados aos demais alunos brasileiros avaliados pelo Saeb. Entretanto, a utilização dos itens do BNI impediu a divulgação das questões utilizadas, o que resulta em uma dificuldade em adotar ações pedagógicas destinadas a melhorar o desempenho dos alunos nas habilidades que apresentaram evidências de menor domínio pelos alunos. Solicitou-se, então, a Fundação Cesgranrio a elaboração de um relatório denominado Relatório de Análise Estatística e Pedagógica dos Itens, o qual foi distribuído às escolas para auxiliar na análise dos resultados. No relatório são apresentados os dados estatísticos e análise pedagógica dos itens utilizados com os alunos da Fundação Bradesco. Estes relatórios têm sido a referência para planejamento das ações pedagógicas e administrativas adotadas pela escola. Os dados destes relatórios e a apreciação dos professores sobre as ações de formação propostas a partir deles, objeto da presente pesquisa, se constituem em elementos para enfrentar o desafio de utilização dos 35 resultados das avaliações, compreendendo que o significado de iniciativas de avaliação está dado pelo uso que se fizer de seus resultados. 36 Capítulo 2 A AVALIAÇÃO DE DESEMPENHO DOS ALUNOS INDUZINDO AÇÕES NA ESCOLA JARDIM CONCEIÇÃO Neste capítulo apresento os resultados do desempenho dos alunos obtidos nas avaliações externas aplicadas no ano de 2007 e descrevo as ações desencadeadas para dar publicidade a esses resultados aos professores. Analiso, ainda, os documentos do Plano de Gestão Estratégica, construído pelos professores, que mostram as ações previstas a partir do conhecimento dos resultados das avaliações externas a que a escola foi submetida. Antecedendo, registro informações sobre os procedimentos adotados para aplicação da prova, estabelecidos pela Fundação Bradesco, o qual deve ser seguido pelas quarenta escolas que integram a referida Fundação. No ano de 2007, na Escola Jardim Conceição, foram aplicadas, provas nos componentes de Língua Portuguesa e Matemática aos alunos do 5º ano e 9º anos do Ensino Fundamental e da 3ª série do Ensino Médio, conforme a sistemática prevista pela Fundação Bradesco, adotada até os dias atuais. Na semana que antecedeu a aplicação da prova os alunos foram avisados sobre a data e a importância de comparecimento na avaliação, receberam bilhetes, com protocolos, para dar ciência aos pais da “obrigatoriedade” de fazer a prova, embora a mensagem salientasse que esta avaliação era “para avaliar o trabalho escolar”. 37 Os professores que aplicaram as provas receberam treinamento por meio de videoconferência sobre os procedimentos a serem adotados durante a aplicação e realizaram uma reunião com a direção da escola para organizar o dia da aplicação. A Escola do Jardim Conceição, no ano de 2007, optou por alterar os horários de intervalo das turmas que não fariam a prova para que os inspetores ficassem mais disponíveis para acompanhar alunos ao banheiro e não houvesse barulho, comum aos horários de intervalo. Além disso, os inspetores ficaram incumbidos de verificar as faltas nas salas e ligar para casa do aluno perguntando o motivo da falta. Caso a ligação não fosse atendida deveriam se locomover à casa do aluno para garantir que ausências ocorressem apenas por motivos justificados. No dia da aplicação, as provas chegaram à escola em envelopes lacrados, trazidos por um supervisor educacional da Fundação Bradesco e entregues à direção da Escola que deveria verificar a integridade e a inviolabilidade dos envelopes. Nas salas, os alunos foram organizados em fileiras, em ordem numérica, com as cadeiras dispostas mais distantes uma das outras que nos dias normais de aula. O supervisor entrou na sala e explicou aos alunos a importância da prova, entregando, em seguida, o envelope ao professor responsável pela aplicação. Foram indicados para aplicação das provas professores que não ministravam aula regular na turma avaliada e nem no componente objeto da prova. O professor mostrou aos alunos que o envelope estava lacrado e com o auxilio de uma tesoura abriu, conferiu o conteúdo, fez anotações na lousa em relação aos 38 horários de início e término de aplicação dos blocos e em seguida distribuiu os cadernos com as questões e a folha para registro das respostas. O supervisor executou o mesmo procedimento nas três salas de prova, permanecendo no corredor durante sua realização. Em alguns momentos entrava na sala para verificar o andamento e conferir as anotações feitas na lousa sobre os horários de início e término dos blocos da prova. Terminada a aplicação o professor recolheu os cadernos e os colocou sobre a mesa, em ordem numérica para conferência junto com o supervisor, antes de colocá-las no envelope de retorno, que continha um dispositivo para garantir a inviolabilidade. Professor e supervisor verificaram se todos os alunos devolveram as provas e folhas de resposta e os colocam, junto com a lista de presença no envelope, lacrando-o em seguida. Os envelopes lacrados foram levados à sede da Fundação Bradesco, localizada na Cidade de Deus, para posterior encaminhamento à Cesgranrio, para correção. Após a correção das provas pela Fundação Cesgranrio e elaboração dos relatórios correspondentes, os resultados foram recebidos pela escola nas escalas de desempenho do Saeb. Diante das medidas tomadas para assegurar o sigilo das provas e a participação dos alunos, fica evidente que a escola queria garantir que os resultados fossem fidedignos e que refletissem o que realmente acontece na escola. Registra-se que o número de alunos ausentes no dia da prova, estatisticamente, não comprometeu a 39 validade dos resultados. Segundo informações do supervisor da Cesgranrio que acompanhava a aplicação da prova, a escola precisaria garantir a presença de, pelo menos, 80% dos alunos. Os registros das listas de presença, assinadas no dia da aplicação da prova, indicam que as ausências foram inferiores a este percentual, ou seja: 4,9% no 5º ano, não houve ausência no 9º ano e 19,4% na 3ª série do Ensino Médio. 2.1 - Resultados obtidos na avaliação do ano 2007, interpretação e ações subsequentes. O Relatório de Análise Estatística e Pedagógica dos Itens, recebido pela Escola Jardim Conceição, revelava que todas as médias estavam abaixo do esperado para a série avaliada, o que pode ser observado no Quadro 1, apresentado a seguir. Os boletins com os resultados pormenorizados constam do Anexo B. Quadro 1 - Resultado do desempenho dos alunos na avaliação externa aplicada em 2007. Resultados Língua Portuguesa Matemática 5º ano do Ensino Fundamental 192,20 - (esperado>200) 198,60 - (esperado>225) 9º ano do Ensino Fundamental 253,00 - (esperado>275) 268,80 - (esperado>300) 3ª série do Ensino Médio 283,90 - (esperado>300) 289,00 - (esperado>350) Fonte: Relatório de Análise Estatística e Pedagógica dos Itens 2007 Com o objetivo de melhorar os resultados na próxima edição da prova, a ser aplicada no ano de 2009, foram desencadeadas iniciativas que abrangeram, de modo 40 articulado, diferentes focos: algumas no aluno, outras na formação do professor e, ainda, algumas incidiram sobre questões administrativas da escola. No presente estudo busco sistematizar e analisar essas iniciativas que evidenciam efeitos da avaliação externa no trabalho escolar. 2.1.1 - Ações de natureza administrativa. A Fundação Bradesco, para fins de avaliação do trabalho em realização nas escolas que integram a organização, adota um índice denominado Índice de Eficiência Operacional (IEO), composto por indicadores administrativos e pedagógicos. Os resultados obtidos no conjunto dos indicadores são expressos em pontuação, que varia de zero a dez pontos. O campo pedagógico é composto pelos indicadores de fluxo, denominado pirâmide educacional de aprovação e de notas na avaliação externa. O campo administrativo é composto pelos seguintes indicadores: falta de professores às aulas, desligamento de professores, problemas de infraestrutura detectados pela supervisão escolar durante visita à escola e realização orçamentária. Embora o Índice de Eficiência Operacional seja calculado com base em aspectos administrativos e pedagógicos, no cálculo final há pesos diferenciados, sendo que os aspectos pedagógicos representam setenta por cento de sua composição, enquanto os administrativos representam trinta por cento. 41 Até o ano de 2007 o indicador referente à avaliação externa tomava como referência as notas obtidas por alunos das escolas no Enem. Com a implantação da avaliação externa pela Fundação, este indicador passa a considerar as notas das avaliações institucionais, devido a escola acreditar que estas refletem melhor o resultado de desempenho dos alunos, uma vez que os resultados do Enem, por prever participação voluntária do aluno, refletem a situação de somente uma parcela dos matriculados nas terceiras séries do Ensino Médio. O índice que aparece na planilha de cálculo do IEO, denominado Pirâmide Educacional, se refere à porcentagem dos alunos que cursam a 3ª série do Ensino Médio que frequentam a escola desde o 1º ano do Ensino Fundamental. São retirados desta porcentagem os alunos que se evadiram ou foram reprovados em alguma série. Detalhes dos pesos de cada item do IEO são mostrados a seguir. (FIGURA1). FIGURA 1 – Como é calculado o Índice de Eficiência Operacional. Resultados / 2006 Indicadores que compõem o IEO - FB Jardim Conceição Enem ( Média Global) Pedagógicos 47,34 5 0,0 45,12 3 96,40 96,30 2 Turn Over PNI e PNII (%) 5,1 11,72 Ausências PN I (%) 2,0 2,28 Aprovação (%) Gestão Demais Indicadores do PGE / 2006 Peso 47,69 Pirâmide Educacional (%) R H FB Ausências PN II (%) Infra-Estrutura Realização Orçamentária(%) IEO 6,59 4,3 5,14 4 5,60 3 100,13 2 109,3 = IEO Pedagógico X 0,7 6,26 Alunos abaixo da média L.P. - 2º a 5º 14,55 9,19 9,98 11,88 Alunos abaixo da média L.P.- EM 11,63 11,24 Alunos abaixo da média M.T. - 2º a 5º 12,27 8,22 Alunos abaixo da média M.T. - 6º a 9º 11,46 13,45 Alunos abaixo da média M.T. - EM 12,90 13,43 Participação de pais em reunião bimestral Aprovação Pirâmide Educacional 1,94 2,68 88,28 83,25 Retidos 3,56 3,75 Jubilados 0,28 0,58 100,0 57,35 Acesso ao Ensino Superior IEO Gestão + X 0,3 7,37 RH ENEM (Média Global) FB Alunos abaixo da média L.P. - 6º a 9º Evasão durante o ano letivo 5 Jardim Conceição (Tun Over PNI e PNII Ausências PNI Ausências PNII) Infra-Estrutura (Apontamentos Supervisão) DTE SETOR DE ESTATÍSTICA E PESQUISA EDUCACIONAL Realização Orçamentária 42 A substituição do resultado do Enem pelos resultados das avaliações externas é uma evidência da centralidade que estas tomam nas decisões da escola. Para calcular o IEO a escola faz o monitoramento dos indicadores e ao observar índices abaixo da meta estipulada pela organização educacional Fundação Bradesco, busca alternativas para melhorar estes índices. A elaboração do Plano de Gestão Estratégica é uma destas iniciativas. Ouve-se também a diretoria da escola para a compreensão do contexto que possa explicar o resultado obtido. Para cada índice que se apresenta com valor menor que a meta estipulada é criado um plano de ação, como registrado no Anexo C, à título de exemplo. Com o objetivo de elaborar os planos de ação é marcada uma reunião com os professores e orientadores pedagógicos onde são levantadas as possíveis causas que impediram atingir a meta. Quando as causas são mensuráveis, contabilizam-se os números a elas relacionados e em seguida é elaborado o plano, que fica sobre responsabilidade de um orientador ou da direção da escola. Os professores também têm tarefas específicas nestes planos de ação, cujas ações têm responsáveis determinados nominalmente. As ações referentes a aspectos administrativos são resolvidas com reuniões particulares com os setores envolvidos, por exemplo, problemas de infraestrutura, são resolvidos com a zeladoria e com o setor de compras, problemas relacionadas às faltas de professores, com conversas individuais. Ainda que as ações administrativas sejam importantes, focalizei na presente pesquisa os aspectos pedagógicos e a percepção 43 dos professores sobre o trabalho em realização, pois sobre estes é que incidiram iniciativas em decorrência das avaliações externas. O monitoramento das escolas por meio do Índice de Eficiência Operacional manteve o mesmo delineamento substituindo, como já mencionado, resultados do Enem por resultados da avaliação externa, o que possibilita aquilatar com maior precisão o nível de proficiência dos alunos nas disciplinas avaliadas. 2.1.2 - Ações de natureza pedagógica. A equipe pedagógica, formada pelo diretor da escola e por quatro orientadores educacionais promoveu, em 2007, após a chegada dos resultados das avaliações institucionais, cinco reuniões com os professores para que elaborassem planos de ação com providências que deveriam ser tomadas pela escola para melhorar os resultados. A análise das atas dessas reuniões permitiu verificar que as ações tomadas pela escola abarcaram várias frentes do trabalho escolar e não somente a formação de professores, embora esta tenha tido ênfase na análise dos orientadores pedagógicos. Na primeira reunião participaram a diretora da escola, os orientadores pedagógicos educacionais e trinta e cinco professores. A diretora iniciou a reunião esclarecendo as possibilidades e limites da avaliação aplicada, explicou como se daria o trabalho e mostrou os resultados aos professores. Explicou como funcionava a métrica do Saeb, que os itens eram calibrados e descrevem competências, que pontos da escala podem ser descritos pedagogicamente pelos itens oriundos do BNI e que a 44 escala é única permitindo a comparação entre anos e entre séries diferentes. Salientou que a melhoria da qualidade de ensino estava intimamente ligada a melhoria de resultados e propôs o estabelecimento de metas a serem atingidas na próxima edição do exame que seria aplicada em 2009. Após proceder às explicações solicitou que os professores realizassem um levantamento das possíveis causas que repercutiram negativamente no desempenho dos alunos. Surgiu como hipótese que algumas habilidades e competências não estavam sendo desenvolvidas pelos alunos durante o processo de aprendizagem, principalmente: a competência leitora, a autonomia de leitura, a habilidade para argumentar, inferir e interpretar dados, a habilidade para realizar análise e síntese, o raciocínio lógico e a capacidade de abstração. Em relação ao trabalho da equipe gestora, pontuou-se que a falta de acompanhamento sistematizado do processo ensino e de aprendizagem poderia também interferir no resultado. Estabeleceu-se a elaboração de um plano de formação dos professores, partindo de suas necessidades e a organização de um plano para promover o comprometimento aluno/família com a aprendizagem, incentivando o acompanhamento pelos pais do processo de trabalho da escola. Na segunda reunião o grupo estudou com mais detalhes a métrica das avaliações e construiu a tabela para avaliar em quais níveis estavam os alunos da escola. O objetivo desse trabalho era identificar em que níveis se encontravam os alunos, visando à proposição de ações específicas para o trabalho com cada grupo. A 45 montagem de uma régua foi o recurso utilizado para localizar a quantidade de alunos em cada nível, bem como a questão e o seu respectivo descritor. A legenda apresentada no Quadro 2 orienta a leitura das “réguas” elaboradas para registro do desempenho dos alunos nas provas de Língua Portuguesa e Matemática. A confecção da legenda se deve ao fato das réguas terem sido montadas pelos professores durante as reuniões pedagógicas e serem de uso exclusivo da Escola do Jardim Conceição. Quadro 2 – Legenda para análise dos resultados das provas ESCALA DE DESEMPENHO EM ( ) MATEMÁTICA ( ) LÍNGUA PORTUGUESA Título e sinalização do componente curricular e série avaliada ( ) 5º ano do Ensino Fundamental - ( ) 9º ano do Ensino Fundamental 6 14 26 19 23 16 125 150 175 200 225 250 O número indica o número de alunos no nível I D I D I D I D I D I D Indica o nível de proficiência A letra I indica o item, o número da questão A letra D indica o descritor relacionado ao item A título de ilustração incluo a “régua” do 5º ano do ensino fundamental do componente de Língua Portuguesa, constando do Anexo D as demais, referentes às outras séries e à disciplina de Matemática. 46 As “réguas” permitiram conhecer a distribuição dos alunos nos diversos níveis, a partir de seu desempenho nas provas. Essa análise dos dados de desempenho subsidiou os professores no planejamento do trabalho a ser desenvolvido, o que resultou em propostas de ensino específicas para os alunos com baixo desempenho, com desempenho na média e com alto desempenho. Esta classificação não significou uma separação física do grupo de alunos, mas foi tomada como referência para planejamento de propostas diversificadas de trabalho contemplado, inclusive, aulas no contra turno escolar. Os professores se valeram da tabela de análise de descritores (Anexo E) para selecionar os conteúdos e identificar as habilidades que seriam trabalhadas com os alunos. Confrontando as habilidades com o Referencial Curricular selecionavam os conteúdos a serem trabalhados. ESCALA DE DESEMPENHO EM ( ) MATEMÁTICA ( x ) LÍNGUA PORTUGUESA ( x ) 5º ano do Ensino Fundamental - ( ) 9º ano do Ensino Fundamental - ( ) 3ª série do Ensino Médio 6 14 26 19 23 16 11 1 1 125 I D 150 I D 175 I D 200 I D 225 I D 250 I D 275 I D 300 I D 325 I D 4 15 7 2 4 6 1 5 4 14 4 1 5 24 1 3 6 8 9 9 13 17 14 29 6 28 1 7 12 13 13 16 13 30 3 10 9 19 11 18 3 20 7 22 3 21 2 25 5 23 2 27 8 26 6 7 350 I D 375 I D 400 I D 425 I D 450 I D A divisão dos alunos que realizaram as provas foi feita do seguinte modo: - GRUPO I – alunos que estão na habilidade inferior à desejada para a série e precisam de um atendimento emergencial. Para este grupo, além do trabalho em sala de aula, 47 foram montadas aulas de reforço escolar. Neste grupo estavam alunos com nível inferior a cento e cinquenta em Língua Portuguesa e inferior a cento e setenta e cinco em Matemática. - GRUPO II – formado por alunos com níveis superiores a cento e cinquenta e cento e setenta e cinco em Língua Portuguesa e Matemática, respectivamente. Trabalhariam com ênfase em atividades de recuperação contínua nos componentes de Língua Portuguesa e Matemática. Os professores deveriam realizar atividades diferenciadas em sala de aula e anotar o rendimento destes alunos nas aulas, para acompanhamento do Setor de Orientação Pedagógica Educacional. - GRUPO III – Formado por alunos com as melhores notas da escola. Estes alunos passariam a realizar atividades extras em sala de aula, aulas suplementares para o segundo ano do Ensino Médio, aos sábados, a partir do 2º semestre, atividades com problemas desafiadores de lógica, gincanas e olimpíadas nos componentes de Matemática e Língua Portuguesa em todos os anos. Na terceira reunião o grupo analisou os descritores trabalhados em cada prova, uma vez que as questões utilizadas eram mantidas em sigilo, pois pertenciam ao banco de itens do Inep. Com a análise dos descritores de cada série/ano/componente curricular o objetivo era entender a elaboração das provas e o que elas avaliavam. A produção dos professores nesta reunião foi a elaboração de quadros com a análise dos itens e descritores. Inclui-se aqui o quadro referente ao 5º ano do Ensino Fundamental do componente de Língua Portuguesa, tal como elaborado pelos professores, constando do Anexo E os relativos às outras séries e a disciplina de Matemática. 48 Ao lado da indicação de cada item da prova foi registrado o nível de proficiência que ele avaliava e a definição de cada descritor, conforme matriz do Saeb. TABELA 1. Tabela de Análise dos descritores, por componente curricular e série. ANALISE DOS DESCRITORES DO COMPONENTE - (X) Língua Portuguesa ( ) Matemática (X) 5º ano do Ensino Fundamental ( ) 9º ano do Ensino Fundamental ( ) 3ª série do Ensino Médio. ITEM 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 NÍVEL 300 175 175 125 225 200 175 200 225 175 DESC 5 4 6 7 4 1 7 9 13 9 200 250 150 225 250 225 200 175 225 200 225 150 175 225 175 150 300 250 13 4 7 13 14 3 11 7 2 3 2 1 5 6 8 1 6 3 DESCRIÇÃO Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). Inferir uma informação implícita em um texto. Identificar o tema de um texto. Identificar o conflito gerador do enredo e os elementos que constroem a narrativa. Inferir uma informação implícita em um texto. Localizar informações explícitas em um texto Estabelecer relações lógico-discursivas presentes no texto, marcadas por, conjunções, advérbios, etc. Identificar a finalidade de textos de diferentes gêneros Identificar efeitos de ironia ou humor em textos variados. Identificar a finalidade de textos de diferentes gêneros Questão sem nível Questão sem nível Identificar efeitos de ironia ou humor em textos variados. Inferir uma informação implícita em um texto Identificar o conflito gerador do enredo e os elementos que constroem a narrativa. Identificar efeitos de ironia ou humor em textos variados. Identificar o efeito de sentido decorrente do uso da pontuação e de outras notações. Inferir o sentido de uma palavra ou expressão. Distinguir um fato da opinião relativa a esse fato. Identificar o conflito gerador do enredo e os elementos que constroem a narrativa. Estabelecer relações entre partes de um texto. Inferir o sentido de uma palavra ou expressão Estabelecer relações entre partes de um texto Localizar informações explícitas em um texto Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). Identificar o tema de um texto. Estabelecer relação causa /consequência entre partes e elementos do texto. Localizar informações explícitas em um texto Identificar o tema de um texto. Inferir o sentido de uma palavra ou expressão No quarto encontro se estabeleceram ações específicas para o componente de Matemática, e se decidiu que na Reunião Pedagógica os professores reavaliariam os planos de ensino visando adequá-los aos níveis de desempenho que as séries apresentaram. Também para o componente de Matemática, dois professores e uma 49 das coordenadoras pedagógicas buscariam formação complementar específica em palestras ou cursos de curta duração patrocinados pela escola. Embora a escolha do curso fosse responsabilidade do professor ele deveria submeter uma proposta à direção da escola que se manifestaria favoravelmente ou não à sua participação no curso. Uma das condições impostas aos professores era que ele deveria, em reunião de planejamento coletivo, socializar o conteúdo aprendido com os demais. Ao término do curso o professor deveria realizar uma avaliação de sua participação e envolvimento com o curso, solicitação feita sempre que um professor tem o curso patrocinado pela escola. Visando ainda a formação continuada dos professores se iniciariam no mês de abril encontros semanais com a assessoria da professora Maria José Nóbrega, mestre em filologia e língua portuguesa pela Universidade de São Paulo (USP), para os professores da 2ª e 5ª série do Ensino Fundamental e de Língua Portuguesa. Foram sugeridas, ainda nesta reunião, a busca de parcerias com universidades para que alunos universitários pudessem ser monitores de turmas, atendidas em horário contrário ao das aulas regulares, evidenciando uma iniciativa de gestão que foi iniciada a partir da formação para o uso e entendimento dos resultados. Além disso, buscou-se potencializar o procedimento de observação de aulas, pelos orientadores pedagógicos, já adotado pela escola. Com tal propósito, os coordenadores, em conjunto com os professores, estabeleceram os critérios a serem privilegiados na observação, estudaram a finalidade e técnicas de condução da observação e alternativas para uso das informações resultantes da aplicação deste 50 procedimento. Foi realçada a importância de que as informações oriundas das observações permitissem, entre outros aspectos: detectar necessidades de formação; aprimorar a sistemática interna de aplicação e tabulação dos resultados de avaliações aplicadas aos alunos; intensificar e sistematizar conteúdos por meio de listas de exercícios e de planejamento de estudos; aprimorar as estratégias de recuperação contínua, em cada um dos componentes curriculares e elaborar um programa de educação continuada que utilizaria as reuniões de planejamento individual e coletivo para formação dos professores. Na quinta reunião, de planejamento coletivo, continuando os estudos, a equipe pedagógica apresentou aos professores a versão final dos materiais produzidos e reorganizados. Nas reuniões de Conselho de Classe posteriores, os professores refletiram sobre os dados apresentados, propondo novas ações a serem implantadas e refletindo criticamente sobre os procedimentos adotados até então. Reuniram-se por área e readequaram seu planejamento anual para que fossem contempladas atividades com todos os descritores das matrizes do Saeb, de Língua Portuguesa e Matemática. As decisões e ações aqui relatadas, impulsionadas pelos resultados das avaliações externas, ocorreram no ano de 2008 e vêm tendo continuidade, na mesma direção, nos anos subsequentes. Os parâmetros das ações de formação de professores têm sido, desde então, pautados pela intencionalidade de melhoria do desempenho dos alunos nos componentes de Língua Portuguesa e Matemática. 51 2.2 - Opinião dos professores sobre a formação continuada e a avaliação externa Considerando que as estratégias para oferta de formação continuada propiciada pela escola vêm sendo pautadas pelos resultados da avaliação externa e, também, o crescente lugar que vem sendo ocupado por esta avaliação na organização do trabalho escolar, no ano de 2009 os professores foram consultados, no âmbito da presente pesquisa, por meio de questionário, sobre: sua percepção a respeito de sua formação em nível de graduação, as estratégias de formação continuada implementadas pela escola, os sentimentos em relação à divulgação dos resultados da avaliação de desempenho dos alunos e como o resultado da avaliação externa vinha influenciando sua prática docente. Na elaboração do questionário procurei apresentar as perguntas de forma clara, direta, limitada a um só problema e nunca de forma negativa. Coloquei uma introdução escrita, explicando a finalidade da coleta de informações, embora tenha apresentado, aos professores, oralmente a intenção da aplicação do questionário. Segundo Carmo e Ferreira (1998, p. 137), há que se considerar na elaboração de questionários “o cuidado a ser posto na formulação das perguntas e a forma mediatizada de contactar com os inquiridos”. Na fase preliminar consultei a professora Dra. Célia Maria Haas11, da Universidade Cidade de São Paulo (Unicid), sobre bibliografias que pudessem me 11 A Profa. Dra. Célia Maria Haas foi a docente responsável pela orientação desta dissertação até a fase de coleta de dados. 52 auxiliar na elaboração do questionário e contivessem orientações a respeito de sua aplicação. A professora me instruiu que ao construir as perguntas verificasse se as questões estavam em número adequado, compreensíveis, sem ambiguidades, discretas e pertinentes. Após a elaboração da versão preliminar do questionário, apliquei-o a dois professores de outra escola, que apresenta características similares às da escola do Jardim Conceição, com o intuito de validar as questões e reformulá-las caso alguma não atendesse aos critérios identificados acima. A versão final do instrumento é apresentada no Anexo F. Para aplicar o questionário utilizei uma reunião de planejamento coletivo em que estavam presentes todos os professores. Iniciei explicando o procedimento e entreguei cópia a todos os presentes, indicando que os questionários poderiam ser entregues em branco e que havia garantia do anonimato aos respondentes. Expliquei que os resultados seriam utilizados para uma pesquisa e os dados seriam divulgados de forma compilada, sem identificação individual. Posteriormente à aplicação do questionário foi iniciada a análise dos dados. Na data de aplicação do questionário estavam presentes 35 professores: 21 que ministravam aulas para os anos finais do ensino fundamental e para o ensino médio e 53 14 que atuavam nos anos iniciais do ensino fundamental12. Do total de professores presentes, 25 retornaram o questionário respondido. Embora não tenha conseguido identificar as razões que levaram dez dos professores presentes a não responderem ao questionário, esta é, em si, uma informação importante. Em relação às questões relativas à avaliação externa, a opção por não expressar sua opinião, pode indicar sua discordância ou receio em relação a esta prática instituída pela escola. Não cabe aqui fazer extrapolações, mas registrar que a ausência de resposta merece atenção, sendo oportuno buscar aprofundar, na continuidade do trabalho na escola, o significado que as avaliações vêm assumindo para cada um e para o coletivo dos professores. Em relação à análise de sua formação inicial, 10 dos 25 professores que responderam ao questionário afirmaram que tiveram uma ótima formação, 14 que tiveram uma boa formação e apenas 1 assinalou ter tido uma formação regular. Este resultado permite afirmar que os professores julgam satisfatoriamente a formação que receberam, informando ainda que as instituições que os formaram gozam de boa reputação perante a sociedade. Mais precisamente, 9 afirmam que a instituição onde concluíram a formação inicial tem ótima reputação na sociedade e 16 que a instituição formadora tem boa reputação. Na descrição e análise das respostas não foi possível apreciar se haviam diferenças entre as manifestações de professores dos anos iniciais e finais do ensino fundamental e também em relação aos professores do ensino médio, pois não foi solicitado que indicassem a série/etapa de atuação. 12 54 Em relação à apreciação que fazem dos professores que ministraram aulas durante a sua graduação, 19 dos respondentes julgaram ter tido 80% de bons professores e 20% de ruins. Cinco deles disseram que a proporção 70% bons e 30% ruins é a que melhor expressa seu julgamento sobre os professores da graduação, enquanto um deles afirmou que 60% eram bons professores e 40% ruins. Com estes dados podemos inferir que é bom ou ótimo o julgamento que fazem de seus professores da graduação. No que se refere à formação complementar indagou-se sobre a realização de cursos relacionados à área da Educação após a conclusão do curso de graduação. Com exceção de um professor que informou não ter realizado curso na área, todos informaram ter participado de cursos. Conforme registros disponíveis no cadastro de funcionários da escola, constatase que destes 25 professores seis realizaram pós-graduação stricto-sensu nas áreas de sua atuação, ou seja, relacionados ao campo de conhecimento em que atuam. Há ainda, três professoras que estão realizando o doutorado, respectivamente em Língua Portuguesa, História e Física. É possível afirmar que há um movimento do corpo docente em busca de seu aprimoramento. Para avaliar qual a percepção dos professores em relação às ações de formação que vinham sendo propiciadas pela escola, formulei algumas questões com o intuito de identificar quais práticas eram consideradas mais eficazes pelos educadores. Há que se registrar que as ações desenvolvidas têm se pautado pelos resultados das 55 avaliações externas, mesmo para aquelas disciplinas que não são diretamente contempladas nas provas. Um exemplo desse trabalho foi a realização de uma oficina desenvolvida com os professores em horário de planejamento coletivo denominada “Ler e Escrever: compromisso de todas as áreas”, baseada no livro de mesmo nome escrito por Neiva Otero Schaffer. Após a oficina os professores de todas as áreas tinham que preparar atividades relacionadas a leitura, escrita e interpretação de texto de seu componente curricular. Do mesmo modo, para matemática, os professores preparariam atividades de interpretação de gráficos, tabelas ou medidas. Inicialmente solicitou-se aos respondentes uma apreciação das diversas atividades realizadas na escola direcionadas à sua formação continuada. As atividades usualmente promovidas são: - videoconferências ou palestras presenciais, ministradas por profissionais contratados para falar sobre temas específicos de cada componente curricular, de temas relacionados a projetos desenvolvidos na escola ou relacionados aos temas transversais descritos nos Parâmetros Curriculares Nacionais; - reuniões de planejamento individual, com o orientador pedagógico, que ocorrem semanalmente e tem duração de uma hora aula; - reuniões de planejamento coletivo, que têm duração de duas horas e também são semanais; - reuniões semestrais de planejamento e replanejamento, com duração de seis horas; 56 - cursos em instituições externas, pagos pela Instituição, que são solicitados pelo professor, cuja frequência se dá após a aprovação da direção da escola. Além disso, indagou-se aos professores sobre sua avaliação sobre cursos realizados em instituições externas custeados por ele próprio. Na Tabela 01 são apresentadas as respostas dadas pelos professores que informam seu julgamento sobre as estratégias de formação continuada. TABELA 01: Opinião dos professores sobre estratégias de formação continuada Uma ótima oportunidade de formação Uma boa oportunidade de formação Palestras 12 13 Reuniões de Planejamento Coletivo 10 15 Videoconferência 5 17 Reuniões individuais com o orientador 11 14 Reunião de planejamento e 9 16 Cursos externos pagos pela instituição 13 3 Cursos externos pagos pelo próprio 19 6 Estratégias de formação Uma péssima oportunidade de formação Nunca participei 3 9* * Computadas respostas múltiplas. Observando os resultados indicados na Tabela 1 verifica-se que, com exceção de videoconferências, todas as estratégias foram julgadas pelos professores como ótimas ou boas oportunidades de formação. Destaque positivo foi dado aos cursos externos, realizados por iniciativa dos próprios professores. Indagou-se ainda se as ações de formação propiciadas pela escola são tidas como complementares à sua formação inicial, no sentido de agregar novos conhecimentos. As respostas dadas indicaram duas tendências: aqueles professores que consideram ter tido uma excelente formação inicial que vem sendo complementada 57 pela escola (15 professores) e os que julgam ter tido boa formação inicial e, também, reconhecem que a escola tem proporcionado complementação a formação inicial (10 professores). Ao que parece, as manifestações evidenciam, de modo dominante, valorização das iniciativas promovidas pela escola, embora algumas sejam julgadas mais eficientes que outras, como sugerem os dados da Tabela 1. Perguntados se os estudos realizados na escola visavam atender sua necessidade ou a necessidade da instituição, 5 professores responderam que visam atender a necessidade da instituição, enquanto 13 afirmam que os estudos visam atender à necessidade do professor. Como a questão apresentava apenas duas alternativas, 3 professores assinalaram as duas, referindo-se que os estudos relacionados às avaliações externas buscavam atender tanto as necessidades da escola quanto as dos professores. Um deixou a resposta em branco. Além de conhecer a percepção dos professores sobre a sua formação inicial e continuada, algumas questões buscaram obter sua opinião sobre a avaliação externa e o modo como vem se dando a divulgação de seus resultados. Uma das perguntas questionava como os professores se sentiam após a divulgação dos resultados pela Instituição. O constrangimento por ministrar aulas em uma série com rendimento abaixo do esperado foi citado por 4 dos entrevistados. Outros 5 alegaram que a cobrança em relação aos resultados abaixo do esperado causava nervosismo, 6 disseram estar desmotivados por não alcançar os resultados e 20 registraram disposição para estudar e para melhorar sua prática, conforme registro no Gráfico 1. 58 Embora se constate sentimentos de nervosismo, constrangimento e desmotivação, para a maioria dos professores, segundo suas manifestações, os resultados das avaliações tendem a impulsioná-los na busca de aprimoramento de sua prática. Gráfico 01: Sentimentos dos professores após a divulgação dos resultados das avaliações externas 100,00% constrangimento por ter ministrado aula na sala que teve resultado ruim. 90,00% 80,00% 70,00% 62,16% 60,00% nervosismo por sentir‐se cobrado pela instituição pelo resultado da turma. 50,00% 40,00% desmotivação por sentir que o trabalho ministrado não surtiu efeito direto no resultado da avaliação. 30,00% 20,00% 16,22% 10,81% 10,81% disposição para estudar os resultados e tentar melhorar sua prática. 10,00% 0,00% Considerando que a divulgação dos resultados do conjunto de escolas da Fundação Bradesco se dá de modo comparativo, indagamos aos professores que sentimento vem à tona ao cotejar os resultados obtidos por seus alunos com resultados de alunos das outras unidades escolares que tiveram melhor desempenho. No Gráfico 02 é possível visualizar as respostas obtidas. 59 Gráfico 02: Sentimentos dos professores quando comparam os resultados da escola com outras. 100,00% 6,90% dos professores sente que o resultado abaixo do esperado é responsabilidade exclusivamente sua. 90,00% 80,00% 41,38% dos prfessores sente que o resultado abaixo do esperado é responsabilidade do grupo de professores que já ministrou aulas para o aluno. 70,00% 60,00% 50,00% 41,38% 41,38% dos professores sente que o resultado abaixo do esperado é responsabilidade do aluno que não vê relevância no resultado e por esse motivo não se concentra durante a prova. 41,38% 40,00% 30,00% 20,00% 10,34% 10,00% 6,90% 10,34% dos professores sente que o resultado abaixo do esperado é responsabilidade da instituição que elaborou a prova, não considerando a diferença sócio cultural dos alunos. 0,00% Nota-se que tendem a atribuir os resultados obtidos ao grupo de professores ou aos alunos, sendo pouco frequentes as menções à sua atuação individual ou à inadequação do instrumento de avaliação aplicado pela Instituição, embora estes sejam aspectos também mencionados. Quanto ao potencial de rankings virem a motivar ou não alunos e escola a aprimorarem seu trabalho, 20 entrevistados afirmaram que a divulgação do ranking motiva alunos e escolas a buscarem melhores colocações, enquanto 4 alegam que esta prática tende a desmotivá-los. Um professor assinalou as duas alternativas. Vinte professores reconhecem, ainda, que os resultados das avaliações trazem informações novas sobre os alunos, o que indica um reconhecimento de que a avaliação tem 60 potencial para trazer subsídios à prática docente ao revelar lacunas nas proficiências avaliadas. Identificar a ocorrência de mudança das estratégias de trabalho na sala de aula em decorrência dos resultados das avaliações também foi motivo de investigação por meio do questionário. A totalidade dos professores afirmou que houve alteração nas estratégias de trabalho na sala de aula após as reuniões de estudos promovidas com a chegada do resultado da escola, como registrado no Gráfico 3. Gráfico 03: Estratégias modificadas nas aulas após a divulgação dos resultados das avaliações externas. 20,00% 18,00% 16,24% 16,24% 17,09% 16,00% 14,53% 13,68% 14,00% 11,97% 12,00% 10,26% 10,00% 8,00% 6,00% 4,00% 2,00% 0,00% ¨ o trabalho com os descritores foi intensificado. ¨ o trabalho com interpretação de textos foi intensificado. ¨ o trabalho com resolução de problemas foi intensificado. ¨ o trabalho com temas do cotidiano foi intensificado. ¨ o trabalho com interpretações de gráficos foi intensificado. ¨ o trabalho envolvendo os conteúdos da série foi intensificado. ¨ o trabalho envolvendo os conteúdos dos referenciais da Fundação Bradesco foi intensificado. Pode-se notar que a análise dos resultados das avaliações vem induzindo os professores a introduzirem alterações em suas propostas de ensino, segundo seus depoimentos. Apesar de todo o meu comprometimento com a pesquisa, os questionários como forma de recolhimento de dados estão sujeitos a erros seja em relação à formulação das perguntas, ao viés das respostas impulsionado pelo conhecimento dos 61 entrevistados sobre a posição que ocupo na escola ou na escolha e extensão da amostra pesquisada. Outros fatores tais como grau de formação e personalidade do respondente, a presença do observador durante o preenchimento das respostas e fatores pessoais passageiros, como indisposição, fadiga ou distração também podem interferir nos resultados, embora se tenha buscado minimizá-los. A presença de mecanismos de defesa social no respondente também não foi descartada durante a formulação, aplicação e análise das respostas conforme alerta Gil (2006) em relação às defesas de fachada: “A defesa de fachada: Quando o respondente acredita estar correndo o risco de julgado reage oferecendo respostas defensivas, estereotipadas ou socialmente desejáveis encobrindo sua real percepção a cerca do fato. (Gil, 2006, p.135) Ou, ainda, as defesas em relações às perguntas personalizadas que tendem a ser respondidas com “recusas ou hesitações” e a tendência de respostas indicadoras de conformismo. (Gil, 2006, p.136). De qualquer modo há que se reconhecer que as respostas obtidas dos professores que se dispuseram a colaborar com a pesquisa trazem pistas para o planejamento de ações futuras de formação a serem definidas no âmbito da escola, por exemplo, quando alegam que as videoconferências não são um bom meio para a oferta de formação continuada, o que suscita o debate e reflexão sobre as metodologias utilizadas pela escola para prover formação. 62 Capítulo 3 AS AVALIAÇÕES DE DESEMPENHO E SUA INFLUÊNCIA NA GESTÃO ESCOLAR O propósito deste capítulo é apresentar discussões presentes na literatura acerca do uso de resultados das avaliações externas como subsídios para a gestão escolar, nas dimensões administrativa e pedagógica, cotejando com as informações oriundas da presente pesquisa. A partir dos elementos trazidos pelos autores que se dedicaram a discutir o tema, procura-se estabelecer um diálogo entre os pontos destacados na literatura e as evidências trazidas pelo estudo realizado na Escola do Jardim Conceição. Cada vez com mais visibilidade diante da sociedade as avaliações externas trazem consigo, além da informação sobre desempenho dos alunos, um processo de responsabilização de gestores de sistemas, escolas, professores e alunos pelos resultados que apresentam. Desse modo, é possível observar a tendência de que seus resultados venham, cada vez mais, incidir na organização e dinâmica do trabalho escolar. Encontra-se referência a essa responsabilização na literatura sobre o termo accountability, cujo conceito assemelha-se com a ideia de responsabilidade fiscal, embora não se restrinja ao caráter financeiro. Sua tradução literal não é fácil, havendo os que, mesmo analisando profundamente o conceito, não conseguiram encontrar uma tradução satisfatória do termo para a Língua Portuguesa. 63 Conforme Campos (1990, p. 30-50) descreve na Revista da Administração Pública há autores que definem o termo como "responsabilidade pela prestação de contas" ou "responsabilidade pela eficiente gerência de recursos públicos". Essa responsabilização, dentre outras consequências, pode fazer recair sobre os alunos a culpa pelas mazelas sociais a que muitos estão submetidos. Eles passam a acreditar que o problema da não aprendizagem é exclusivamente seu, desconsiderando fatores condicionantes que decorrem de um contexto social desigual e excludente, que tende a se reproduzir em concepções e práticas dominantes na organização escolar. Esta ótica, quando assimilada por professores e gestores, resulta em atribuir o sucesso ou fracasso escolar ao aluno. Para além dos alunos, é usual a culpabilização dos professores individualmente pelos insatisfatórios resultados escolares. Quanto à tendência a culpabilização de alunos ou professores por resultados insatisfatórios nas avaliações externas, no caso da Escola Jardim Conceição constatamos essa tendência ao observar as respostas dos professores ao questionário aplicado nesta pesquisa, já que a maioria deles atribui a responsabilidade pelos resultados na avaliação de desempenho ao aluno ou ao professor, sendo que apenas 10,34% dos respondentes mencionam a prova ou as suas peculiaridades como responsáveis. Por esse viés podemos considerar que há um sentimento de responsabilidade pelos resultados obtidos pelos alunos, sendo que a busca por cursos de aperfeiçoamento, observado também por meio das respostas registradas no questionário pode não ser oriunda apenas do desejo de aprimoramento profissional, 64 mas, também, um indício de que professores vêm assumindo, ao menos em parte, a culpa pelos resultados insatisfatórios. O desafio é superar uma perspectiva de culpabilização individual e tomar os resultados das avaliações, dentro de suas possibilidades e limites, como um dos subsídios para o aprimoramento do trabalho escolar. Ou seja, embora se reconheçam os limites dessas avaliações, no sentido de não possibilitar uma análise mais abrangente do desempenho dos alunos e de seu processo de aprendizagem, acreditase que os resultados dessas podem ser utilizados para detectar algumas das necessidades dos alunos e para subsidiar a escola em relação ao planejamento do ensino de dados conteúdos curriculares. O uso destes resultados é possível e a experiência mostrada neste trabalho pode servir como uma contribuição às escolas e professores em direção a se buscar uma utilização que possa contribuir para o aprimoramento do trabalho escolar. Nesse processo, a atenção e compromissos da equipe escolar devem se dar não apenas na direção de se buscar aumentar a média de desempenho da escola no decorrer dos anos e/ou também em comparação com outras escolas. O que se torna necessário não é simplesmente fazer os resultados médios alcançarem patamares maiores, mas garantir que a distribuição dos alunos na escala esteja contida em um intervalo cada vez menor, com menores discrepâncias entre alunos de uma mesma escola. 65 A escola que conhece a distribuição de seus alunos nos diferentes níveis de proficiência pode procurar as razões para tal distribuição e, com este diagnóstico, buscar metodologias para se trabalhar com os alunos contemplando especificidades evidenciadas, por meio da elaboração de planos de trabalho diversificados. Entre as iniciativas observadas na Escola do Jardim Conceição, identifiquei a separação dos alunos em grupos distintos, o que permitiu à escola organizar-se para atendê-los segundo suas especificidades. As réguas produzidas pelos professores mostravam como os alunos estavam distribuídos entre os níveis de proficiência, permitindo a proposição de trabalhos específicos para cada grupo. Mesmo sem a separação física dos alunos, os professores mantinham registros que permitiam o acompanhamento individualizado, o que poderia, pelo menos por hipótese, trazer uma melhoria de resultado. Conhecendo a distribuição dos alunos nos níveis de proficiência se pode identificar quem são os alunos que estão nas pontas das escalas e sugerir iniciativas específicas, como orienta Oliveira (2008), “quer encaminhando-os para um trabalho de recuperação paralela, quer para atendimento específico no horário letivo.”. E em relação à formação continuada dos professores houve, em decorrência da análise dos resultados da avaliação externa, a intensificação do uso do procedimento de observação de aulas pelos orientadores pedagógicos, que após assistirem as aulas entregavam relatórios escritos aos professores e realização uma reunião de devolutiva, em que, após a leitura do relato da aula, o coordenador fazia algumas perguntas ao professor relacionadas à intencionalidade de suas ações na sala de aula. Observavam 66 também se a aula dada era a descrita no plano, com o objetivo de se evitar improvisos durante a aula. O coordenador, algumas vezes, sugeria atividades ao professor. As observações de aula tinham um foco previamente definido e combinado com o professor, ora se observava a metodologia utilizada pelo professor, ora se observava a participação dos alunos ou de determinado aluno na aula e em algumas vezes os registros realizados pelos alunos no caderno e no livro, bem como, se haviam intervenções escritas pelo professor. Essas intervenções nas produções dos alunos não poderiam ser vistos ou carimbos, mas deveriam ser sobre o que o aluno fez, mostrando que estava no caminho certo ou o que deveria ser feito para se chegar à resposta esperada. A intensificação das observações de aula, garantindo um mínimo de uma observação por professor e por bimestre, parece-me uma evidência da contribuição da avaliação para a formação continuada dos professores. Embora reconhecendo contribuições oriundas da avaliação, é importante estar atento ao risco de limitar o olhar sobre o currículo aos seus resultados. A divulgação dos baixos resultados de estudantes brasileiros obtidos em avaliações externas pode levar a que se estabeleça como meta o alcance de conteúdos mínimos, limitando-se às expectativas relacionadas ao desenvolvimento dos alunos. Desse modo, tende a se esvaziar a discussão em torno de propostas de avaliação que incidam sobre aspectos da formação do aluno que não sejam mensuráveis por meio de provas. Sacristan (2000) alerta para o risco do empobrecimento dos currículos a partir dessas avaliações. Qualquer avaliação que se faça desde fora, pretendendo fixar-se no básico, acaba ocupando-se inevitavelmente de aprendizagens relacionadas com objetivos curriculares empobrecidos, ainda que só sejam pelo fato de que são os mais fáceis de comprovar e medir. Outras metas como o desenvolvimento de 67 atitudes, habilidades e processos educativos menos fáceis de constatar pelo avaliador externo ficarão relegadas. (Sacristan, 2000, p. 320) A matriz de referência utilizada para elaboração da prova tornou-se um norteador para o que será selecionado para ensinar, tornando os descritores prioridade de ensino, embora estes sejam compostos de conteúdos básicos e mínimos, não abarcando todos os componentes do currículo escolar e dimensões não cognitivas que são trabalhadas na escola, como, por exemplo, os conteúdos atitudinais. No artigo denominado Avaliação para as aprendizagens e formação de professores, publicado na revista A página da Educação, edição 154, o professor Domingos Fernandes, da Universidade de Lisboa alerta: A avaliação pode contribuir para que as escolas enriqueçam o currículo mas também pode contribuir para que o empobreçam ou reduzam a uma expressão simplista e redutora. Tudo depende das concepções que se sustentam. Se a concepção preponderante dá ênfase às funções de classificação, selecção ou certificação e aos resultados da avaliação externa, então é natural que haja um estreitamento e empobrecimento do currículo. Neste caso a tendência das escolas e dos professores é a de se centrarem na preparação dos alunos para os exames ou para os testes que, por natureza, não podem abranger todos os domínios relevantes do currículo. Se, por outro lado, predomina uma concepção que dá ênfase às funções de regulação, melhoria ou desenvolvimento, integrando de forma mais equilibrada os resultados da avaliação externa, então podemos estar perante um currículo mais enriquecido. (Fernandes, 2006, p.31) Conhecer as lacunas na aprendizagem por meio da avaliação externa é uma possibilidade que, se utilizada na dose correta, pode auxiliar, mas cuja utilização como principal ou único procedimento de acompanhamento do desenvolvimento do aluno pode levar ao empobrecimento do currículo. No caso da Escola Jardim Conceição, as provas aplicadas buscam mensurar o desempenho dos alunos em Língua Portuguesa, Matemática e Ciências, o que 68 certamente não dá conta da amplitude do currículo vivenciado. Estar-se atento a tal limitação é fundamental para não cair na ilusão de que resultados de provas dão conta de expressar a qualidade do trabalho escolar. O Projeto Pedagógico da Escola estabelece diretrizes e objetivos que extrapolam a capacidade de medida das provas. Na escola do Jardim Conceição foi observada a ênfase no trabalho com os Referenciais Curriculares em uma tentativa de se evitar que os professores se voltem para preparar os alunos para a participação na prova. O argumento era que a matriz de referência para confecção da prova eram os Referenciais Curriculares, sendo assim, se o trabalho fosse realizado dentro da proposta da escola, consequentemente os resultados melhorariam. Observei que embora houvesse esta preocupação da equipe de coordenação em reforçar a utilização do Referencial Curricular, 16,24% dos professores que responderam ao questionário disseram que intensificaram o trabalho com os descritores das provas, enquanto 13,68% atestaram basear o trabalho nos conteúdos do Referencial Curricular. 3.1 – A pressão competitiva e a concessão de bônus ou reconhecimento. Políticas descentralizadas de gestão de sistema implicam, também, em uma redefinição no papel do Estado obrigando a formulação de ações que permitam avaliar os resultados para tomar decisões e realizar políticas públicas e de distribuição de recursos para melhorar os índices nas diferentes regiões do país, entretanto, como 69 alerta Sousa (2001), pode ser temerário uma avaliação que tenha com o indicador nuclear o rendimento do aluno. [...] mesmo partindo da constatação de que é necessário compreender os problemas e sucessos que a realidade brasileira apresenta, consideramos temerário um sistema de avaliação cujo indicador nuclear seja o rendimento do aluno (Sousa, 2001.p.88) A implantação pelo governo federal das avaliações externas possibilita o monitoramento da rede e classificação das instituições de ensino; tem-se como tendência, no caso das administrações públicas, ações que revelam a expectativa de que estas venham a buscar alternativas para melhorar o desempenho nas avaliações (Sousa e Oliveira, 2007), podendo induzir que escolas de uma mesma rede, ao invés de buscarem empreender ações e reivindicações coletivas, venham a se colocar como concorrentes. Nesse caso o compromisso do Estado se limita a fiscalizar e regular a Educação, como destaca Afonso (1999), impelindo as escolas a competir. [...] esta combinação especifica de regulação do Estado e de elementos de mercado no domínio público que, na nossa perspectiva, explica que os governos da nova direita tenham aumentado consideravelmente o controle sobre as escolas (nomeadamente pela introdução de currículos e exames nacionais) e simultaneamente, tenham promovido a criação de mecanismos como a publicação dos resultados escolares, abrindo espaço, para a realização de pressões competitivas no sistema educativo. (Afonso, 1999.p.160) Podemos diante desta “pressão competitiva” entre escolas e redes de ensino e a intenção de atrelar aos resultados a distribuição de prêmios aos melhores do ranking, verter recursos para as melhores posicionadas em detrimento das que tem piores posições nessa classificação e que, supostamente, demandariam mais investimentos. Teríamos, então, as melhores tendo condições de se perpetuar entre as melhores e as 70 piores condenadas as últimas posições, sem incentivos, pondo em xeque o princípio da equidade na prestação dos serviços públicos a todos os cidadãos. No estado de São Paulo há experiência de pagamento de bônus atrelados a resultados como podemos observar no texto extraído do sítio oficial da Secretaria do Estado da Educação. Os professores e demais profissionais da educação cujas escolas tiveram bom desempenho no Idesp (Índice de Desenvolvimento da Educação do Estado de São Paulo) vão receber, no pagamento a ser realizado no próximo dia 25 de março, o Bônus por Resultado. No total, o Governo do Estado vai pagar R$ 655 milhões na premiação, um crescimento de 10,9% em relação aos R$ 590,6 milhões utilizado no Bônus pago em 2009. “O valor expressivo do Bônus mostra a valorização e o respeito que o Governo do Estado tem pelos professores e profissionais da educação. (http://www.educacao.sp.gov.br/noticias _2010/2010_ 22_03_ bonus_a.pdf acessado 26/09/2010) Embora o trecho acima trate de bônus financeiro, não praticado na Escola do Jardim Conceição, o mero reconhecimento pelos melhores resultados pode ser encarado pelos professores como uma espécie de “bônus” e também intensificar a competição para atingirem melhores resultados, mesmo entre os diferentes segmentos dentro da escola. Sobre a competição, antagonizando com o direito a todos por educação, Sousa (2003) alerta que: “O princípio é o de que a avaliação gera competição e a competição gera qualidade. Nessa perspectiva assume o Estado a função de estimular a produção da qualidade. As políticas educacionais ao contemplarem em sua formulação a realização a comparação, a classificação e a seleção incorporam, consequentemente, como inerentes aos seus resultados a exclusão, o que é incompatível com o direito de todos à educação.” (Souza, 2003, p.188). 71 No caso da presente pesquisa temos que ter o cuidado de não transpor linearmente as análises que tratam de usos, efeitos ou impactos das avaliações externas no âmbito de sistemas públicos para o contexto de uma rede de escolas administradas por uma fundação de âmbito privado. Recorremos, portanto, a tais análises para iluminar a leitura do contexto em análise, reconhecendo sua especificidade. Mas, a associação de premiação ou reconhecimento pelo desempenho dos alunos aos resultados das avaliações externas pode intensificar a seletividade social na escola. Alunos que revelem probabilidade de insucesso nas avaliações poderiam ser estimulados a deixar a escola com retenções sucessivas para que não cheguem até a série avaliada. A Escola do Jardim Conceição adota uma ferramenta de controle de fluxo chamada “pirâmide educacional” que tem o objetivo evitar que este mecanismo de exclusão aconteça, pois um dos indicadores que avalia a escola é a porcentagem de alunos que está na série adequada à idade. Reprovações, sejam sucessivas ou não, impactam na nota atribuída a escola, o que pode desestimular reprovações com caráter excludente e fazer com que se busque soluções para diminuir o índice de evasão. Este procedimento tende a induzir as escolas da rede a buscarem medidas que garantam a permanência do aluno e sucesso escolar, pois no julgamento de seu desempenho esses fatores são igualmente relevantes. 72 Razões para a utilização dos resultados das avaliações de rendimento escolar como instrumentos de gestão educacional são destacados por Sousa (2001, p.85). Entre as citadas, observamos: a possibilidade de compreender e intervir na realidade educacional; a necessidades de controle de resultados pelo Estado; o estabelecimento de parâmetros para comparação e classificação das escolas; o estímulo a escola e ao aluno por meio de premiação; e a possibilidade de controle público do desempenho do sistema escolar. Parece-me que a adoção de outros indicadores para compor o Índice de Eficiência Operacional da escola, tende a não induzir uma interpretação dos resultados obtidos pela escola exclusivamente aos alunos ou aos seus docentes. Quando se utiliza para compor o IEO notas nas avaliações externas, problemas de infraestrutura, falta de professores e a realização orçamentária tem-se uma avaliação mais ampla da escola que somente a fornecida pelos resultados das avaliações. No entanto, a garantia de que os resultados das avaliações externas, aplicadas no âmbito da rede de escolas da Fundação, venham a servir a propósitos de inclusão, de professores e alunos, e não de sua exclusão, está na dependência do uso que se vier a fazer de seus resultados. Oliveira (2008), no artigo denominado Avaliações externas podem auxiliar o trabalho pedagógico da escola?, orienta que desde que a escola acolha e reflita sobre os resultados, eles podem ser subsídios relevantes para o aprimoramento do trabalho escolar. Diz o autor: 73 A avaliação consiste em um processo mais amplo que pode tomar a medida como uma de suas dimensões, mas se associa à elaboração de juízos de valor sobre a medida e a proposição de ações a partir dela. De uma medida, proporcionada por uma testagem, para chegar a um processo avaliativo, é necessário que se reflita sobre seus significados e as possíveis ações a serem desenvolvidas a partir daí. Assim sendo, se os gestores dos sistemas educacionais e a comunidade escolar nada fizerem a partir do conhecimento de dada realidade propiciada pelas testagens, não teremos um processo de avaliação. (Oliveira, 2008, p.231) Logo, a utilização dos resultados passa necessariamente pelo entendimento que a equipe gestora da escola e os professores tiverem dos mecanismos utilizados para elaboração e correção da prova, bem como, do tratamento estatístico utilizado para se chegar à interpretação dos resultados. Descrevemos neste trabalho o esforço empreendido pela Escola Jardim Conceição para compreender os resultados das avaliações, tendo sido organizadas reuniões pedagógicas exclusivamente com este fim. No Plano de Gestão Estratégica da escola, um dos indicadores avaliados (ANEXO A) é o índice de presença de pais às Reuniões de Pais. A participação dos pais é vista, pela escola, como uma forma de fortalecer o acompanhamento dos alunos, garantindo a frequência escolar. Nas reuniões, os pais são informados sobre os resultados das avaliações e recebem o boletim do aluno, com dados sobre a avaliação interna e faltas às aulas. Os resultados das avaliações externas são tratados de forma geral. Os professores apresentam gráficos com o resultado geral da escola sem especificar as turmas para os pais. No ambiente da escola nota-se a presença de murais com os dados, há também um “totem” eletrônico na entrada principal da escola com os dados das quarenta escolas da Fundação Bradesco. As informações são atualizadas sem a interferência da escola, o que garante transparência na cessão de informação à comunidade a respeito 74 dos resultados. O livre acesso às informações pelas famílias aumenta o sentimento de responsabilidade da escola em relação aos seus resultados. Contrapondo as avaliações de sistemas e as avaliações internas, Fernandes (2007, p.28) ressalta que “os resultados advindos da aplicação dos instrumentos são provisórios e não definitivos” e o que o estudante não demonstrou conhecer em um determinado momento poderá vir a conhecer em outro. Deste modo a avaliação pontual deve ser cercada por uma visão crítica e a utilização de outros instrumentos de avaliação pode propiciar uma avaliação diferente da tradicional. A Lei de Diretrizes e Bases da Educação Nacional, no artigo 24, recomenda que “a verificação do rendimento escolar observará os seguintes critérios: a) avaliação contínua e cumulativa do desempenho do aluno, com prevalência dos aspectos qualitativos sobre os quantitativos e dos resultados ao longo do período sobre os de eventuais provas finais...” mostrando claramente a predileção por procedimentos de avaliação não pontuais. Devemos ter em mente ao analisar os resultados das avaliações que a educação é um bem público e deve servir à sociedade, como defende Sobrinho (2003, p. 102), "[...] a universidade e demais instituições educativas devem ser concebidas como instituições da e para a sociedade, sendo uma avaliação ética e democrática, pois a educação é um bem público, que deve servir a toda a sociedade". Todavia, sem ter uma visão ingênua sobre as avaliações em larga escala, uma vez que "toda avaliação opera com valores, nenhuma é desinteressada e livre das referências valorativas dos distintos grupos sociais". (Sobrinho, 2003, p.113), é possível 75 utilizá-las a favor do desenvolvimento de todos os alunos, como mostram algumas iniciativas da Escola do Jardim Conceição. Com isso não quero dizer que não há a necessidade de aprimoramento de seus usos e, mesmo, de se ampliar a prática de uma avaliação sistemática para outras dimensões do trabalho escolar. 76 CONSIDERAÇÕES FINAIS Este trabalho teve por objetivo analisar que uso vem sendo feito dos resultados avaliações externas para a gestão do trabalho escolar na Escola da Fundação Bradesco Jardim Conceição, uma vez que as avaliações são vistas no âmbito da Fundação como propulsoras da qualidade do ensino. Para tanto, buscou-se analisar eventuais efeitos dos resultados das avaliações externas nas decisões relativas às estratégias de formação continuada oferecida aos professores, na oferta de diferentes modalidades de atendimento aos alunos e na própria administração escolar. Além disso, também se constituiu alvo da investigação a percepção dos professores sobre as estratégias de formação utilizadas pela escola. Se por um lado foi possível identificar contribuições trazidas pelas avaliações externas para o planejamento escolar, por outro, há indícios de que estas venham a reforçar posturas competitivas no interior da escola, bem como da escola em relação ás outras instituições de ensino. No caso da perspectiva competitiva no âmbito da gestão do ensino público, Sousa e Oliveira (2003) observam que: [...] uma alternativa de gestão que superasse a dicotomia gestão "estatalcentralizada-burocrática-ineficiente" de um lado, "mercado-concorrencial-perfeito" de outro (...) a alternativa encontrada foi a de introduzir concepções de gestão privada nas instituições públicas sem alterar a propriedade das mesmas”. (Sousa, 2003, p. 876) 77 Na Fundação Bradesco a inserção de concepções e práticas pautadas na lógica do mercado tende a encontrar respaldo, uma vez que em sua cultura organizacional a prática da competição esta enraizada e, as escolas a ela vinculadas acabam por assimilar tal cultura. A preocupação constante com a melhoria na qualidade da educação motivou meus estudos especialmente em relação à Escola do Jardim Conceição onde trabalhei como orientador pedagógico no período de compreendido entre agosto 2006 a junho de 2009. Este trabalho apresentou a oportunidade de pesquisar as avaliações externas e verificar uma possibilidade de uso de seus resultados e permitiu, ao conhecer autores que se dedicaram a escrever sobre o tema, refletir sobre as avaliações e a forma de utilizá-las. Mesmo tendo contato com as críticas à sua aplicação, contudo, foi possível tirar proveito dos indícios que seus resultados trazem para definir caminhos a serem tomados na escola. Além da relevância pessoal que essa pesquisa adquiriu em minha carreira docente, pode representar uma contribuição para o aprimoramento do trabalho da Fundação Bradesco. Espera-se que traga subsídios relevantes, em particular para a população atendida pela escola, uma vez que a melhoria na qualidade de ensino representa ação direta sobre 1623 crianças que diariamente frequentam a escola e podem se beneficiar diretamente com os resultados desse trabalho, indiretamente suas famílias e a comunidade onde estão inseridas. 78 O desafio que se apresenta é, além da melhoria das médias da escola, a diminuição das desigualdades apresentadas pelos alunos garantindo-se que todos saibam o conteúdo adequado à série em que estudam. Embora possa se discutir qual o nível esperado para cada unidade escolar, a escola foco deste estudo aderiu às metas do Compromisso Todos pela Educação13, que impõe como desempenho adequado, tendo como referência a matriz do SAEB, os seguintes valores: - 4ª série do Ensino Fundamental: Língua Portuguesa: acima de 200 pontos; Matemática: acima de 225 pontos. - 8ª série do Ensino Fundamental: Língua Portuguesa: acima de 275 pontos. Matemática: acima de 300 pontos. - 3ª série do Ensino Médio - Língua Portuguesa: acima de 300 pontos. Matemática: acima de 350 pontos. A garantia de que todos os alunos cheguem minimamente a estes valores e que a discrepância entre os valores atingidos pelos alunos não seja grande tem motivado a escola pela busca de alternativas de aprimoramento de seu trabalho, algumas delas O Todos Pela Educação é um movimento criado em 2006 e financiado exclusivamente pela iniciativa privada, que congrega sociedade civil organizada, educadores e gestores públicos que tem como objetivo “contribuir para que o Brasil garanta a todas as crianças e jovens o direito à Educação Básica de qualidade”. Segundo o compromisso do Todos Pela Educação até o ano de 2022, ano do Bicentenário da Independência do Brasil há cinco metas estipuladas que deverão ser atingidas. São elas: 1)Toda criança e jovem de 4 a 17 anos na escola, 2)Toda criança plenamente alfabetizada até os 8 anos, 3) Todo aluno com aprendizado adequado à sua série, 4)Todo jovem com o Ensino Médio concluído até os 19 anos e 5) Investimento em Educação ampliado e bem gerido. 13 79 registradas neste estudo. Espero que os leitores possam utilizar as tentativas de soluções apresentadas como inspiração para novas pesquisas no campo educacional. 80 REFERÊNCIAS AFONSO, Almerindo J. Políticas Educativas e Avaliação Educacional: para uma análise sociológica da reforma educativa em Portugal (1985-1995). Centro de Estudos em Educação e Psicologia, Instituto de Educação e Psicologia, Universidade do Minho, Portugal, 1998. BRADESCO. Balanço social, Fundação Bradesco, Relatório anual, 2004. Salvador: Fundação Bradesco, 2004. BRASIL. Congresso Nacional. Plano Nacional de Educação. Lei nº 10.172 de 09 de janeiro de 2001. _______. Ministério da Educação - Plano de Desenvolvimento da Educação: Razões, Princípios e Programas. 2007 _______. Ministério da Educação, Plano Nacional de Educação. Brasília, DF, 2001, p. 52-53 e 55). _______. Ministério da Educação. Plano de Desenvolvimento da Educação. Brasília, DF, 2007. p. 20). CAMPOS, Ana Maria. Accountability: Quando poderemos traduzí-la para o português? Revista da Administração Pública. Rio de Janeiro: FGV, fev./abr. 1990. CARMO, Hermano; FERREIRA, Manuela Malheiro. Metodologia da Investigação: Guia para a Auto-aprendizagem. Lisboa: Universidade Aberta, 1998. 81 CORTES, Bianca Antunes. Financiamento na Educação: Salário-Educação e suas dimensões privatizantes. Cad. Saúde Pública, Rio de Janeiro, v. 5, n. 4, dez. 1989. Disponível em http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102311X1989000400006&lng=pt&nrm=iso>. acesso em 01 set. 2010 FERNANDES, Domingos. Avaliação para as aprendizagens e formação de professores. In Revista Página da Educação, N.º 154, Ano 15, Março 2006, Página n.º 31 – Ed. PROFEDIÇÕES, LISBOA FERRER, A. T. Avaliação e mudança de sistemas educacionais: a interação que falta. In: SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO DA EDUCAÇÃO. Rio de Janeiro, 1995. Anais. Brasília: MEC, 1996. p.33-54. FONSECA, Claudia. Educar para o futuro: Fundação Bradesco 50 anos: 1956-2006. São Paulo: Museu da pessoa, 2007. 232 p. FREITAS, Dirce Nei Teixeira de. Avaliação e gestão democrática na regulação da educação básica brasileira: uma relação a avaliar. Educ. Soc., Campinas, v. 28, n. 99, Ago. 2007. FREITAS, Luiz Carlos de. Ciclos, seriação e avaliação: confrontos de lógicas. São Paulo: Moderna, 2003. FURLANETTO, Ecleide Cunico. Formação contínua de professores: aspectos simbólicos. Psicol. educ., dez. 2004, vol.19, p.39-53. ISSN 1414-6975. 82 GATTI, Bernardete. A. Formação de professores no Brasil: problemas, propostas e perspectivas. Revista Umbral 2000, ISSN 0718-0578, Nº. 1, 1999 GIL, Antônio Carlos. Métodos e técnicas de pesquisa social. São Paulo: Editora Atlas 2006. NEUBAUER, Rose et al. Resultados de um trabalho de parceria da Fundação Bradesco com as escolas públicas no Vale do Ribeira/SP. Est. Aval. Educ., São Paulo, v. 21, n. 46, p. 297-318, maio/ago. 2010 NÓVOA, A. (1991). A formação contínua entre a pessoa-professor e a organizaçãoescola. Inovação, v. 4, n. 1, pp. 63-76. OLIVEIRA, Romualdo Portela de In: Educação: fazer e aprender na cidade de São Paulo. São Paulo: Fundação Padre Anchieta, 2008, 230p. OLIVEIRA, Romualdo Portela; ARAÚJO, Gilda Cardoso. Qualidade do ensino: uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação, n. 28, jan./fev./mar./abr. 2005. RODRIGUES, Ângela, ESTEVES, Manuela. A análise de necessidades na formação de professores. Porto: Porto Editora, 1993. SACRISTÁN, J.G. (1998). A avaliação no ensino. In: SACRISTÁN, J.G. Gomez. A. I. P. Compreender e transformar o ensino. Porto Alegre: Artes Médicas. 83 SOBRINHO, José Dias Educação e avaliação: técnica e ética. In: DIAS SOBRINHO, José; RISTOFF, Dilvo I. (Orgs.). Avaliação democrática: para uma universidade cidadã. Florianópolis: Insular, 2002. _____________. Avaliação: políticas educacionais e reformas. São Paulo: Cortez, 2003. _____________. Avaliação da educação superior. Petrópolis: Vozes, 2000. ______________. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002. SOBRINHO, José Dias; RISTOFF, Dilvo I. (orgs.). Avaliação democrática: para uma Universidade Cidadã. Florianópolis: Insular, 2002. SOUSA, Sandra M. Zákia Lian. Possíveis impactos das políticas de avaliação no currículo escolar. Cadernos de Pesquisa 119, julho 2003. SOUSA, Sandra Zákia Lian de; OLIVEIRA, Romualdo Portela de. Políticas de avaliação da educação e quase mercado no Brasil. Educ. Soc., Campinas, v. 24, n. 84, Set. 2003. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S010173302003000300007&lng=en&nrm=iso>. Acesso em 26.09.2010 doi: 10.1590/S010173302003000300007. UNESCO. Declaração Mundial sobre Educação para todos: satisfação das necessidades básicas de aprendizagem, 1990. Jontiem, 1998. 84 WORTHEN, Blaine R. Avaliação de programas: concepções e Praticas. As Origens da Moderna avaliação de Programas. São Paulo, Editora Gente, 2004 , Cap. 2, p. 5971. 85 . ANEXO A Quadro síntese com metas e resultados alcançados pela escola nos últimos anos. 86 87 ANEXO B Boletins contendo os resultados da escola na Avaliação Externa aplicada no ano de 2007 88 89 90 91 92 93 94 95 96 97 ANEXO C Plano de ação de Matemática 98 99 100 ANEXO D Réguas elaboradas pelos professores para análise da distribuição dos resultados da avaliação 2007. 101 102 103 104 105 106 107 ANEXO E Tabelas confeccionadas pelos professores para análise dos descritores por componente curricular e série 108 109 110 111 112 113 114 ANEXO F Questionário aplicado aos professores. 115 QUESTIONÁRIO Este questionário visa coletar informações para análise dos aspectos relacionados a sua formação inicial e continuada, além de sondá-lo a respeito do seu sentimento em relação aos resultados das avaliações externas aplicadas nas turmas em que ministra aulas. As informações aqui coletadas servirão de subsídio para elaboração de uma dissertação do programa de mestrado em Educação da Universidade Cidade de São Paulo - Pró-reitoria Adjunta de Pesquisa e Pós-graduação intitulada Os possíveis efeitos das avaliações externas no planejamento das ações de formação continuada de professores desenvolvida pelo pesquisador Renato Augusto da Silva sob orientação da Professora Drª Célia Maria Haas. Esclareço que as informações serão divulgadas de forma compilada e que há garantia do anonimato. Agradeço a sua colaboração. 2009 116 Este questionário é composto de dezessete questões objetivas e possui em seu início quatro perguntas filtro identificadas pela numeração PF01, PF02, PF03 e PF04 e servem para selecionar as pessoas que deverão responder o questionário até o final. Caso responda SIM a qualquer das perguntas filtro não há necessidade de responder o questionário até o final. PF01) Existe algum grau de parentesco entre você e seus professores da graduação? Sim. Se responder sim a esta pergunta não há necessidade de continuar a responder o questionário. Não. Se responder não a esta pergunta siga para a pergunta filtro número 2. PF02) Existe algum grau de parentesco entre você e o mantenedor da universidade ou faculdade em que cursou a graduação? Sim. Se responder sim a esta pergunta não há necessidade de continuar a responder o questionário. Não. Se responder não a esta pergunta siga para a pergunta filtro número 3. PF03) Existe algum grau de parentesco entre você e o pesquisador que lhe entregou este questionário? Sim. Se responder sim a esta pergunta não há necessidade de continuar a responder o questionário. Não. Se responder não a esta pergunta siga para a pergunta filtro número 4. 117 PF04) Existe algum grau de parentesco entre você e os diretores da escola em que você trabalha? Sim. Se responder sim a esta pergunta não há necessidade de continuar a responder o questionário. Não. Se responder não a esta pergunta siga para a primeira pergunta do questionário. 01) Em relação a instituição que você concluiu sua graduação você a considera. Ótima Boa Regular Péssima 02) Em sua opinião qual é a imagem que a instituição em que você concluiu a graduação tem junto a sociedade. Ótima reputação Boa reputação Péssima Reputação 03) Qual é a relação que mais se aproxima da instituição em que concluiu a graduação, sob seu ponto de vista, considerando os professores. 20% de professores bons e 80% de professores 80% de professores bons e 20% de professores ruins ruins 30% de professores bons e 70% de professores 70% de professores bons e 30% de professores ruins ruins 40% de professores bons e 60% de professores 60% de professores bons e 40% de professores ruins ruins 118 04) Após o término de sua graduação você fez algum curso relacionado com Educação? Não Sim Caso tenha respondido sim indique a quantidade aproximada no quadro ao lado da modalidade do curso, mesmo que incompleto. Palestras, cursos de curta duração, congressos e seminários. Cursos de Extensão Universitária Pós-graduação Lato Sensu Pós-graduação Stricto Sensu 05) Em relação a formação recebida na escola através de palestras você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação 06) Em relação a formação recebida na escola através de reuniões de planejamento coletivo você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação 07) Em relação a formação recebida na escola através de palestras por intermédio de videoconferência você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação 08) Em relação a formação recebida na escola através de reuniões de planejamento individual você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação 119 09) Em relação a formação recebida na escola através de reunião de planejamento e re-planejamento você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação 10) Em relação a formação recebida na escola através de cursos pagos pela escola você considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação nunca participei de curso pago pela instituição 11) Em relação a formação continuada através de cursos pagos por você . Considera. uma ótima oportunidade de uma boa oportunidade de uma péssima oportunidade de formação formação formação nunca participei de curso pago. 12) Classifique colocando números de 1 a 7 nos tipos de formação que considere mais eficiente. Onde o número um representa a mais eficiente e 7 o menos eficiente. Palestras. Reunião de planejamento individual. Reunião de planejamento coletivo. Reunião de planejamento e re-planejamento. Cursos pagos por você. Cursos financiados pela escola. Palestra por intermédio de videoconferência. 120 13) Profissionalmente você se considera. um professor com excelente formação inicial e com formação complementada na escola. um professor com excelente formação inicial e sem formação complementada na escola. um professor com boa formação inicial e com formação complementada na escola. um professor com boa formação inicial e sem formação complementada na escola. um professor com péssima formação inicial e com formação complementada na escola. um professor com péssima formação inicial e sem formação complementada na escola. 14) Após a divulgação dos resultados das avaliações externas a escola propõe uma série de estudos relacionados a avaliação. Esses estudos, segundo seu ponto de vista: visam atender de sua necessidade que precisa entender melhor a avaliação. visam a necessidade da instituição que deseja a melhoria dos resultados. 15) Após receber os resultados de seus alunos nas avaliações exteriores e compará-lo com escolas que tiveram melhor desempenho, você: sente que o resultado abaixo do esperado é responsabilidade exclusivamente sua. sente que o resultado abaixo do esperado é responsabilidade do grupo de professores que já ministrou aulas para o aluno. sente que o resultado abaixo do esperado é responsabilidade do aluno que não vê relevância no resultado e por esse motivo não se concentra durante a prova. sente que o resultado abaixo do esperado é responsabilidade da instituição que elaborou a prova, não considerando a diferença sócio cultural dos alunos. 121 16) Em relação ao sentimento que sente após a divulgação dos resultados das avaliações exteriores. O que mais se aproxima do que sente é: constrangimento por ter ministrado aula na sala que teve resultado ruim. nervosismo por sentir-se cobrado pela instituição pelo resultado da turma. desmotivação por sentir que o trabalho ministrado não surtiu efeito direto no resultado da avaliação. disposição para estudar os resultados e tentar melhorar sua prática. 17) Colocar os resultados das escolas em forma de ranking pode, sob seu ponto de vista: motivar escola e alunos a buscar melhores posições no ranking. desmotivar escola e alunos uma vez não atingida a posição esperada. 18) Em relação a divulgação dos resultados da avaliações externas que a escola realiza para os professores. Você afirmaria que a escola divulga os resultados de maneira eficaz. a escola não divulga os resultados de maneira eficaz. 19) Houve reuniões para estudo e reflexão dos resultados das avaliações externas na escola. sim não. Caso tenha respondido sim a questão 19 enquadre como elas favoreceram sua formação. as reuniões trouxeram informações novas que eu desconhecia. as reuniões não trouxeram informações novas. 122 20) Após as reuniões houve alteração nas estratégias de trabalho na sala de aula. sim. não. Caso tenha respondido sim a questão 20 assinale quais tipos, dentre os descritos. o trabalho com os descritores foi intensificado. o trabalho com interpretação de textos foi intensificado. o trabalho com resolução de problemas foi intensificado. o trabalho com temas do cotidiano foi intensificado. o trabalho com interpretações de gráficos foi intensificado. o trabalho envolvendo os conteúdos da série foi intensificado. o trabalho envolvendo os conteúdos dos referenciais da Fundação Bradesco foi intensificado.