O ensino de matemática e a Prova Brasil/SAEB Claudia Vanessa Cavichiolo Lisiane Cristina Amplatz Lucimar Donizete Gusmão Renata Cristina Lopes Equipe de Matemática DEB/SEED/PR [email protected] (41) 3340 1714 OBJETIVO DO EVENTO Discutir: • O instrumento de avaliação e seu objetivo; • Matrizes (Saeb x Estado); • A análise e a utilização dos resultados; • A construção dos itens (descritores / distratores); • Sobre o planejamento escolar; • A relação ensino de Matemática e Prova Brasil. • Resolução de Problemas: na Prova Brasil e na sala de aula. PROVA BRASIL / SAEB Objetivos Gerais da Avaliação: a) avaliar a qualidade do ensino ministrado nas escolas, de forma que cada unidade escolar receba o resultado; b) contribuir para o desenvolvimento, em todos os níveis educativos, de uma cultura avaliativa que estimule a melhoria da qualidade e equidade da educação brasileira; c) concorrer para a melhoria da qualidade de ensino, redução das desigualdades e democratização do ensino público nos estabelecimentos oficiais, em consonância com as metas e políticas estabelecidas pelas diretrizes da educação nacional; d) oportunizar informações sistemáticas sobre as unidades escolares. PROVA BRASIL / SAEB O SAEB é composto por dois processos: • ANEB/SAEB: Avaliação Educação Básica. Nacional da • ANRESC/Prova Brasil: Avaliação Nacional do Rendimento Escolar PROVA BRASIL / SAEB • SAEB: é realizada por amostragem e é aplicado para alunos do 5º ano/4ª série, 9º ano/8ª série do Ensino Fundamental e 3ª série do Ensino Médio. • Prova Brasil: Avalia todos os estudantes da rede pública matriculados no 5º ano/4ª série, 9º ano/8ª série do Ensino Fundamental. A Prova Brasil e o SAEB constituem a base para a definição do: O IDEB combina dois indicadores: rendimento escolar (taxa de aprovação) e desempenho dos estudantes (avaliação do Saeb e Prova Brasil). Prova Brasil: é utilizada para o cálculo do IDEB de municípios e de escolas da rede pública. SAEB: subsidia o cálculo do IDEB dos estados e do IDEB nacional. IDEB: Padrões e Critérios que combinam: Taxa de aprovação Rendimento Escolar Resultados das avaliações de aprendizagem PROVA BRASIL (5ºano/4ªsérie e 9º ano/8ª série dos municípios e das escolas da rede pública) e SAEB (5ºano/4ªsérie e 9º ano/8ª série do EF e 3ª série do EM das Unidades da Federação e do Brasil) • A metodologia adotada na construção e aplicação dos testes da Prova Brasil/Saeb é adequada para avaliar redes ou sistemas de ensino, e não alunos individualmente. • Um aluno não responde a todas as habilidades previstas, em uma única prova. Um conjunto de alunos responde a várias provas. (21 cadernos) • Os resultados não refletem a porcentagem de acertos de um aluno respondendo a uma prova, mas a de um conjunto de alunos, respondendo às habilidades do currículo proposto, distribuídas em várias provas diferentes. PROVA BRASIL / SAEB Como são elaboradas as avaliações? • A partir das Matrizes de Referência documento em que estão descritas os conhecimentos a serem avaliados e as orientações para a elaboração das questões. Essas matrizes reúnem o conteúdo a ser avaliado em cada disciplina e série. As matrizes são elaboradas a partir: • PCN • Referenciais curriculares estaduais (DCE) e municipais • Consulta a professores • Exame de livros didáticos • Análise final de professores especialistas IMPORTANTE! • As matrizes de referência representam um recorte das matrizes curriculares feito com base no que pode ser aferido por meio dos instrumentos utilizados na Prova Brasil/Saeb. • Elas não englobam todo o currículo escolar e não podem ser confundidas com procedimentos, estratégias de ensino ou orientações metodológicas, pois um recorte é feito com base naquilo que pode ser aferido. PROVA BRASIL / SAEB As Matrizes de Referência estão subdivididas em tópicos ou temas e estes, em descritores. • O descritor é o detalhamento de uma habilidade cognitiva (em termos de grau de complexidade), que está sempre associada a um conteúdo que o estudante deve dominar na etapa de ensino em análise. • Esses descritores são expressos da forma mais detalhada possível, permitindo-se a mensuração por meio de aspectos que podem ser observados. Exemplo: Espaço e Forma • Há descritores que permitem a elaboração de itens por meio de situações-problema. Outros descritores focalizam conhecimentos de nível técnico e dão origem a itens com textos curtos (calcule, efetue) bastante usuais em livros didáticos e no ensino de matemática, ainda hoje. • Um fator que merece destaque é que esse tipo de item não apresenta contextualização, a não ser na própria Matemática, mas também fazem parte da avaliação porque é necessário que esses conhecimentos sejam isolados, a fim de que se possa distinguir onde está a dificuldade/facilidade pedagógica do aluno • Há Descritores que permitem a elaboração de itens por meio de situações-problema. • Outros descritores focalizam conhecimentos de nível técnico e dão origem a itens com textos curtos (calcule, efetue) bastante usuais em livros didáticos e no ensino de matemática, ainda hoje. Exemplo: Números e Operações/Álgebra e Funções - (9º ano/ 8ª série) D16 • Identificar a localização de números inteiros na reta numérica. D18 • Efetuar cálculos com números inteiros, envolvendo as operações (adição, subtração, multiplicação, divisão, potenciação). D19 • Resolver problema com números naturais, envolvendo diferentes significados das operações (adição, subtração, multiplicação, divisão, potenciação). D28 • Resolver problema que envolva porcentagem PROVA BRASIL / SAEB • As matrizes de Matemática estão estruturadas por anos e séries avaliadas. • Para cada um deles são definidos os descritores que indicam um determinado conhecimento que deve ter sido desenvolvido nessa fase de ensino. Esses descritores são agrupados por tema que relacionam um conjunto de objetivos educacionais. Matriz de Referência de Avaliação e Matriz Curricular: Diferenças Fundamentais Matriz Curricular • direciona o currículo de uma instituição de ensino, leva em conta as concepções de ensino e aprendizagem da área e apresenta: objetivos, conteúdos, metodologias e processos de avaliação. Matriz de Referência de Avaliação • também leva em conta as concepções de ensino e aprendizagem da área, mas é composta apenas por um conjunto delimitado de conhecimentos definidos em unidades denominadas de Descritores que, no caso da Matemática, estão agrupados por blocos de conteúdos. • Matriz Curricular é constituída por várias dimensões que direcionam o trabalho em sala de aula: Conceitual Social Cultural Política • A Matriz Curricular é um documento prescritivo, que direciona o ensino, insere-se no Projeto Pedagógico da instituição e é construído coletivamente pela comunidade escolar, com base em orientações curriculares da área indicadas por órgãos oficiais e na realidade escolar. • Matriz de Referência de Avaliação é um documento descritivo, no geral escrito por técnicos, e que leva em consideração documentos curriculares oficiais. É um “recorte” de uma Matriz Curricular que não direciona o ensino, mas que delimita o que vai ser avaliado na prova a ser realizada em um programa de avaliação em larga escala. • A Matriz de Referência de Matemática para o SAEB/Prova Brasil, da maneira como está elaborada, apresenta um conjunto de conhecimentos básicos que se deseja ver desenvolvidas em estudantes no fim de cada etapa escolar, mas destaca apenas a dimensão conceitual (noções e conceitos matemáticos). • Matrizes Curriculares destacam, no processo de ensino e aprendizagem de matemática, a resolução de problemas como eixo norteador. • Os descritores da Matriz de Referência também apontam que as questões presentes na avaliação do SAEB/Prova Brasil tenham como foco a resolução de problemas. MATRIZ DE REFERÊNCIA DE MATEMÁTICA Temas 5º Ano/4ª Série I Espaço e Forma • 5 Descritores II Grandezas e Medidas • 7 Descritores III Números e Operações/Álgebra e Funções • 14 Descritores Tratamento da Informação • 2 Descritores Temas 9º Ano/8ª Série I Espaço e Forma • 11 Descritores II Grandezas e Medidas • 4 Descritores III Números e Operações/Álgebra e Funções • 20 Descritores Tratamento da Informação • 2 Descritores Temas 3ª Série - EM I Espaço e Forma • 10 Descritores II Grandezas e Medidas • 3 Descritores III Números e Operações/Álgebra e Funções • 20 Descritores Tratamento da Informação • 2 Descritores MATRIZ DE REFERÊNCIA X DCE Espaço e Forma Geometrias Grandezas e Medidas Grandezas e Medidas Números e Operações/Álgebra e Funções Números e Álgebra Funções Tratamento da Informação Tratamanento da Informação PROVA BRASIL / SAEB Parte importante do currículo para: Compreender o espaço com suas dimensões e formas. Compreender, descrever e representar de forma organizada e concisa o mundo em que vive. ESPAÇO E FORMA x GEOMETRIAS Contribuir na aprendizagem de números e medidas. Estabelecer conexões entre a matemática e outras áreas do conhecimento. PROVA BRASIL / SAEB Parte importante do currículo para: Compreender as medidas convencionais. Comparar grandezas. GRANDEZAS E MEDIDAS Utilizar essas medidas para cálculo de áreas, perímetros, volumes e o sistema monetário. Estabelecer relações com a prática cotidiana. PROVA BRASIL / SAEB Parte importante do currículo para: Transpor informações para as diversas situações (linguagem algébrica para a geométrica). Fazer julgamentos matemáticos e a decidir quanto a estratégias de manipulação dos números e das operações, visando à solução de situações-problema. NÚMEROS E OPERAÇÕES/ÁLGEBRA E FUNÇÕES O conhecimento dos números é indispensável no cotidiano e estão presentes em vários campos da sociedade. PROVA BRASIL / SAEB Parte importante do currículo para: Observar e estabelecer comparações sobre situações ou fenômenos. Compreender melhor as informações nos diferentes formatos. TRATAMENTO DA INFORMAÇÃO Favorecer a capacidade de estimativa, de emissão de opiniões e de tomada de decisão. Permitir a articulação de conceitos entre as áreas do conhecimento. ATIVIDADE 1 Aproximação entre Descritores e Expectativas de Aprendizagem. Discutindo ... 1) Todas as expectativas são contempladas nos descritores? 2) O descritor, em análise, está presente em quais séries? 3) Há expectativas que não podem ser aferidas em uma avaliação de larga escala, como a Prova Brasil? Exemplo ... TEMA: Espaço e Forma CONTEUDO ESTRUTURANTE: Geometrias D11: Reconhecer círculo e circunferência, seus elementos e algumas de suas relações. C.E.: 5ª série (57) Diferencie círculo e circunferência identificando seus elementos. 6ª série (112) Reconheça círculo e circunferência e alguns de seus elementos: centro, raio, arco, diâmetro e corda. ESCALA DE PROFICIÊNCIA • Os resultados da avaliação de Matemática são organizados em uma escala de proficiência. A escala é numérica e varia de 0 a 500. Conhecimentos: 4ª EF < 8ª EF < 3ª EM • Como os números indicam apenas uma posição, é feita uma interpretação pedagógica dos resultados por meio da descrição, em cada nível, do grupo de conceitos que os alunos demonstraram ter desenvolvido, ao responderem às provas. • É possível saber, pela localização numérica do desempenho na escala, quais conceitos os alunos já construíram, quais eles estão desenvolvendo e quais ainda faltam ser alcançados. NÍVEIS DE PROFICIÊNCIA EM MATEMÁTICA • O que caracteriza um nível de proficiência é um conjunto de conceitos. Isto significa que, às vezes, um conjunto de estudantes está alocado em um nível de proficiência, pois mostra ter desenvolvido os conceitos desse nível. • Esse mesmo grupo de estudantes pode também ter desenvolvido alguns conceitos alocadas no nível seguinte, mas não o conjunto de conceitos desse nível. • O que determinará que um grupo de estudantes esteja em um nível e não em outro é exatamente o fato de esses estudantes demonstrarem, na resolução dos itens, um conjunto de conceitos desenvolvidos que caracterizam esse nível. • Assim, em cada nível, destacamos o conjunto de habilidades mais frequentes, o que caracteriza o nível de proficiência. • Na Prova Brasil e no SAEB os níveis são subdivididos de 25 em 25. Importante • Fazer a leitura mais integral da escala observando-se não apenas a posição do desempenho de sua escola, mas também o significado dos intervalos posteriores ou anteriores ao que a escola ficou posicionada. PESQUISANDO O ÍNDICE DE PROFICIÊNCIA DA SUA ESCOLA www.inep.gov.br • Desempenho em Matemática: <225-250> Importante! Analisar: • O conjunto de conceitos alocados entre <220-225> • O conjunto de conceitos alocados entre <225-250> • O conjunto de conceitos alocados entre <250-275> ATIVIDADE 2 • Analise o resultado de uma escola com a escala de proficiência de Matemática e identifique quais conceitos os alunos já construíram, quais eles estão desenvolvendo e quais ainda faltam ser alcançados. Aponte sugestões para atingir os conceitos ainda em desenvolvimento. Índice de Desenvolvimento da Educação Básica Entendendo o Ideb Idebij N ij Pij Idebij N ij Índice de desenvolvimento da educação básica da etapa/nível de ensino i na unidade j (onde j pode ser escola, rede de ensino, Região Geográfica, Unidade da Federação, Brasil etc.) Proficiência média padronizada (Prova Brasil ou Saeb) obtida pelos alunos da etapa/nível i na unidade j N ij Pij Desem penhoij Min Max Min 10 Taxa média de aprovação da etapa/nível i na unidade j 69 Limite Superior e inferior das Proficiências SÉRIE MATEMÁTICA LÍNGUA PORTUGUESA Sinf Ssup Sinf Ssup 4ª do EF 60 322 49 324 8ª do EF 100 400 100 400 3ª do EM 111 467 117 451 Nij Desempenhoij Sinf Ssup Sinf 10 70 Idebij N ij Pij L.Portuguesa Min N ij 10 Max Min Matemática Min N ij 10 Max Min Matemática L.Portuguesa Média N ij 2 Idebij N ij Pij Indicador de Rendimento (P) Nota Média Padronizada (N) AS QUESTÕES/ITENS DA PROVA ITENS • Os itens da avaliação da Prova Brasil são elaborados a partir dos conjuntos de descritores, agrupados em cada Tema da Matriz de Referência. • Não contemplam todas as dimensões do conhecimento e procedimentos matemáticos, mas somente o que pode ser objetivamente verificado. • Cada item contempla somente um único descritor, ou seja, pode-se aferir apenas uma habilidade matemática. Por exemplo, não contemplam a habilidade em realizar cálculo mental ou de expressar oral ou por escrito uma determinada situação em linguagem matemática. • A partir dos itens da Prova Brasil é possível afirmar que um aluno desenvolveu uma certa habilidade quando ele é capaz de resolver um problema por meio da utilização/aplicação de um conceito por ele já elaborado. ENUNCIADOS • Propõe a questão de modo que o aluno possa formular uma resposta sem ler as alternativas. • Devem ter linguagem e abordagens adequadas para a faixa etária dos alunos e envolvem conhecimentos previstos para a série em questão e abordados nos Descritores. • Os enunciados devem ser claros e curtos, envolvendo contextos integrados à situação matemática envolvida. • Pode ser apresentado em forma de frase incompleta. • Pode ser apresentado em forma de pergunta. ALTERNATIVAS • Elaboração das alternativas considerando que: haverá apenas uma resposta correta; os distratores são as respostas incorretas – porém plausíveis – são alternativas com aparência de resposta correta, mas que são inquestionavelmente incorretas em relação ao enunciado. • Os distratores dão informações para a análise dos níveis de proficiência, na medida em que se procuram focalizar erros comuns nessa etapa de escolarização. • As respostas previstas nos distratores de um item devem ser capazes de dar informações acerca do raciocínio desenvolvido pelo estudante na busca da solução para a tarefa proposta. A análise das respostas dos estudantes permite identificar os erros mais comuns nos diversos níveis de proficiência. ANÁLISE DE QUESTÕES Exemplo: 9º ano/8ª série Uma caixa d’água, com a forma de um paralelepípedo, mede 2 m de comprimento por 3 m de largura e 1,5 m de altura. A figura abaixo ilustra essa caixa. O volume da caixa d’água, em m³, é (a) 6,5. (b) 6,0. (c) 9,0. (d) 7,5. O que se pretende avaliar? Cálculo do volume ou a capacidade de sólidos geométricos simples (paralelepípedos e cilindros, principalmente). Qual descritor e qual Tema/Conteúdo Estruturante da questão? D14: Resolver problema envolvendo noções de volume. Tema e Conteúdo Estruturante: Grandezas e Medidas. O que o resultado sugere? • Que análise pode ser feita em relação aos distratores? DISTRATORES E ANÁLISE DO ERRO […] no processo de ensino e aprendizagem, não basta apenas conhecer os erros e os acertos, a correção ou incorreção das respostas dos alunos, numa determinada prova de avaliação, mas sim, e principalmente, conhecer os processos que o levam a produzir estas respostas. Mais do que controlar, o professor deve interpretar, identificar problemas e levantar hipóteses explicativas que lhes permitam avaliar a complexidade e sofisticação do pensamento do aluno. Mais do que medir determinados comportamentos, importa compreender as razões do erro. Hoffmann (1992) O piso de uma sala está sendo coberto por cerâmica quadrada. Já foram colocadas 7 cerâmicas como mostra a figura Quantas cerâmicas faltam para cobrir o piso? (A) 7 (B) 8 (C) 9 (D) 15 • O que se pretende avaliar nessa questão? Compreensão do conceito e cálculo (estimativa) de áreas de figuras planas. • Qual descritor e qual Tema/Conteúdo Estruturante da questão? Tema II: Grandezas e Medidas D12: Resolver problema envolvendo o cálculo ou estimativa de áreas de figuras planas, desenhadas em malhas quadriculadas. Conteúdo Estruturante: Grandezas e Medidas O piso de uma sala está sendo coberto por cerâmica quadrada. Já foram colocadas 7 cerâmicas como mostra a figura Quantas cerâmicas faltam para cobrir o piso? (A) 7 - o estudante considera as peças de cerâmica já colocadas. (B) 8 (C) 9 – ? (D) 15 – o estudante considera as peças de cerâmica necessárias para preencher todo o piso. Sobre a Sala de Apoio à Aprendizagem em Matemática A análise do erro sobre questões da Prova Brasil, pode ser uma das estratégias para definição de critérios de indicação de alunos para Sala de Apoio. Análise de Questões Exemplo: 5º ano/4ª série No mapa está representado o percurso de um ônibus que foi de Brasília a João Pessoa e passou por Belo Horizonte e Salvador. Quantos quilômetros o ônibus percorreu ao todo? (A) 1670 km. (B) 2144 km. (C)2386 km. (D) 3100 km. O que se pretende avaliar nessa questão? • Cálculos contextualizados em que se requer que o aluno simplesmente efetue operações de adição e subtração com números naturais. A contextualização apenas ilustra as operações. Qual descritor e qual Tema/Conteúdo Estruturante da questão? • D17: Calcular o resultado de uma adição ou subtração de números naturais • Tema: Números e Operações/Álgebra e Funções • Conteúdo Estruturante: Números e Álgebra O que o resultado sugere? • Os resultados demonstram que 72% dos alunos chegaram à resposta correta, ou seja, os números foram identificados e adicionados corretamente. Os alunos que marcaram as alternativas incorretas devem ter considerado apenas duas parcelas: 714 + 956, (5%); 714 + 1430, (9%); 1430 + 956, (11%). Que sugestões podem ser dadas para melhor desenvolver esse conceito? • É importante, para o desenvolvimento desse conceito, que o professor incentive seus alunos a expor suas estratégias individuais, não demonstrando, inicialmente, procedimentos para tornar a operação automatizada. ATIVIDADE 3 Analise algumas questões da Prova Brasil/Saeb 9º ano/8ª série ALGUNS CRITÉRIOS DE ELABORAÇÃO DE ITENS ELABORANDO ITENS • Enfocar uma situação-problema evitando a muldimensionalidade. • Propor problemas e alternativas que sejam factíveis e admissíveis. • Considerar o cotidiano – itens significativos, interessantes e atrativos – utilizando situações autênticas (jornais, revistas, atlas, literatura pertinente). • Não elaborar itens que contenham “pegadinhas” (malicioso, enganoso, induzir ao erro) (Ex: abordagem de conteúdos triviais; detalhes irrelevantes; problema que oferece múltiplas possibilidades de resposta). • Levar em consideração o tempo de leitura exigido do aluno. No caso de textos associados a tabelas cuidado especial em relação a extensão, volume de informações e itens associados. • Não usar alternativas do tipo “todas as anteriores” ou “nenhuma das anteriores”. ATIVIDADE 4 Baseando-se nos Descritores da Prova Brasil/Saeb e no caderno de expectativas de aprendizagem elaborem questões para uma prova de larga escala como a Prova Brasil/Saeb. INFORMAÇÕES GERAIS Escolas participantes: Prova Brasil (quase censitária): 5º e 9º ano do E.F. - escolas públicas; - mínimo de 20 alunos matriculados por turma (urbana e rural). Saeb (amostral): 5º, 9º ano do EF e 3º ano do EM - escolas públicas e privadas; - mínimo de 10 alunos matriculados por turma. Prova Brasil e SAEB 2011 As provas serão aplicadas no período de 7 a 18 de novembro de 2011, em todos os Estados e no Distrito Federal. ENSINO DA MATEMÁTICA É fundamental para o ensino e aprendizagem em Matemática: (LORENZATO, 2008) • O Professor dominar o conteúdo e sua didática; • Refletir sua prática docente e manter-se atualizado; • Socializar conhecimentos, pois a sabedoria construída pela experiência precisa ser dividida; • Precisa estar inserido à realidade do aluno; • Compreender que a Matemática tem uma linguagem própria; • Ser ensinada de forma integrada; • Promover a investigação, a descoberta, a intuição, a sensibilidade diante da Matemática. “Ensinar matemática na escola só faz sentido quando se proporcionam aos estudantes, de qualquer nível de ensino, ferramentas matemáticas básicas para o desenvolvimento de seu pensamento matemático sempre apoiadas em suas práticas sociais, tendo em vista uma qualificação adequada que promova a inclusão social do estudante e o capacite para atuar no mundo social, político, econômico e tecnológico que caracteriza a sociedade do século XXI”. (INEP, 2009) “Isso nos instiga a refletir sobre a diferença entre ensinar matemática e ensinar a apreciar a matemática.” (CIFUENTES, 2003, p. 60) REFERÊNCIAS • • • • BRASIL, Ministério da Educação. PDE: Plano de desenvolvimento da Educação. Prova Brasil: ensino fundamental: matrizes de referência, tópicos e descritores. Brasília: MEC, SEB, Inep, 2008. _________. Matemática: orientações para o professor, Saeb/Prova Brasil, 4ª série/5ºano, ensino fundamental. Brasília: Inep, 2009. CIFUENTES, J.C. Fundamentos Estéticos da Matemática: Da Habilidade à Sensibilidade. In: BICUDO, M. A. V. (Org). Filosofia da Educação Matemática: Concepções e Movimento Brasília: Editora Plano, 2003. LORENZATO, Sérgio. Para aprender matemática. 2 ed. Campinas: Autores Associados, 2008.