AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO: 0011 0010 1010 1101 0001 0100 1011 1 DESAFIOS E POSSIBILIDADES 2 4 Módulo I – 1º Encontro – 14/08/2010 1º MOMENTO: APRESENTAÇÃO DO CURSO 0011 0010 1010 1101 0001 0100 1011 OBJETIVOS DO CURSO • Conhecer os fundamentos teóricos e metodológicos que norteiam a avaliação de larga escala (externa) na Rede Municipal de São Paulo; • Favorecer processos de leitura e de interpretação dos resultados da Prova São Paulo e da Prova da Cidade; • Estimular possíveis intervenções pedagógicas. 1 2 4 CRONOGRAMA 0011 0010 1010 1101 0001 0100 1011 Encontros do Módulo I: • 14/08/2010 – das 9h às 12h e das 13h às 16h • 28/08/2010 – das 9h às 12h e das 13h às 16h • 11/09/2010 – das 9h às 12h e das 13h às 16h Encontros do Módulo II: • 18/09/2010 – das 9h às 12h e das 13h às 16h • 23/10/2010 – das 9h às 12h e das 13h às 16h • 06/11/2010 – das 9h às 12h e das 13h às 16h 1 2 4 HORÁRIOS DO MÓDULO 1 0011 0010 1010 1101 0001 0100 1011 DATA TURNO HORÁRIO 14/08/2010 Manhã 9h às 12h Tarde 13h às 16h 28/08/2010 Manhã Tarde 9h às 12h 13h às 16h 11/09/2010 Manhã 9h às 12h Tarde 13h às 16h 1 Grupo 1 Avaliação externa Avaliação externa Matrizes Matrizes TRI Grupo 2 TRI TRI Avaliação externa Avaliação externa Matrizes Grupo 3 Matrizes Matrizes TRI TRI 2 TRI Matrizes 4 Avaliação externa Avaliação externa AVALIAÇÃO DO PARTICIPANTE 0011 0010 1010 1101 0001 0100 1011 Conceito mínimo para aprovação no Curso: Satisfatório Frequência mínima exigida no curso: 85% 1 2 O conceito Satisfatório está vinculado ao cumprimento da frequência mínima e à realização e entrega de todos os trabalhos solicitados nos encontros, incluindo a elaboração de itens de múltipla escolha e de resposta construída, de acordo com os critérios discutidos. 4 • Farão jus ao certificado aqueles que obtiverem frequência e conceito mínimos. O NÚCLEO DE AVALIAÇÃO EDUCACIONAL – SME/ATP 0011 0010 1010 1101 0001 0100 1011 OBJETIVOS Planejar, elaborar, executar, analisar e divulgar as Avaliações Externas propostas pela SME; • Favorecer a interpretação dos resultados; • Orientar a utilização dos resultados para tomadas de decisão; • Realizar cursos de formação sobre avaliação; • Elaborar Relatórios Pedagógicos sobre as Avaliações Externas. 1 2 4 FORMADORES 0011 0010 1010 1101 0001 0100 1011 AVALIAÇÃO EXTERNA Ailton Carlos Santos Rosana Aparecida Argento TRI Érica Maria Toledo Catalani Fernando Gonsales 1 2 4 Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados Claudio Maroja Marcela Cristina Evaristo PAUTA 1° MOMENTO: 30 min – 9h30 às 10h Apresentação do Curso Objetivo: Apresentar os objetivos e o formato do curso, os formadores e 0011 0010 1010 1101 0001 0100 1011 as expectativas em relação ao processo. 2° MOMENTO: 30 min – 10h às 10h30min Dinâmica de grupo Objetivo: Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação. 1 2 3° MOMENTO: 90 min – 10h30min às 12h Sistematização de conceitos Objetivo:Definir o perfil de uma avaliação externa e em larga escala. Atividade 1- 10h30min às 11h15min Atividade 2- 11h15min às 12h ALMOÇO – 12h às 13h 4 4° MOMENTO: 30 min – 13h às 13h30min Exposição Objetivo: Conhecer o processo histórico da avaliação externa e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP. 0011 0010 1010 1101 0001 0100 1011 5° MOMENTO: 90 min – 13h30min às 15h Leitura e Reflexão Objetivo: Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade educacional 6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro 1 2 4 7° MOMENTO: 30 min – 15h30min às 16h Tarefa Objetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade. Módulo I Tema: Avaliação externa e de larga 0011 0010 1010 1101 0001 0100 1011 escala OBJETIVOS Refletir sobre o perfil da avaliação externa e de larga escala e da avaliação interna; Entender as avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP; Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar. 1 2 4 CONTEÚDOS 0011 0010 1010 1101 0001 0100 1011 AVALIAÇÃO EXTERNA E DE LARGA ESCALA 1 CONCEITOS CARACTERÍSTICAS CONTEXTO DE SURGIMENTO IMPLICAÇÕES NA QUALIDADE DO ENSINO E PROJETO PEDAGÓGICO DA UNIDADE 2 4 2º MOMENTO: DINÂMICA 0011 0010 1010 1101 0001 0100 1011 OBJETIVO 1 2 • Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação 4 O trecho a seguir é de uma carta de uma coordenadora pedagógica a outra. Leia-o para responder as questões a seguir. 0011 0010 1010 1101 0001 0100 1011 "Alguns dos alunos da 8ª série que estão com notas vermelhas em História me procuraram para dizer que as provas são fogo! As perguntas exigem informações nem sempre trabalhadas em aula. Observando as atividades de sala, percebi que eram questionários com respostas transcritas do livro didático, exigindo a localização de informações - e não uma reflexão decorrente da análise ou comparação entre os fatos e os conceitos trabalhados. E as provas continham perguntas abertas que exigiam estabelecimento de relações entre fatos, conceitos e dados da realidade. Como o professor pretende que os alunos possam responder a tais questões se as habilidades necessárias para respondê-las não são trabalhadas regularmente? Esses acontecimentos têm me feito pensar: por que será que é tão difícil aceitar que os resultados obtidos por nossos alunos dependem, em boa parte, do trabalho que desenvolvemos em sala de aula?" 1 2 4 Trecho adaptado da publicação Cartas aos Professores Coordenadores Pedagógicos: Dilemas da Prática Cotidiana, São Paulo, SE/CENP, 1999. 3º MOMENTO: SISTEMATIZAÇÃO Atividade 1 a) Identifique as 0100 concepções de avaliação presentes 0011 0010 1010 1101 0001 1011 no texto e comente-as. O professor aposta no desenvolvimento de conteúdos(produto demonstrado pelo aluno em situações definidas pelo professor e materializado na nota), e o coordenador no de habilidades(preocupação com a apropriação do saber (aprendizagem). O primeiro focalizou o trabalho em uma habilidade que está mais relacionada ao acúmulo de informações. 1 2 4 O professor foca atividades transcritas do livro e não estimula a reflexão. (avaliação voltada para o controle de atividades , não necessariamente geradora de conhecimento) O professor acredita que a aprendizagem de 0011 0010 1010 1101 0001vai 0100garantir 1011 conteúdos a aprendizagem de determinadas habilidades. A avaliação escolar deve servir para verificar o que o aluno aprendeu daquilo que foi ensinado.(avaliação como verificação) 1 2 4 • O que caracteriza melhor uma avaliação externa e em larga escala é o foco em habilidades que deveriam ter sido consolidadas ao longo da escolaridade. b) O que norteou o planejamento da prova do professor? 0011 0010 1010 1101 0001 0100 1011 O professor treinou uma habilidade mais relacionada à aquisição do conteúdo,menos complexa, e planejou a prova considerando habilidades mais complexas. 1 2 4 c) O que é possível avaliar em uma prova? 0011 0010 1010 1101 0001 0100 1011 Habilidades cognitivas (competência + conteúdo) intermediados pela leitura e pela escrita. É importante compreender que a avaliação tem restrições. (procedimentos e atitudes não observáveis em provas escritas) 1 2 4 d) Como saber se uma prova é difícil ou fácil demais? 0011 0010 1010 1101 0001 0100 1011 (C) A maioria dos alunos faz a prova no tempo estimado e acerta boa parte das questões. • 1 2 O grau de dificuldade e de desafio adequado está no equilíbrio entre habilidades, nível de dificuldade, número e extensão das questões relacionados ao tempo de realização da prova. 4 UMA BOA PROVA 0011 0010 1010 1101 0001 0100 1011 • Está pautada em habilidades cognitivas. • Tem questões com grau de dificuldade e desafios adequados à etapa de escolaridade. • Considera a relação entre a quantidade de questões e o tempo de realização da prova. 1 2 4 PORTANTO... é preciso PLANEJAMENTO Atividade 2 CONCEPÇÕES DE AVALIAÇÃO 0011 0010 1010 1101 0001 0100 1011 AVALIAÇÃO COMO EXAMES E PROVAS AVALIAÇÃO COMO MEDIDA AVALIAÇÃO COMO INSTRUMENTO PARA CLASSIFICAÇÃO E REGULAÇÃO DO DESEMPENHO DO ALUNO (SOMATIVA E FORMATIVA) AVALIAÇÃO COMO INSTRUMENTO QUALITATIVO 1 2 4 4º MOMENTO - O contexto de surgimento das avaliações externas e em larga escala 0011 0010 1010 1101 0001 0100 1011 OBJETIVO 1 2 Conhecer o processo histórico das avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP. 4 Segundo Menezes Filho (2007) no Brasil: • Dos anos 1970 até meados dos anos 1990, aumentou o acesso dos alunos a escola. • Em 1990, ocorre a necessidade de avaliações externas e em larga escala para acompanhar a evolução da qualidade do ensino – SAEB. • Detectou-se que a qualidade do ensino oferecido na escola pública é muito baixa. 0011 0010 1010 1101 0001 0100 1011 1 2 4 As avaliações externas e em larga escala 0011•0010 1010-1101 0001 0100 1011 PISA O programa de avaliação começou em 2000 com o objetivo de fornecer aos países participantes indicadores educacionais que possam ser comparados internacionalmente. 1 2 • SAEB – Realizado a cada dois anos e avalia uma amostra representativa dos alunos regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino médio, de escolas públicas e privadas, localizadas em área urbana ou rural. A partir de 1995, muda a metodologia permitindo a comparabilidade entre os anos – utilização da TRI. 4 • Prova Brasil – Criada em 2005, avalia todos os alunos dos 4º e 8º anos do 0011 0010 1010 1101 0001 0100 1011 Ensino Fundamental, utiliza os mesmos parâmetros do SAEB. 1 2 • SARESP – Criado em 1996 para obter informações consistentes, periódicas e comparáveis ao longo do tempo, porém somente a partir da prova de 2008 adota a TRI. 4 • Prova São Paulo – Criada em 2007, para avaliar o sistema de ensino da Cidade de São Paulo e o desempenho dos alunos nas disciplinas de 0011 0010 1010 1101 0001 0100 1011 Matemática e de Língua Portuguesa, desde a sua primeira edição utiliza a metodologia da TRI. • Prova da Cidade – Criada em 2009, instrumento pedagógico para professores e para gestores das escolas realizarem um diagnóstico do processo de aprendizagem do 1º semestre de cada ano letivo em que a prova se realiza e que possa fornecer subsídios para o replanejamento do 2º semestre sem finalidades classificatórias e sem pretensão de utilização de seus resultados para composição de índices ou indicadores de desenvolvimento educacional 1 2 4 5° MOMENTO: LEITURA E REFLEXÃO 0011 0010 1010 1101 0001 0100 1011 Objetivo • Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar. 1 2 Atividades • Realizar a leitura compartilhada do artigo “Avaliação não é ameaça”, de Luis Carlos de Menezes • Assistir ao vídeo “Zea” 4 A avaliação externa e em larga escala permite a classificação de habilidades cognitivas da escola e pode oferecer parâmetros novos 0011 0010 1010 1101 0001 0100 1011 (olhar distanciado), ao passo que a avaliação interna detém a dimensão processual e permite a análise mais abrangente das habilidades, tanto daquelas que podem ser avaliadas em provas quanto daquelas que não podem (atitudinais, procedimentais, conceituais). 1 2 4 Elas podem ser complementares ou não? Como? • Devem ser complementares, porque a avaliação externa permite outro olhar e, como qualquer outra prova, não é um instrumento suficiente por si só para a apreensão da complexidade do processo de aprendizagem. 0011 0010 1010 1101 0001 0100 1011 1 2 4 6° MOMENTO: AVALIAÇÃO DO ENCONTRO 0011 0010 1010 1101 0001 0100 1011 • Elaborar, por grupo, até três perguntas sobre este encontro. 1 2 4 7° MOMENTO: TAREFA Objetivo 0011 0010 1010 1101 0001 0100 1011 • Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade. Atividade • Produzir um registro reflexivo sobre como os resultados de uma avaliação externa e de larga escala podem ser utilizados para a melhoria do processo de ensino e de aprendizagem em sua escola, a partir da questão: Como os resultados da avaliação interna e da Prova São Paulo estão contemplados nos planos de ensino e no projeto pedagógico da escola? 1 2 4 Bibliografia 0011 0010 1010 1101 0001 0100 1011 CHUEIRI, M. S. F. Concepções sobre a Avaliação Escolar. Estudos em Avaliação Educacional. v. 19, nº 39, jan/abr. 2008. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1418/1 418.pdf Acesso em 10/08/2010. 1 2 4 MENEZES, L. C. Avaliação não é ameaça. Revista Nova Escola. Disponível em: http://revistaescola.abril.com.br/planejamento-eavaliacao/avaliacao/avaliacao-nao-ameaca-424491.shtml. Acesso em: 29/07/2010. MENEZES FILHO, N. (São Paulo). Ibmec e Fea SP. Os determinantes do desempenho escolar do Brasil. Disponível em: http://74.125.155.132/scholar?q=cache:4CRbxpwgVWwJ: scholar.google.com/+. Acesso em: 04 ago. 2010. 0011 0010 1010 1101 0001 0100 1011 1 2 PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de pesquisa, nº 119, p. 9-27, julho/2003. Disponível em: http://www.scielo.br/pdf/cp/n119/n119a01.pdf. Acesso em: 29/07/2010. 4 AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO: 0011 0010 1010 1101 0001 0100 1011 1 2 4 DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010 PAUTA • 1° MOMENTO: Apresentação do Curso Objetivo: Apresentar os objetivos e o formato do curso, os 0011 0010 1010 1101 e0001 0100 1011 em relação ao processo. formadores as expectativas • 2° MOMENTO: Problematização Objetivo: Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem. 1 2 • 3° MOMENTO: Sistematização Objetivo: Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar. 4 • 4° MOMENTO: Desafios Objetivo: Diferenciar matriz de avaliação de matriz curricular. • ALMOÇO • 5° MOMENTO: Explanação Objetivo: Conhecer a escala de proficiência (Anexo 3) e sua importância na avaliação, 0011 0010 1010 1101 0001 0100 1011na interpretação e na análise dos resultados. • 6° MOMENTO: Oficina Objetivo: Reconhecer a importância da análise pedagógica dos resultados a partir da escala de proficiência. • 7° MOMENTO: Avaliação do encontro 1 2 4 • 8° MOMENTO: Tarefa Objetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade. Módulo I Tema: Matriz de Avaliação e Matriz Curricular, Escala de Proficiência 0011 0010 1010 1101 0001 0100 1011 e Análise Pedagógica de resultados OBJETIVOS 1 2 • Conhecer as concepções de competências e habilidades que norteiam a avaliação externa e em larga escala na Rede Municipal; 4 • Compreender a noção de matriz curricular e de matriz de avaliação; OBJETIVOS 0011 0010 1010 1101 0001 0100 1011 • Utilizar a escala de proficiência como referência para interpretação dos resultados da avaliação externa e de larga escala; 1 2 • Reconhecer a importância da interpretação e da análise dos resultados da avaliação externa e de larga escala para intervenções pedagógicas. 4 CONTEÚDOS 0011 0010 1010 1101 0001 0100 1011 • Competências e habilidades cognitivas; • Matriz de Referência para a Avaliação do Rendimento Escolar; • Escala de proficiência; • Análise pedagógica de resultados. 1 2 4 2° MOMENTO: Problematização 0011 0010 1010 1101 0001 0100 1011 OBJETIVOS 2 Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem. 1 4 Atividade A 0011 0010 1010 1101 0001 0100 1011 Ler o texto “Introdução” (O problema de Roberto), de Raths (1977), para responder as questões propostas a seguir: a) Quais são os problemas apresentados nas respostas dadas pelo aluno Roberto? b) Como é que você poderia começar a mostrar a Roberto que as situações que ele via como semelhantes na realidade não tinham relação entre si? 1 2 4 RESPOSTAS • Roberto não era0100 capaz 0011 0010 1010 1101 0001 1011 de aplicar princípios de lógica em seu trabalho escolar. Não tinha experiência de pensamento. (RATHS: 1977, 55). • Se tivesse feito muitos exercícios que exigissem comparação, talvez fosse capaz de ver as diferenças entre norte e sul dos Estados Unidos e norte e sul da África. Se tivesse tido muitas experiências em que precisasse sugerir hipóteses, talvez tivesse outras razões para explicar por que a pia estava entupida. Se tivesse mais habilidade para observar e classificar, talvez pudesse ter compreendido a relação entre carne e protozoários, a relação entre dinossauros, lagartos e répteis. (RATHS: 1977, 55). 1 2 4 Atividade B 0011 0010 1010 1101 0001 0100 1011 Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. 1 2 • Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. • Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto? 4 Atividade B 0011 0010 1010 1101 0001 0100 1011 Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. 1 2 • Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. • Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto? 4 • Professor B – Acredita que, quando realiza um 0011 0010 1010 1101 0001 0100 1011 trabalho eficiente para ensinar determinada habilidade, a maior capacidade para pensar ocorre mais ou menos simultaneamente, à medida que a criança aprende a habilidade ensinada. • Questionamento de Raths: Se o bom ensino nas várias disciplinas aumenta automaticamente a capacidade para pensar, o que terá ocorrido com esse menino e com outros na mesma situação? 1 2 4 • Professor C – Acredita que, durante o ensino, surgem alguns momentos em que se promove o pensamento. Usualmente, tais momentos não são planejados. 0011 0010 1010 1101 0001 0100 1011 • Questionamento de Raths: Episódios não planejados de ensino, por mais eficientes e inspirados que sejam, podem ser considerados adequados para o desenvolvimento de habilidades? 1 2 • Professor D – Acredita que as habilidades para pensar se desenvolvem na criança apenas porque são humanas e, por isso, o professor não precisa se preocupar com a focalização do currículo no pensamento (do pensamento no currículo). • Questionamento de Raths: Será que esse professor pode explicar a imaturidade de pensamento de Roberto? 4 3° MOMENTO: Sistematização 0011 0010 1010 1101 0001 0100 1011 Objetivo 1 2 Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar 4 Sistematização 0011 0010 1010 1101 0001 0100 1011 • Percebe-se que operações de pensamento estão relacionadas às competências cognitivas, como: identificar, observar, comparar, classificar, levantar hipóteses, relacionar, interpretar, inferir, resumir, entre outras. 1 2 4 • Competências cognitivas – conjunto de ações e operações mentais que o sujeito 0011 0010utiliza 1010 1101 0001 0100 1011 estabelecer para relações (pensamento). • As habilidades cognitivas traduzem as associações entre conteúdos e competências e funcionam como indicadores ou descritores do que o aluno deve demonstrar como desempenho, além de possibilitar que se verifique se houve de fato aprendizagem e em que grau (nível) de complexidade ela ocorreu. 1 2 4 • Mayer e Salovey (apud PRIMI: 2001) fazem uma distinção importante entre habilidade (referindo-se a ela como aptidão) e competência. 0011 0010 1010 1101 0001 0100 1011 Os autores argumentam que a habilidade representa o potencial que se expressa, concretamente, em realizações ou desempenhos, envolvendo a apresentação de respostas corretas para problemas e conhecimento de determinado conteúdo. A competência, nesta concepção, indicaria um nível padronizado de realização, o que implicaria em dizer que a realização atingiu um determinado nível. Esta distinção relaciona os conceitos: habilidade, conteúdo e nível de realização. 1 2 4 A habilidade, no sentido utilizado por Carroll (apud PRIMI: 2001), pressupõe a idéia de potencial de 0011 0010 1010 1101 0001 0100 1011 realização, ou seja, a existência de uma relativa facilidade em lidar com informações e com problemas de uma determinada classe ou conteúdo. O investimento deste potencial em experiências de aprendizagem pode conduzir à maestria, que envolve um conhecimento organizado sobre um determinado tema. 1 2 4 4° MOMENTO: Desafios 0011 0010 1010 1101 0001 0100 1011 OBJETIVO • Diferenciar matriz de avaliação de matriz curricular 1 2 4 4° MOMENTO: Desafios • Atividade 0011 0010 1010 1101 0001 0100 1011 Propor que cada grupo solucione os desafios seguintes, criando diferentes propostas: 1 2 1. Que tarefa cognitiva o aluno deve realizar para responder o item? 2. A qual conteúdo essa tarefa está relacionada? 4 EXEMPLO DE ITENS DE MATEMÁTICA – ANEXO 2 0011 0010 1010 1101 0001 0100 1011 QUAL A DIFERENÇA ENTRE O NÚMERO DO SALGADO MAIS VENDIDO E O NÚMERO DO MENOS VENDIDO? A) 350. B) 500. C) 850. D) 6 050. 1 2 4 TAREFA COGNITIVA: LER E INTERPRETAR DADOS EM GRÁFICOS CONTEÚDO: GRÁFICO (REPRESENTAÇÃO NO PLANO CARTESIANO) COMPETÊNCIA: LER E INTERPRETAR O RESULTADO DE 246 -129 É: 0011 0010 1010 1101 0001 0100 1011 A) 117. B) 127. C) 123. D) 163. TAREFA COGNITIVA: CALCULAR SUBTRAÇÃO CONTEÚDO: SUBTRAÇÃO COMPETÊNCIA: CALCULAR O 1 RESULTADO 2 DA 4 EXEMPLO DE ITENS DE LÍNGUA PORTUGUESA – ANEXO 2 0011 0010 1101 0001 0100 1011 Leia 1010 o texto e responda à questão. Meu cardápio Café da manhã Leite e pão com manteiga. Almoço Feijão, arroz, carne e batata. Jantar Sopa e cachorro quente. O texto é A) um anúncio. B) uma carta. C) uma lista. 1 2 4 0011 0010 1010 1101 0001 0100 1011 TAREFA COGNITIVA: Classificar os gêneros textuais, considerando aspectos de sua diagramação, gráficos e textuais. CONTEÚDO: COMPOSIÇÃO DOS GÊNEROS TEXTUAIS COMPETÊNCIA: CLASSIFICAR 1 2 4 Leia o texto e responda à questão. AVIÃOZINHO 0011 0010 1010 1101 0001 0100 1011 Esse texto serve para A) convidar as crianças para um passeio. B) dar instruções para fazer um brinquedo. C) estimular a compra de um brinquedo. D) informar sobre os meios de transporte. 1 2 4 TAREFA COGNITIVA: Reconhecer a finalidade dos gêneros textuais das diferentes esferas de circulação. CONTEÚDO: finalidade dos gêneros textuais COMPETÊNCIA: reconhecer • A Matriz Curricular direciona o currículo de uma instituição de ensino, leva em conta as 0011 0010 1010 1101 0001 de 0100ensino 1011 concepções e de aprendizagem da área e apresenta objetivos, conteúdos, metodologias e processos de avaliação. 1 2 • A Matriz de Referência para Avaliação também leva em conta as concepções de ensino e aprendizagem da área, mas é composta apenas por um conjunto delimitado de competências e habilidades definidas em unidades denominadas “descritores” que, na disciplina de Matemática, estão agrupadas por áreas temáticas, e, em Língua Portuguesa, por blocos de conteúdos. 4 • A Matriz Curricular é um documento prescritivo, que direciona o ensino, insere-se no Projeto Pedagógico da instituição e é construída 0011 0010 1010 1101 0001 0100 1011 coletivamente pela comunidade escolar, com base em orientações curriculares da área indicadas por órgãos oficiais. 1 2 • A Matriz de Referência de Avaliação é um documento descritivo, no geral, escrito por técnicos, que leva em consideração documentos curriculares oficiais. É um “recorte” de uma Matriz Curricular que não direciona o ensino, mas que delimita o que vai ser avaliado na prova a ser realizada em um programa de avaliação em larga escala (externa). 4 • A Matriz de Referência para Avaliação tem a finalidade de embasar itens de avaliação que usem contextos que possibilitem aos estudantes explorar, de modo 0011 0010 1010 1101 0001 0100 1011 significativo, conceitos, procedimentos e habilidades considerados básicos para o final de uma etapa da escolaridade do Ensino Fundamental. 1 2 • Uma limitação da Matriz de Referência para Avaliação ocorre no momento em que ela dá origem a itens em forma de teste de múltipla escolha. Nem sempre todos os conteúdos conceituais, procedimentais e atitudinais importantes de serem desenvolvidos pelos professores em sala de aula e apontados em Matrizes Curriculares podem ser abordados em forma de testes de múltipla escolha. 4 Matriz curricular e matriz de avaliação 0011 0010 1010 1101 0001 0100 1011 Matriz Curricular Proposição de expectativas de aprendizagem Preocupação com a metodologia de trabalho didático Definição de um campo de possibilidades de abordagem de conteúdos Organização por eixos temáticos Matriz de Avaliação Proposição de parâmetros de avaliação 1 Preocupação com determinadas tarefas cognitivas 2 4 Definição de conteúdos a serem avaliados Diálogo dos conteúdos com os eixos temáticos 0011 0010 1010 1101 0001 0100 1011 • ALMOÇO 1 2 4 5° MOMENTO: Explanação 0011 0010 1010 1101 0001 0100 1011 OBJETIVO 1 2 Conhecer a escala de proficiência e sua importância na avaliação, na interpretação e na análise dos resultados 4 ESCALA/NÍVEIS DE PROFICIÊNCIA 0011 0010 1010 1101 0001 0100 1011 2007 0... 100 125 150 175 200 225 ... 1 2008 Não Satisfatório 2009 Abaixo do Básico Básico 500 2 4 Adequado Avançado PROVA SÃO PAULO - EVOLUÇÃO DAS DESCRIÇÕES DAS PROFICIÊNCIAS ESCALA SAEB 100 125 150 175 200 225 250 275 300 325 350 375 300 325 350 375 2007 2008 L P / M A T 2ºCI 4º CI 0011 2º CII0010 1010 1101 0001 0100 1011 4º CII 2009 L Í N G U A 2º CI P O R T. 2º CII M A T E M Á T I C A 100 115 125 135 150 165 175 185 190 200 210 215 225 240 250 100 115 125 135 150 165 175 185 190 200 210 215 225 240 250 265 275 290 3º CI 4º CI 1º CII 3º CII 4º CII 2º CI 3º CI 4º CI 1º CII 2º CII 3º CII 4º CII LEGENDA Pontos Descritos Não Satisfatório Níveis Abaixo do básico Básico 1 2 4 Adequado 265 275 290 300 Avançado 325 350 375 NÍVEIS DE PROFICIÊNCIA 0011 0010 1010 1101 0001 0100 1011 indicam um conjunto de habilidades correspondentes a um intervalo maior de pontos da escala de proficiência do SAEB; 1 2 4 recebem uma denominação qualifica o conjunto de habilidades. que Os quatro níveis de proficiência • Abaixo do básico – os alunos neste nível demonstram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram. 0011 0010 1010 1101 0001 0100 1011 • Básico – os alunos neste nível demonstram desenvolvimento parcial dos conteúdos, competências e habilidades requeridas para o ano em que se encontram. 1 2 • Adequado – os alunos neste nível demonstram domínio dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram. 4 • Avançado – os alunos neste nível demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido no ano escolar em que se encontram. Níveis de Proficiência Língua Portuguesa 0011 0010 1010 1101 0001 0100 1011 Ano / Ciclo Abaixo do Básico Básico Adequado 2º ano Ciclo I <115 de 115 a < 150 de 150 a < 200 3º ano Ciclo I <135 de 135 a < 175 de 175 a < 225 4º ano Ciclo I <150 de 150 a < 200 de 200 a < 250 1º ano Ciclo II <165 de 165 a < 215 de 215 a < 265 2º ano Ciclo II <175 de 175 a < 225 de 225 a < 275 3º ano Ciclo II <185 de 185 a < 250 de 250 a < 300 4º ano Ciclo II <200 de 200 a < 275 de 275 a < 325 Avançado 1 2 ≥200 ≥225 ≥250 4 ≥265 ≥275 ≥300 ≥325 Níveis de Proficiência Matemática 0011 0010 1010 1101 0001 0100 1011 Ano / Ciclo 2º ano Ciclo I Abaixo do Básico Básico Adequado Avançado <125 de 125 a < 175 de 175 a < 225 ≥ 225 3º ano Ciclo I <150 de 150 a <200 de 200 a < 250 4º ano Ciclo I <175 de 175 a < 225 de 225 a < 275 1º ano Ciclo II <190 de 190 a < 240 de 240 a < 290 2º ano Ciclo II <200 de 200 a < 250 de 250 a < 300 3º ano Ciclo II <210 de 210 a < 275 de 275 a < 325 4º ano Ciclo II <225 de 225 a < 300 de 300 a < 350 1 2 ≥ 250 ≥ 275 4 ≥ 290 ≥ 300 ≥ 325 ≥ 350 6° MOMENTO: Oficina 0011 0010 1010 1101 0001 0100 1011 OBJETIVO 1 2 Reconhecer a importância da análise pedagógica dos resultados a partir da escala de proficiência. 4 Atividade 0011 0010 1010 1101 0001 0100 1011 • Identificar na escala o que deve ser trabalhado com o aluno a partir da sua proficiência. 1 2 4 7° MOMENTO: Tarefa 0011 0010 1010 1101 0001 0100 1011 Atividade • Selecionar e analisar o 3º item de Matemática e o 3º item de Língua Portuguesa (ANEXO 2), considerando: tarefa cognitiva exigida; grau de dificuldade; ponto na escala de proficiência; nível de proficiência; uma possível intervenção pedagógica, levando em conta a matriz curricular e a matriz de referência para avaliação. 1 2 4 8° MOMENTO: Avaliação do encontro 0011 0010 1010 1101 0001 0100 1011 • Elaborar, por grupo, até três perguntas sobre este encontro. 1 2 4 Bibliografia 0011 0010 1010 1101 0001 0100 1011 PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de Pesquisa, n. 119, p. 9-27. julho/2003. Disponível em: http://www.scielo.br/pdf/cp/n119/n119a01.pdf. Acesso em 10/08/2010. PRIMI, R. et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia: teoria e pesquisa. Brasília, mai-ago 2001, vol. 17, nº 2, pp. 151-159. RATHS, Louis E. et al. Ensinar a pensar: teoria e aplicação. 2ª ed. São Paulo: E.P.U., 1977. São Paulo (SP). Secretaria Municipal de Educação. Matrizes de referência para avaliação do rendimento escolar/ Secretaria Municipal de Educação. São Paulo: SME, 2007. -----------------------. Secretaria Municipal de Educação. Relatório de Análises Técnico-Pedagógicas. São Paulo: SME, 2009. 1 2 4 AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO: 0011 0010 1010 1101 0001 0100 1011 1 2 4 DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010 PAUTA 1° MOMENTO: 30 min – 9h às 9h30min Apresentação do Curso 2° MOMENTO: 60 min – 9h30min às 10h30min Estudo de caso 0011 0010 1010 1101 0001 0100 1011 3° MOMENTO: 60 min – 10h30min às 11h30min Estudo de caso 4° MOMENTO: 30 min – 11h30min às 12h Sistematização de conceitos 5° MOMENTO: 90 min – 13h às 15h Oficina 6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro 7° MOMENTO: 30 min – 15h30min às 16h Tarefa 1 2 4 Tema: TEORIA DA RESPOSTA AO ITEM 0011 0010 1010 1101 0001 0100 1011 OBJETIVOS • Compreender os limites da TCT e por que a TRI é considerada um instrumento poderoso nos processos quantitativos da avaliação educacional em larga escala, embora seja um modelo matemático; • Entender as informações obtidas com esses processos – escala de proficiência, item calibrado etc. 1 2 4 Tema: TEORIA DA RESPOSTA AO ITEM 0011 0010 1010 1101 0001 0100 1011 CONTEÚDOS • • • • 1 Limites da Teoria Clássica dos Testes; Teoria da Resposta ao Item; Item calibrado; Escala de proficiência. 2 4 SÍNTESE DOS ESTUDOS DE CASO 1 0011 0010 1010 1101 0001 0100 1011 • Comparar acertos nas provas com e sem peso: Davi=> Omar => Lia => Pedro => Igor => somente erra uma fácil Neide =>acerta fáceis e uma difícil Jo=> acerta difíceis e erra fáceis 1 2 4 • O processo de avaliação envolve sempre um julgamento que pode ser dado por definição (conceitos) ou subentendido, quando conhecemos o valor inicial e final do intervalo; • Como avaliamos conhecimentos, os resultados devem retratar os níveis de conhecimentos dos alunos, que se apresentam de forma hierárquica: escores/notas ou conceitos; SÍNTESE DOS ESTUDOS DE CASO 2 0011 0010 1010 1101 0001 0100 1011 • Quando valorizamos a qualidade do acerto, os alunos que acertam a questão difícil recebem notas diferentes, • As mesmas questões recebem nível de dificuldade diferenciados nas turmas. Para poder comparar as duas turmas, a professora tem que montar uma única tabela, considerando cada questão fácil ou difícil, a partir das respostas das duas populações; • Mostrar anexo 4; • Ainda não permite identificar acertos e erros aleatórios. • LEITURA COMPARTILHADA DO ANEXO 3 1 2 4 TEORIA DA RESPOSTA AO ITEM • 0010 A 1010 Teoria da0001 Resposta 0011 1101 0100 1011ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis) de um indivíduo com a probabilidade deste dar uma certa resposta a um item; 1 2 • O que pode ser um traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, Indicadores etc.; • Item: questão (prova), pergunta (questionário sobre qualidade de vida); 4 TEORIA DA RESPOSTA AO ITEM A partir de um conjunto de itens (questionário, prova...) 0011 0010 1010 1101 0001 0100 1011 deseja-se: – estimar os parâmetros dos itens (calibração) – “estimar” a habilidade, proficiência, grau de satisfação, grau de maturidade... 1 2 Exemplos: prova de matemática para alunos de uma determinada turma, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico...) etc. 4 TEORIA DA RESPOSTA AO ITEM • 0010 A TRI que1011 a 0011 1010considera 1101 0001 0100 proficiência do aluno é uma variável latente – são variáveis que não podem ser diretamente observadas, mas inferidas através de outras variáveis que podem ser mensuradas; 1 2 • Coloca itens e pessoas na mesma escala de desempenho; – cada aluno só responde a um número razoável de questões que não cobre todo o currículo previsto para a sua série – diferentes cadernos de provas, organizados de acordo com o planejamento em blocos balanceados – procedimentos que permitem uma abrangência significativa do currículo ensinado 4 TEORIA DA RESPOSTA AO ITEM 0011 0010 1010 1101 0001 0100 1011 • É um modelo estruturado para determinar escores que não dependam da dificuldade do teste para descrever a habilidade dos alunos: – a proficiência do aluno é independente dos itens respondidos, apesar de ser estimada a partir dos itens respondidos; – quanto maior o número de itens e mais diversificadas as suas tipologias, melhor a estimativa da proficiência; – exige grande variabilidade de desempenhos para a estimativa das habilidades. 1 2 4 Modelo Logístico de 3 parâmetros 0011 0010 1010 1101 0001 0100 1011 • Dependem do tipo de item • Item de múltipla escolha (corrigido como certo/errado) 1 – Logístico (unidimensional) com 1, 2 ou 3 parâmetros P( U ij 1 | j ) ci ( 1 ci ) 2 4 1 1 e ai ( j bi ) Modelo Logístico de 3 parâmetros probabilidade de resposta correta Curva característica do item - CCI 0011 0010 1010 1101 0001 0100 1011 1,0 a 0,8 0,6 0,4 0,2 0,0 -4,0 iiiiiiii 1 c b -3,0 -2,0 -1,0 0,0 1,0 habilidade (traço latente) 2,0 2 4 3,0 4,0 a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade) Modelo Logístico de 3 parâmetros probabilidade 0011 0010 1010 1101 0001 0100 1011b=1,2; c=0,2) (a=2,5; 1 0,8 0,6 1 0,4 0,2 0 -6 -5 -4 -3 -2 -1 0 1 2 habilidade(traço latente) P1 P0 2 4 3 4 5 6 Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI Utiliza o total de pontos (brutos ou Estima 0011 padronizados) 0010 1010 1101 0100 1011 no0001 teste. Aplica métodos e técnicas da a proficiência (desempenho) dos alunos pela probabilidade de acerto ao item. Estatística Descritiva → trabalha Hipótese da TRI: existe uma 1 2 com proporções e coeficientes de função de regressão não linear correlação para medir a qualidade que descreve a relação entre a das questões/testes. probabilidade de dar 4 uma resposta correta ao item e o nível de habilidade do aluno. Teoria Clássica dos Testes - TCT Os resultados dependem Teoria de resposta ao Item - TRI do Utiliza o Modelo Logístico de 3 conjunto de itens que compõe a parâmetros. 0011 0010 1010 1101 0001 0100 1011 prova e das características dos Estima, alunos. entre outros, os seguintes índices/parâmetros: Estima, entre outros, os seguintes • poder de discriminação do item; índices/parâmetros: • percentual de acerto; • índice de discriminação (bisserial); 1 2 • dificuldade de cada questão; • probabilidade acaso. de acerto 4 ao • percentual de acerto no item, dos Permite a construção de uma alunos de pior desempenho; • percentual de acerto no item, dos alunos de melhor desempenho. escala de proficiência. Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI Sua principal desvantagem no Sua principal vantagem no caso de uma avaliação em 1011 larga 0011 caso 0010 de 1010 1101 0001 0100 uma avaliação em larga escala e escala e periódica: Os dados periódica: gerados por uma prova ou independentes conjunto utilizada e dos testes aplicados, variar de itens quando podem aplicados a Fornece resultados da amostra 1 2 permitindo comparabilidade entre outra população. Não permite anos a os Permite a comparação entre os resultados de alunos que não resultados de alunos submetidos foram submetidos à mesma a outra prova/teste do mesmo prova/teste. tipo. comparação entre e séries avaliadas. 4 Para cada questão é apresentada uma tabela: HAB. NÍVEL GAB DIFI 0011 0010 13 1010 1101 1011 300 0001B01000.27 DISCR 0.34 PERCENTUAIS DE RESPOSTAS A B C D c 0.17 0.27 0.46 0.09 0,22 ABAI ACIM BISE 0.12 0.46 0.37 COEFICIENTES BISSERIAIS A B C D 1 0.01 0.37 -0.21 -0.25 2 • HABILIDADE: o item refere-se à habilidade de número 13 na matriz. • NÍVEL: a questão em foco está no conjunto de itens da prova que definem o nível 300 de proficiência. • GAB: gabarito da questão - alternativa correta. 4 HAB. NÍVEL GAB DIFI DISCR 13 300 B 0.27 0.34 0011 0010 1010 1101 0001 0100 1011 PERCENTUAIS DE RESPOSTAS A B C D c 0.17 0.27 0.46 0.09 0,22 ABAI ACIM BISE 0.12 0.46 0.37 COEFICIENTES BISSERIAIS A B C D 0.01 0.37 -0.21 -0.25 1 2 • DIFI: índice de dificuldade (facilidade) - definido pela porcentagem de alunos que acertaram a questão. – Se este índice é maior que 0,70, o item é considerado fácil; se for menor que 0,30, um item difícil e, entre estes dois valores, uma questão de nível de dificuldade médio. 4 HAB. NÍVEL GAB DIFI DISCR 13 300 B 0.27 0.34 0011 0010 1010 1101 0001 0100 1011 PERCENTUAIS DE RESPOSTAS A B C D c 0.17 0.27 0.46 0.09 0,22 ABAI ACIM BISE 0.12 0.46 0.37 COEFICIENTES BISSERIAIS A B C D 0.01 0.37 -0.21 -0.25 1 2 • DISCR: índice de discriminação – mede se o item separou bem os alunos de melhores daqueles de piores desempenhos. – Uma questão com índice de discriminação maior do que 0,25 separa bem estes grupos; é um bom item. 4 HAB. NÍVEL GAB DIFI DISCR 13 300 B 0.27 0.34 0011 0010 1010 1101 0001 0100 1011 PERCENTUAIS DE RESPOSTAS A B C D c 0.17 0.27 0.46 0.09 0,22 ABAI ACIM BISE 0.12 0.46 0.37 COEFICIENTES BISSERIAIS A B C D 0.01 0.37 -0.21 -0.25 1 2 • ABAI: indica o percentual de acerto no item dos alunos de pior desempenho. • ACIM: indica o percentual de acerto no item, dos alunos de melhor desempenho. • BISE: coeficiente bisserial entre o número de acertos na prova e o número de acertos no item. Para um item ser considerado bom, seu coeficiente bisserial deve ser maior do que 0,30. 4 HAB. NÍVEL GAB DIFI DISCR 13 300 B 0.27 0.34 0011 0010 1010 1101 0001 0100 1011 PERCENTUAIS DE RESPOSTAS A B C D c 0.17 0.27 0.46 0.09 0,22 ABAI ACIM BISE 0.12 0.46 0.37 COEFICIENTES BISSERIAIS A B C D 0.01 0.37 -0.21 -0.25 1 2 • c: índice de acerto casual: probabilidade de acerto ao acaso, que indica a chance de acerto do item ao acaso, sem o conhecimento e a construção da habilidade requerida (acerto pelo "chute"). 4 • COEFICIENTES BISSERIAIS DAS ALTERNATIVAS: na alternativa correta, este coeficiente deve ser positivo, e, nos distratores, negativo. Escala Nacional de Proficiência – INEP/MEC 0011 0010 1010 1101 0001 0100 1011 250 225 250 275 1 2 “Régua” (métrica) criada a partir dos resultados do SAEB 4 - Média 250 (rendimento médio dos alunos da 8ª Série em 1997); - Desvio padrão 50 – intervalos com metade do valor do desvio padrão; - Interpretação pedagógica da escala. TRI 0011 0010 1010 1101 0001 0100 1011 1 itens Mais fáceis Mais difíceis Rui 2 Ana 3 Ari 4 Nei 5 Bia . . . . . . 256 330 mil alunos Menos proficientes 1 2 4 Mais proficientes CALIBRAÇÃO DO ITEM 0011 0010 1010 1101 0001 0100 1011 POSICIONAMENTO DO ITEM DE ACORDO COM ACERTO DOS ALUNOS ITEM CALIBRADO 125 ITEM CALIBRADO 130 1 2 4 ITEM CALIBRADO 225 6° MOMENTO: Avaliação do encontro 30 min – 15h às 15h30min 0011 0010 1010 1101 0001 0100 1011 • Elaborar, em grupos de 5 pessoas, até três perguntas sobre este encontro. 1 2 4 7° MOMENTO: Tarefa 30 min – 15h30min às 16h 0011 0010 1010 1101 0001 0100 1011 Objetivo Refletir sobre os tópicos estudados neste encontro, a partir da análise das práticas avaliativas da unidade. Atividade Trazer para o próximo encontro dois relatos de prática de professores da unidade sobre como organizam os instrumentos de avaliação e categorizam os níveis de conhecimento dos alunos de turmas/classes diferentes (precisam ser diferentes no método). 1 2 4 Bibliografia 0011 0010 1010 1101 0001 0100 1011 • ANDRADE, D. F; TAVARES, H. R.; VALLE, R. da C.Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, 2000. Disponível em: http://www.custosemedidas.ufsc.br/livroTRI.pdf. Acesso em: 02/08/2010. • PASQUALI, L. e PRIMI, R. Fundamentos da Teoria da Resposta ao Item – TRI, Avaliação Psicológica, 2003, 2, pp.99-100. • Esforço na resposta vale mais no ENEM. Jornal Zero Hora. RS. Disponível em: http://noticiasdarede.se.df.gov.br/2009/07/29/esforco-naresposta-vale-mais-no-enem. Acesso em: 30/07/2010. 1 2 4