ELABORAÇÃO DE ITENS PARA AVALIAÇÕES PADRONIZADAS Matemática - 30/11/2011 SME/ATP/NAE Pauta do 1º dia 1° MOMENTO: Apresentação da pauta e dos materiais 2º MOMENTO: Esclarecimento sobre o Perfil do Elaborador, da Matriz de Avaliação e da Estrutura do item 3° MOMENTO: Processo inicial de elaboração de itens SME/ATP/NAE Cronograma da turma 6 Encontros: – das 13h às 17h 01/10/2010 – das 13h às 17h 08/11/2010 – das 13h às 17h 30/09/2010 SME/ATP/NAE Objetivos •Identificar as características necessárias para um elaborador de itens; •Compreender aspectos específicos da Matriz de Referência de Avaliação em Matemática; •Reconhecer a habilidade e sua relação com a tarefa cognitiva; •Identificar a função de um item e suas diferentes formas de apresentação; •Identificar a estrutura do item de múltipla escolha; •Recomendações de elaboração de texto-base; •Apresentar o roteiro básico para a elaboração de itens. SME/ATP/NAE Conteúdos Matriz de avaliação em Matemática; Competências e habilidades em Matemática; Características do item de Matemática; Técnica para elaboração de itens de Matemática. SME/ATP/NAE O Perfil do Elaborador O elaborador deve ter domínio da área de conhecimento a ser avaliada. O elaborador deverá entender os processos de desenvolvimento e aprendizagem que caracterizam os estudantes para os quais o item será construído. O elaborador deve ter o domínio da linguagem verbal utilizada pelos estudantes para quem o teste será construído. SME/ATP/NAE Características do Item termo da Psicometria (testes psicológicos); “unidade básica de um instrumento de coleta de dados” procura avaliar uma única habilidade (procura isolar uma tarefa cognitiva); são submetidos a inúmeras regras, para não incorrer em análises equivocadas quanto à tarefa cognitiva observada. SME/ATP/NAE Elaboração de um item Matriz de Referência Descritor Conteúdos/Habilidades Cognitivas TEXTO-BASE ENUNCIADO ALTERNATIVAS Item Avalia um único Descritor SME/ATP/NAE Matriz de Avaliação de Matemática 1. 2. 3. 4. Orientações curriculares e expectativas de aprendizagem propostas por SME; Matrizes Curriculares de Referência para o SAEB; Avaliação do PISA; Matriz de Referência para a avaliação SARESP. SME/ATP/NAE Grupo I (esquemas presentativos) São as ações que tornam presente o objeto do conhecimento para o sujeito. São realizadas, principalmente, pelas seguintes habilidades: Identificar, localizar, descrever, constatar, reconhecer, representar. Competências que dizem respeito ao reconhecimento, à manipulação e à utilização da representação numérica ou da linguagem matemática. SME/ATP/NAE Grupo II (esquemas procedimentais) São as ações e operações que pressupõem o estabelecimento de relações com e entre os objetos. Isto significa que, na estrutura da inteligência, já se desenvolveram os procedimentos necessários para realizar as seguintes habilidades: classificar, organizar, ordenar, relacionar, comparar, relacionar, interpretar. Competências que se referem à manipulação de conceitos e algoritmos matemáticos (cálculos) e que envolvem leitura, análise e interpretação de informações de caráter quantitativo ou de relações qualitativas. Muitas vezes requerem mais de uma etapa de raciocínio. SME/ATP/NAE Grupo III (esquemas operatórios) Refere-se às ações e operações mais complexas que envolvem aplicação de conhecimentos e resolução de problemas inéditos. São realizadas pelas seguintes habilidades: analisar, aplicar, avaliar, criticar, explicar, concluir, supor. Competências que envolvem a tradução da situação apresentada para a linguagem matemática, seguida da escolha de uma estratégia para a resolução do problema matemático ou argumentação e, finalmente, a interpretação das soluções obtidas no contexto da situação-problema proposta. SME/ATP/NAE Conteúdos agrupados por Blocos temáticos Números Operações/Álgebra Espaço e forma Grandezas e medidas Tratamento da informação SME/ATP/NAE MATRIZ DE AVALIAÇÃO serve para orientar a construção do instrumento de avaliação (balanceamento das habilidades, construção e definição do grau de dificuldade do item); pressupõe aluno leitor; não considera todas as habilidades desenvolvidas em Matemática; não traz orientações metodológicas; avalia habilidades, cumulativamente. SME/ATP/NAE Estrutura básica de um item SME/ATP/NAE Texto base Deve ser motivador para o aluno, propor uma situação-problema; Ser formulado a partir da utilização de um ou mais textos-base, que poderão ser de dois tipos: formulados pelo próprio elaborador para o contexto do item; referenciados por publicações de apropriação pública. SME/ATP/NAE Enunciado O enunciado é a proposição da tarefa cognitiva a ser realizada; É composto de uma ou mais orações e não deve apresentar informações adicionais ou complementares ao texto-base, ao contrário, deverá considerar exatamente a totalidade das informações previamente oferecidas; Ele deve convocar o aluno para resolver o problema. SME/ATP/NAE Alternativas As alternativas de respostas não devem permitir que o aluno avalie a resposta correta, por isso o gabarito não pode dar margem a dúvidas. SME/ATP/NAE Gabarito O gabarito indica, inquestionavelmente, a única alternativa correta que responde à situação-problema proposta. SME/ATP/NAE Distratores Os distratores são respostas plausíveis; Eles devem atrair apenas quem não domina a habilidade requerida. SME/ATP/NAE Justificativas As justificativas fazem parte do protocolo de apresentação de um item, devendo ser formuladas separadamente para cada uma das alternativas; Visam não somente indicar qual a resposta correta e as incorretas, como também oferecer elementos que permitam compreender o acerto ou identificar as hipóteses utilizadas na resolução do item. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Selecione uma habilidade da Matriz de Referência. Construa a situação-problema, atentando-se para a realidade cotidiana do público-alvo. Dê preferência a fontes primárias, originais e sem adaptações, caso utilize textos-base referenciados, de acordo com as normas da ABNT. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Se o texto não for integral, deve-se identificá-lo como “fragmento”. Se o texto sofrer qualquer alteração, deve-se identificá-lo como “adaptado”. Utilize, preferencialmente, textos não muito extensos, levando em consideração o tempo de leitura do item durante a realização do exame. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Elabore itens inéditos (não publicados, divulgados ou utilizados em sala de aula). Elabore, sempre que possível, até três itens abordando o(s) mesmo(s) texto(s)base, desde que os itens contemplem diferentes habilidades. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Evite abordagens de temas ou citações que suscitem polêmicas (afirmações, situações, usos, exemplos, vocabulário, objetos, informações), sejam de viés cultural ou discriminação e preconceito em relação a gêneros, etnias, profissões, crenças, religiões etc.; não utilizar propaganda de produtos ou marcas. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Evite a abordagem de temas controversos entre os próprios especialistas da área. Evite utilizar ou redigir texto-base, enunciado e alternativas que possam induzir o participante do teste ao erro (“pegadinhas”), nem dicas que levem à resposta correta. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Elabore o enunciado: utilize termos impessoais como: ”considerase”, “calcula-se”, “argumenta-se” etc.; não utilize termos como: “falso”, “exceto”, “incorreto”, “não”, “errado”, uma vez que o importante é avaliar o que o estudante aprendeu, e não investigar sobre o que ele não aprendeu; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens não utilize termos como “sempre”, “nunca”, “todo”, “totalmente” ou outra expressão determinante; não utilize sentenças como: “Pode-se afirmar que”, É correto afirmar que”, “Qual das alternativas”, “A alternativa que indica”, etc; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Construa as alternativas: com paralelismo sintático e semântico, extensão equivalente e coerência com o enunciado; independentes umas das outras, de maneira que não sejam excludentes, negando informações do texto, nem semanticamente muito próximas; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens dispostas de maneira lógica (sequência narrativa, alfabética, crescente/decrescente etc.); não é permitido o falseamento de afirmações forçado pela inclusão de termos de negação como o emprego das palavras “NÃO” ou do prefixo “IN-“, “tudo”, “todas”, “geralmente”, “apenas”, entre outros; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens associações óbvias, ou opções que sejam idênticas ou semelhantes às palavras contidas no enunciado; evite alternativas demasiadamente longas; inconsistências gramaticais que deem ao examinado pistas para achar a resposta; evite a repetição de palavras que aparecem no enunciado; não use: “todas as anteriores”, “nenhuma das anteriores”; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens o gabarito deve estar exposto de forma clara, ser única alternativa correta e não deve ser mais atrativo que os distratores; os distratores não devem ser absurdos em relação à situação-problema apresentada; construir alternativas de maneira que o aluno tenha que recorrer ao procedimento contido na habilidade proposta, impedindo, portanto, que ele acerte o item por exclusão; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Construa as justificativas para as alternativas com argumentação consistente, que explique o erro ou o acerto, de maneira que não sejam tautológicas; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Indique o nível de dificuldade estimada do item (fácil, médio ou difícil) com base na sua experiência docente; Considere o tempo médio de três minutos para a resolução do item; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens O enunciado deve conter todas as informações necessárias, para que o estudante resolva o item. Importante é evitar que o estudante erre o item porque não compreendeu o que lhe estava sendo perguntado (enunciado). Certifique-se de que o comando está efetivamente de acordo com o descritor. SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Os itens devem ter uma linguagem apropriada aos estudantes do período de escolarização avaliado; A diversificação das fontes abre novas possibilidades de tratar o conteúdo. Vale lembrar a importância de se considerarem fontes relacionadas ao cotidiano dos estudantes; SME/ATP/NAE Principais orientações para iniciar a Elaboração de Itens Não utilizar livros didáticos; Cuidar para que os conceitos, fatos, terminologia etc tenham caráter universal; Elaborar itens com vocabulário, objetos e situações conhecidos nacionalmente. SME/ATP/NAE