1. ORIENTAÇÕES PARA ANÁLISE DAS RESPOSTAS DOS ALUNOS 1ª PROVA DA CIDADE 2012 SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL São apresentadas, a seguir, orientações básicas para a análise das respostas dos alunos, na 1ª Prova da Cidade 2012, considerando-se o lançamento dos resultados nas planilhas disponibilizadas no Portal da SME, no endereço http://portalsme.prefeitura.sp.gov.br/Projetos/nucleo/Anonimo/PLANILHAS%20DE%2 0RESPOSTAS.xlsx Essas planilhas foram elaboradas com a finalidade de auxiliar o trabalho de professores e coordenadores pedagógicos na análise dos resultados da Prova, principalmente naquelas unidades educacionais que não têm obrigatoriedade de digitação de seus resultados no Sistema de Avaliação (online). Núcleo de Avaliação Educacional SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL 1 1. PARTICIPAÇÃO DOS ALUNOS NA 1ª PROVA DA CIDADE O primeiro passo no lançamento dos dados deve ser o preenchimento dos campos com a quantidade de alunos previstos e com o total de alunos que realizaram as provas de Matemática e Língua Portuguesa. Essa informação, que deverá ser digitada em números absolutos, gerará automaticamente o percentual de frequência (números relativos), podendo servir para o estabelecimento de comparações e para a análise significativa dos dados referentes à participação dos alunos, na 1ª Prova da Cidade 2012. Não P A R T I C I P A Ç Ã O D O S podemos comparar turmas com dimensões diferentes, apenas observando o número absoluto de frequência, por isso usamos a frequência relativa, em percentual. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL Orientações para Análise das Respostas dos Alunos – Participação dos Alunos - 3 A L U N O S 1 P A R T I C I P A Ç Ã O D O S A L U N O S Após as digitações, verifique e compare as frequências, em Língua Portuguesa e Matemática. Houve diferença? Quais foram? Quais os possíveis motivos para essa diferença? A participação dos estudantes foi superior a 90%? Quais ações podem ser pensadas para que se garanta, no mínimo, a mesma participação dos alunos, em ambas as provas? A frequência nas provas é equivalente à frequência dos alunos no cotidiano das aulas? Esses dados estão disponíveis na escola? Sugere-se uma entrevista com os alunos ausentes para o levantamento dos motivos da ausência e a tabulação das respostas. Após a tabulação, a equipe pode identificar os principais motivos e separar aqueles para os quais ela pode estabelecer futuras intervenções. Entende-se que o coletivo de professores, junto com a coordenação pedagógica pode e tem autonomia para identificar causas e definir ações. Contudo, caso haja dificuldade da equipe da escola, indica-se o contato com a equipe de DOT-P da DRE para auxílio na identificação dos motivos para possíveis diferenças, bem como para o desenvolvimento de intervenções pedagógicas. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL 4 - Orientações para Análise das Respostas dos Alunos – Participação dos Alunos 2 2. PERCENTUAL DE ACERTOS Depois da análise da frequência, podemos observar os percentuais gerais de acertos de cada aluno e de cada turma, em Língua Portuguesa e Matemática. Essa informação será gerada na planilha, após a digitação das alternativas respondidas pelos alunos. P E R C E N T U A L Durante o processo, o professor poderá observar que, ao digitar a D alternativa correta, o campo (célula) ficará com a cor verde, indicando que o E aluno acertou a resposta. A exceção ocorrerá apenas nas provas de Língua A C E R T O S Portuguesa, na questão 10. Nesse caso, trata-se da Produção de Texto, que é um item de resposta construída e não possui especificamente uma resposta correta. Nesse caso, os resultados apresentados referem-se à categorização das produções escritas dos alunos, de acordo com os critérios de correção detalhados nos Guias de Correção, já publicados no Portal da SME. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL Orientações para Análise das Respostas dos Alunos – Percentual de Acertos - 5 2 P E R C E N T U A L Com o percentual geral de acertos da turma gerado após o preenchimento, é possível comparar os acertos dos alunos tanto de apenas uma turma como de várias turmas, nas áreas de Língua Portuguesa e de Matemática. Dessa forma, a coordenação pedagógica pode verificar pontos fortes e fragilidades, em relação às turmas de sua unidade, e os professores, em relação aos seus alunos. Assim, com base nesses dados, podem ser D planejadas e desenvolvidas ações específicas para alunos com dificuldades de E aprendizagem. A C E R T O S Verifique o percentual de acertos de cada aluno e de cada turma. O percentual de acertos foi maior ou menor que o das demais turmas da unidade? Se a diferença verificada for positiva, podem-se investigar quais práticas foram adotadas para melhorar as aprendizagens dos alunos dessas turmas e socializá-las no coletivo da escola. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL 6 - Orientações para Análise das Respostas dos Alunos – Percentual de Acertos 2 Se a diferença verificada for negativa, podem-se analisar as causas do problema, buscando possíveis intervenções necessárias ao desenvolvimento das aprendizagens desses alunos, evidenciando o apoio específico a ser dado a cada turma. Contudo, caso haja dificuldade da equipe da escola, indica-se o contato com a equipe de DOT-P da DRE, para auxílio na identificação das fragilidades e possíveis intervenções pedagógicas. P E R C E N T U A L D E A C E R T O S SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL Orientações para Análise das Respostas dos Alunos – Percentual de Acertos - 7 3 3. PERCENTUAL DE ACERTOS POR HABILIDADE 3. POR HABILIDADE Após analisar o percentual geral de acertos, de acordo com o roteiro sugerido anteriormente, o próximo passo é a análise do percentual de acertos por habilidade. Os professores e a coordenação pedagógica poderão verificar P E R C E N T U A L os percentuais de acertos das habilidades avaliadas e refletir sobre as principais dificuldades demonstradas pelas turmas, podendo, assim, planejar ações pontuais em relação a essas dificuldades. Após a digitação, o professor poderá identificar as questões consideradas difíceis ou muito difíceis pelos alunos. É o percentual de acertos na questão que vai indicar o índice de facilidade, ou seja, o que foi considerado difícil ou fácil por eles. As planilhas sugeridas para o lançamento das respostas dos alunos traz a classificação dos índices de facilidade, indicada por Gronlund: percentuais de acerto de 80% a 100% caracterizam o item como muito fácil; de 60% a 79,9%, caracterizam o item como fácil; de 40% a 59,9%, o item é de média facilidade; de 20% a 39,9%, o item é considerado difícil; e de 0% a 19,9%, caracterizam o item como muito difícil. Nas planilhas, o percentual de acertos de cada questão indica o índice de facilidade em determinada habilidade. Desse modo, cada resultado percentual estará relacionado a uma cor na planilha, a fim de facilitar a identificação do professor, como é possível observar a seguir. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL 8 - Orientações para Análise das Respostas dos Alunos – Percentual de Acertos por habilidade D E A C E R T O S P O R H A B I L I D E 3 P E R C E N T U A L D E A C E R T O S P O R H A B I L I D E Essa informação permite a comparação dos percentuais de acertos por habilidades, em cada turma. Os percentuais que classificam as questões como difíceis ou muito difíceis revelam habilidades que necessitam de um planejamento específico quanto à intervenção pedagógica adequada. Considerando-se esses percentuais, é importante verificar quais são as habilidades que os alunos consideraram difíceis ou muito difíceis. Nesse sentido, podem ser feitas algumas indagações: essas habilidades foram trabalhadas neste ano ou em anos anteriores? de que maneira foram abordadas? os professores utilizaram as indicações das Orientações Curriculares e Proposição de Expectativas de Aprendizagem para o Ciclo I e dos Cadernos de apoio e aprendizagem do Ciclo I para esse trabalho? quais SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL Orientações para Análise das Respostas dos Alunos – Percentual de Acertos por habilidade - 9 3 ser P E R C E N T U A L consolidadas e abordadas de maneira recorrente e com maior grau de D complexidade, na medida em que se avança na escolaridade. Dessa forma, é E importante observar os percentuais de acertos por habilidades, nos vários A C E R T O S indicações utilizaram? elaboraram e desenvolveram sequências didáticas sobre o assunto? Dessa forma, poderão ser verificadas quais habilidades necessitam de ação específica pelo professor da turma, como também pode ser analisada a situação da turma, em relação às demais da escola. A avaliação padronizada prioriza habilidades que devem anos de escolaridade, pois é esperado que as turmas com mais tempo de escolaridade apresentem melhores percentuais. Assim, poderão ser verificadas quais habilidades necessitam de ação específica pelo professor da turma, e analisada a situação do ano de escolaridade na unidade. Para uma identificação rápida, ao passar o cursor sobre a célula referente a cada questão, será aberta uma janela com a descrição de cada uma das habilidades avaliada. P O R H A B I L I D E E 4. ANÁLISE DE DISTRATORES SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL 10 - Orientações para Análise das Respostas dos Alunos – Percentual de Acertos por habilidade 4 A N Á L I S E D E D I S T R A T O R E S 4 . ANÁLISE DOS DISTRATORES Após analisar o percentual de acertos por habilidade, é importante que o professor verifique os distratores, em cada questão, ou seja, que ele observe, no caso de respostas incorretas, quais foram as escolhas realizadas pelos alunos. Essas escolhas indicam, individualmente, o raciocínio realizado pelo estudante, ao selecionar determinada alternativa. Além disso, é necessário observar as planilhas preenchidas das turmas e da unidade e verificar quais distratores mais atraíram os alunos, em cada questão. Assim, é interessante, também, a reflexão sobre quais aspectos estão relacionados à determinada incidência. Há tendências de erros comuns em uma mesma turma ou em várias? Quais os possíveis motivos para essa atração? Quais ações podem ser pensadas para que as dificuldades sejam superadas? Para análise dos resultados por alternativas, é interessante verificar as justificativas apresentadas para cada gabarito e distrator, nos Guias de Correção. SME/ATP/NÚCLEO DE AVALIAÇÃO EDUCACIONAL Orientações para Análise das Respostas dos Alunos – Análise dos distratores - 11