Fundamentos da Avaliação Educacional Prof. Adriana Bauer USP/FCC 1. Introdução E Considerações Gerais sobre o Campo da Avaliação Avaliação = Processo Básico Do Comportamento Humano - Impressionista, informal - Estruturada, formal PROBLEMA: Parte da avaliação que se pratica nas escolas é Informal e baseada na subjetividade…Decisões importantes são tomadas a partir das avaliações, por isso elas têm que ser mais estruturadas e formais. Essência da Avaliação CAMPO DA AVALIAÇÃO: COMPLEXIDADE, CONTRADIÇÃO Essência da avaliação: plurirreferencial = pluralidade de enfoques (com contribuições de várias áreas e disciplinas), pluralidade de definições. Dimensões da avaliação -Avaliação de sistemas -Avaliação de programas -Avaliação institucional -Avaliação da aprendizagem (foco desta palestra) O que é avaliar? Avaliação é o processo de determinar o mérito, o valor ou significância de algo, ou o produto daquele processo (Scriven, 1991) determinar a valia ou o valor de; apreciar ou estimar o merecimento de; determinar o merecimento calcular, estimar (dimensão de medida); fazer a apreciação; ajuizar. A definição de avaliação implica em: julgamento, apreciação, valoração Qualquer ato que implique em julgar e valorar suporia que quem o pratica tenha normas ou padrões que permitam atribuir um dos valores possíveis a essa realidade. Tais normas e padrões não são definidos aleatoriamente. A avaliação é contextual, expressa uma visão de finalidade da educação, visão de aluno, concepção de currículo... 1. Outras Conceitualizações de Avaliação Educativa 1. Como se define a avaliação? Verificar consecução de objectivos (Tyler, 1950) Obter informação para a tomada de decisões (Alkin, 1969; Cronbach, 1963; Stufflebeam et al., 1971) Descrever e julgar (Guba e Lincoln, 1981; Stake, 1967) Confusões conceituais Avaliar e examinar (certificação – exemplo do ENEM) Avaliar e medir Avaliar e classificar Avaliar x Medir Medir significa atribuir um número a um acontecimento ou a um objeto, de acordo com uma regra logicamente aceitável. (Hadji, 2001) Assim, AVALIAR NÃO É MEDIR! Avaliação engloba medidas, mas não deveria se restringir a ela. Posso cronometrar o tempo que um corredor leva para percorrer 100 m; é a medida, não a avaliação. Julgar se o corredor teve um tempo adequado, de acordo com parâmetros definidos a priori, é avaliar. Tipos de Avaliação segundo o MOMENTO em que é praticada Diagnóstica/ Prognóstica: A Avaliação Diagnóstica tem dois objetivos básicos: identificar as competências do aluno e adequar o aluno num grupo ou nível de aprendizagem. Avaliação Prognóstica pode assumir uma função preditiva, podendo dar indicações que permitam prever a evolução do objeto avaliado, fornecendo informação de orientação do processo formativo. CUMULATIVA Cumulativa: Tem lugar em momentos específicos ao longo de um curso, como por exemplo, no final de um ano letivo. Pode consistir simplesmente na verificação realizada ao fim de um percurso de formação, à saída de uma escola. (Ver Avaliação Somativa). Processual/Contínua São as avaliações realizadas ao longo do processo de ensino-aprendizagem, por meio de instrumentos, muitas vezes, diferenciados. Tipo de Avaliação Segundo a Lógica Somativa (para uso seletivo e classificatório) Utilizada para criar “hierarquias de excelência” (Perrenoud, 1999) e certificar perante a sociedade um dado conhecimento, para classificar, castigar, definir o destino dos alunos de acordo com as normas escolares. Nessa lógica, as notas são usadas para fundamentar necessidades de classificação de alunos, onde são comparados desempenhos e não objetivos que se deseja atingir Formativa Não tem como objetivo classificar ou selecionar. Fundamenta-se nos processos de aprendizagem, em seus aspectos cognitivos, afetivos e relacionais; fundamenta-se em aprendizagens significativas e funcionais que se aplicam em diversos contextos e se atualizam o quanto for preciso para que se continue a aprender. Deve-se avaliar o que se ensina, encadeando a avaliação no mesmo processo de ensino-aprendizagem. Princípios da Avaliação Formativa - AVALIAR É INTERPRETAR Qual o processo de aprendizagem desenvolvido pelo aluno? Que resultados significativos espelha? Que dificuldades de entendimento é possível inferir a partir do erro do aluno? Por que ele não conseguiu alcançar determinados objetivos? Que objetivos já foram alcançados? - AVALIAR É AJUSTAR Que ações podem ser realizadas para auxiliar os alunos a alcançarem os objetivos delimitados? O processo de ensino foi adequado aos conteúdos desejados? Que intervenções pode ser realizadas de melhor forma? Que conteúdos serão revistos? AVALIAR É COMUNICAR A forma de comunicação da avaliação possibilita que os alunos compreendam seu desenvolvimento? As famílias compreendem os resultados reportados? Da forma como é sistematizada, a avaliação possibilita tomada de decisões e serve como memória do processo de ensino e do processo de aprendizagem? Todos os envolvidos (alunos, professores e pais) devem conhecer os resultados da avaliação e analisar esses resultados para tomada de decisões. ATENÇÃO O QUE DEFINE A AVALIAÇÃO PRATICADA É A LÓGICA DE USO DO SEU RESULTADO, MAIS DO QUE O MOMENTO EM QUE É PRATICADA!!! EX: POSSO TER UMA AVALIAÇÃO CUMULATIVA E, AO MESMO TEMPO, UM USO FORMATIVO DO RESULTADO! Tipo de Avaliação por Referência Avaliação Normativa: desempenho comparativo dos indivíduos num grupo, na realização da mesma tarefa. (Scriven 1991);. Tem-se como referência o grupo; é em comparação com o seu desempenho médio que se mede o desempenho de cada aluno. Os resultados se distribuem simetricamente em relação a um ponto central, pelo que se considera normal que uma parte dos alunos se situe claramente acima ou abaixo da média do grupo. Esta distribuição é representada pela curva normal de Gauss Avaliação criteriada Avaliação Criteriada: indicadores de sucesso ou de mérito (Scriven, 1991) ; elementos que permitem ao sujeito verificar que realizou bem a tarefa proposta e que o produto da sua atividade se ajusta às aprendizagens a realizar (Meirieu,1992) O desempenho do aluno é analisado por referência a critérios, sendo apreciadas as aprendizagens efetivamente realizadas pelo aluno em relação às finalidades consideradas e aos objetivos orientadores da ação. A Avaliação Almejada Estar relacionada com a aprendizagem Ser pensada, planejada e realizada de forma coerente e conseqüente com os objetivos propostos para aprendizagem Ser contínua, para acompanhar o processo de aprendizagem até atingir os objetivos finais Estar voltada para o desempenho do aluno Incidir, também, sobre o professor e o plano de ensino Exigir observação e registro por parte do professor e do aluno Conter tanto a avaliação feita por outros, como a auto-avaliação. Operacionalização da Avaliação Critérios, procedimentos e instrumentos de avaliação decidem o destino dos alunos A escolha de instrumentos e procedimentos de avaliação é sempre política, implica uma concepção de educação, educando, escola, etc... É importante que o professor avalie o CONTEÚDO TRABALHADO DURANTE O CURSO OU PERÍODO LETIVO, de acordo com os objetivos a alcançar Definindo objetivos Veja os objetivos abaixo, comuns em algumas ementas de curso: “ Desenvolver uma visão de mundo” “Desenvolver a capacidade de apreciação artística” “Desenvolver o pensamento crítico” “Despertar o interesse pelas grandes obras da literatura”. Tente estabelecer a relação de conteúdos que são ensinados para satisfazer os objetivos propostos acima. Depois defina um instrumento de avaliação que considera adequado para avaliar o desempenho dos alunos nesses objetivos.Difícil, não? Dificuldades Objetivos muito amplos/vagos/imprecisos são difíceis de serem concretizados por meio dos procedimentos educacionais que normalmente são utilizados na escola... Portanto, é difícil avaliá-los e sua avaliação, não necessariamente, espelha o ensino realizado. É difícil estabelecer relação entre conteúdos ensinados e objetivos muito amplos. Em que momento do processo de ensino-aprendizagem os objetivos anteriormente relacionados são alcançados? (difícil determinar) É necessário a equipe estabelecer comportamentos/ conhecimentos finais que os alunos devem apresentar e que sejam indicativos da concretização dos objetivos? Critérios e indicadores Da Educação Infantil ao Ensino Médio a avaliação deve estar baseada nos critérios e indicadores de aprendizagem e, portanto, atrelada ao conteúdo e ao modo como foi desenvolvido. O aluno deve conhecer os critérios de avaliação, ou seja, “em que” e “como” será avaliado. Se possível, pode participar da definição dos mesmos. Exemplos de critérios de avaliação na EI - LP Oralidade Expressa seus desejos, necessidades, idéias, opiniões e sentimentos. Narra fatos em seqüência temporal e causal. Elabora perguntas e respostas de acordo com os diversos contextos de que participa. Conhece e reproduz oralmente jogos verbais: trava-línguas, parlendas, quadrinhas, poemas e canções. Leitura Reconhece o seu nome escrito, identificando-o nas diversas situações do cotidiano. Compreende os textos lidos pelo professor. Participa de situações de leitura de diferentes gêneros feita pelos adultos: histórias, poesias, quadrinhos, músicas, adivinhações, brincadeiras cantadas. Manuseia com interesse materiais impressos como livros, revistas, etc., previamente apresentadas ao grupo. Escrita Produz textos individuais e / ou coletivos ditados ao professor para diversos fins. Escreve seu nome, sem consulta, em situações em que seja necessário (identificar as suas produções, assinar um cartão...). Diferencia o desenho da escrita. as letras dos números. O que pode ser avaliado? Quatro Pilares da Educação (Comissão Internacional da Educação e UNESCO): Quatro aprendizagens fundamentais Aprender a conviver; Aprender a aprender; Aprender a fazer; Aprender a ser (DELORS, 2006). Em termos de conteúdos Conteúdos atitudinais Conteúdos conceituais Conteúdos procedimentais - EXEMPLOS DE INSTRUMENTOS Provas dissertativas (ou discursivas/ de questões abertas) Seminário (grupo e/ou individual) Testes Provas práticas Exercícios em aula/ Questionários Avaliações orais Participação e/ou Freqüência às aulas Resumos e/ou resenhas de livros (com ou sem apresentação oral) Cadernos e outros materiais dos alunos OBS: Fundamental usar uma diversidade de instrumentos – objetivos diferentes necessitam de medidas diferentes para avaliar as diversas habilidades e conteúdos ensinados Instrumentos de respostas abertas Podem ser utilizados para avaliar diferentes níveis de capacidade cognitiva dos alunos, desde a simples memorização, até processos mentais complexos, como a capacidade de demonstrar a adequação de uma idéia a um determinado contexto, com argumentação que a justifique. Possibilidades e limites dos instrumentos de resposta livre Possibilidades - Sugeridos para avaliar habilidades cognitivas mais complexas(inferência, análise crítica de uma idéia, estabelecimento de relações) - - Limites Grande subjetividade do avaliador Geralmente não avalia fidedignamente o conteúdo trabalhado Introdução de desvios nas respostas, devido a problemas de formulação da questão, são freqüentes Perguntas muito genéricas ou ambíguas podem desorientar os alunos que estudaram e sabem, mas não compreendem o enfoque que o professor deseja Tempo de realização Para Pensar Definir o conceito que se quer verificar e quais os parâmetros de adequação das respostas (parâmetros para nota) é fundamental. Cuidado para não preparar armadilhas para si mesmo. Questões opinativas como “Qual é sua opinião sobre...”/ “O que você acha de...” dificultam o estabelecimento de parâmetros de correção. Cuidado com o peso, durante a correção, dado à expressão (ortografia, gramática, clareza, etc.). Muitos professores colocam mais peso nestes aspectos do que na própria apresentação do conceito da área. Para Pensar Cuidados na correção de uma prova discursiva Se a resposta fugir dos moldes previstos e estiver certa, considerá-la como tal; Critério deve ser igual para todos. Para tal, o Instrutor deve corrigir a mesma questão de todos os alunos, em seguida; Quando um número significativo de alunos NÃO entender o enunciado e se as respostas indicarem deficiências nas instruções ou no enunciado da questão, o Instrutor deve anular esta questão. Para Pensar É necessário contextualizar as questões...”Por que devemos valorizar a vida e a liberdade?” Os critérios de avaliação devem estar claros para os alunos e indicadores de sucesso devem ser definidos. Se o professor espera que o aluno demonstre o conhecimento do conceito estudado, “cumpra o que foi proposto”, dê exemplos e aplique o conceito, deve dar parâmetros do que espera: quantos exemplos? Quais os indicadores de cumprimento do que foi proposto? Para Pensar TESTES OBJETIVOS Elaboração exige a consideração prévia dos objetivos educacionais, a fim de que se avalie o que é relevante no processo O item objetivo bem elaborado exige do aluno processo mentais complexos e não apenas reconhecimento e memorização. Contudo, exigem do professor um conhecimento técnico substancial, que poucos têm. Indicados quando: o grupo a ser examinado é grande, notas altamente fidedignas devem ser obtidas, necessidade de avaliação imparcial/ comparações, há grande pressão para a rápida divulgação das notas. Para preparar o aluno para as demandas de avaliação externas à escola (vestibular, ENEM), pode ser interessante ensiná-los a responder testes – esse é um conteúdo procedimental. PORTFOLIO REFLEXIVO Portfólio reflexivo: pode ser um instrumento de aprendizagem significativa e avaliação contínua e de desempenho do estudante, narrativa da aprendizagem. O termo Portfolio passou a ser utilizado para designar a pasta que contém textos, fotos, desenhos, etc. No entanto este conceito está sendo aprofundado e adaptado também ao ensino, entendendo-se desta forma “portfólio" como um continente de diferentes tipos de documentos (anotações pessoais, experiências de aula, trabalhos pontuais, controles de aprendizagem, representações visuais, etc.) que proporciona evidências de um crescimento e progresso na aprendizagem, fazendo referência aos esforços realizados para alcançar os objetivos acordados. Propor: reflexões, narrativas práticas, narrativas críticas e metacognitivas, análises de casos (relação teoria-prática) VANTAGENS E LIMITES DO PORTFOLIO Dificuldades para sua elaboração / construção: falta de habilidade para a comunicação escrita e expressão. Subjetividade da avaliação, se não forem definidos critérios e indicadores claros de avaliação Vantagens: possibilita a auto-crítica, o desenvolvimento da capacidade reflexiva, a ampliação das bases conceituais, o resignificar da aprendizagem, da avaliação contínua. PAUTAS DE AVALIAÇAO Instrumentos que organizam as informações que o professor obtém durante o processo de ensinoaprendizagem (por meio de instrumentos estruturados, previamente definidos ou de observação direta) Permitem a objetivação da avaliação em processo. Exemplo de tabulação Hábitos de estudo Segue instruçõs Traz os materiais necessaries à aula Presta atenção na aula Respeita as regras da classe Assume responsabilidade por sua aprendizagem Completa as lições de classe Faz a lição de casa Contempla expectativas Precisa Melhorar X X X X X X X Respeita os colegas e o professor Aproveita o tempo da aula Chega no horário X X Ou, em relatório Comentários Leonardo tem deixado de fazer as lições de casa e, no início do bimestre, se distraiu muito durante as aulas. Nos momentos de trabalho em grupo ou dupla ainda noto que apresenta dificuldade para se concentrar, apesar de ter melhorado a postura nos trabalhos individuais. Percebo que sua desorganização para o trabalho está afetando seu desempenho em classe pois, quando traz os materiais necessários e as lições, gosta de participar da aula e compartilhar seus saberes; no entanto, ainda deixa de trazer seus livros em diversos momentos durante a semana. Avaliação de caderno ITENS A SEREM AVALIADOS ATINGIU SATISFATORIAMENTE 1. Limpeza (caderno limpo, sem folhas amassadas, orelhas, rasgos, rabiscos, etc.) 1. 1. Organização do espaço (não pula linhas e páginas sem necessidade e nem “amontoa” todas as lições: as linhas são puladas sempre que necessário). Datas em todas as lições. 1. Títulos destacados em todas as lições. 1. Letra e números bem legíveis e caprichados. 1. Lições completas . 1. Utilização de borracha e branquinho para apagar os erros. 1. Folhas bem recortadas e coladas. 1. Apresenta cuidado com a ortografia e a letra maiúscula. NÃO ATINGIU Conceitos: Não apresentar o caderno: 0; 0 itens satisfatórios: 10; 1 item: 20; 2 itens: 30; 3 itens: 40; 4 itens: 50; 5 itens: 60; 6 itens: 70; 7 itens: 80; 8 itens: 90; 9 itens: 100