Aprendizagem Baseada em Problemas AVALIAÇÃO DOS ESTUDANTES Elen Fabrícia Santos Flávio de Andrade Lígia Rabello Nathalia Martins Patricia Ormiga Introdução Há um consenso sobre avaliação de estudantes: a avaliação define o currículo (Newbe e Jaeger, 1983). Isto é particularmente importante em currículos PBL, que explicitamente definem os diversos domínios de aprendizagem envolvidos, com múltiplas estratégias instrucionais. É necessária a organização de um processo de aprendizagem ativo, baseado na construção de novos conhecimentos a partir dos conhecimentos de que o estudante já dispõe, interativo, centrado no aluno e autodirecionado. Cabe ao estudante um papel expressivo na definição do que ele precisa aprender, na seleção de meios que vai usar para isso e na definição do grau de aprendizado necessário. O PBL deve ser compreendido como uma perspectiva educacional e não somente como método. Deve imprimir a orientação do currículo, tendo como ponto de partida do processo de aprendizagem a adoção de um problema, com a participação ativa do estudante. Princípios da avaliação de estudantes O processo de avaliação do aprendizado é peça central para o sucesso de um programa de ensino baseado em problemas. Por vezes as estratégias de avaliação são subestimadas ou reduzidas a conjunto de técnicas de mensuração do desempenho. A avaliação da aprendizagem requer o uso de um número de técnicas para essa mensuração. É um processo sistemático que se inicia com a identificação dos objetivos de aprendizagem e termina com uma avaliação acerca da extensão em que esses objetivos foram atingidos ( Linn et al., 1995). Algumas diretrizes são propostas, permitindo efetivamente determinar a natureza e a extensão do desenvolvimento do estudante durante e após o seu treinamento: 1- O propósito primário da avaliação é melhorar o aprendizado do aluno. O sistema deverá prover informações úteis sobre quantos dos objetivos de aprendizagem foram atingidos e sobre o progresso de cada estudante. Princípios da avaliação de estudantes 2- O sistema deve garantir suporte aos processos de ensino- aprendizagem, trazendo à coordenação dos programas educacionais informações valiosas sobe a condução da instrução, a relevância do conteúdo, o ritmo das atividades, o nível dos alunos e, consequentemente, a qualidade do produto da educação. 3- O sistema de avaliação deverá ser justo com todos os estudantes. Uma das formas de garantir atributos justos é utilizar múltiplos métodos de avaliação do progresso do aluno e diversas maneiras, ainda que equivalentes, do estudante expressar sua compreensão, desempenho e atitudes. 4- O processo de comunicação sobre a avaliação é regular e claro. Todos os participantes do processo devem ter clareza das características e métodos do sistema de avaliação em uso no programa educacional. A divulgação dos resultados deve ser ética, garantindo a confidencialidade e respeito à individualidade do educando , de forma que promova seu crescimento como aprendiz. Princípios da avaliação de estudantes 5- A definição e explicitação clara do que será avaliado tem prioridade no processo de avaliação. 6- Um procedimento de avaliação deve ser selecionado de acordo com a sua relevância relativa aos objetivos a serem mensurados. 7- Uma avaliação abrangente requer uma variedade de procedimentos. Uma imagem completa do que foi aprendido pelo aluno requer o uso de diferentes procedimentos de avaliação. 8- O uso apropriado dos processos de avaliação requer uma percepção de suas limitações. É preciso, portanto, conhecer a extensão da possibilidade de erro de cada instrumento, e levar em consideração essas limitações no seu uso. 9- O sistema de avaliação deve garantir estratégias de validade e confiabilidade em suas atividades, que podem ser asseguradas através de algumas condutas como: revisão técnica dos testes e demais atividades avaliativas, utilização de múltiplos avaliadores e elaboradores , e coerência com os conteúdos e objetivos de aprendizagem do curso. Tipos de avaliação Avaliação de situação – Irá verificar o conteúdo de conhecimento, habilidades, e interesses que o estudante trás, antes de dar início ao processo de ensino. Permite ao profissional uma melhor adequação à turma. Avaliação Formativa – Visa monitorar o progresso de aprendizagem de forma continuada. Utiliza instrumentos específicos para avaliação de cada unidade ou módulo de ensino. Possibilita tanto ao aluno quanto ao professor um retorno em relação ao sucesso e as falhas, permitindo que ambos possam consertar os erros observados. Os resultados da avaliação não são utilizados para obtenção de notas, uma vez que o intuito é o ensino-aprendizagem. Tipos de avaliação Avaliação Diagnóstica – Quando os problemas de aprendizagem não são solucionados com as medidas genéricas propostas pela avaliação formativa, a diagnóstica é então empregada. Ela visa resolver questões mais complexas de dificuldades de aprendizagem como problemas comportamentais, cognitivos ou de adequação ao método. Avaliação somativa ou certificativa – Aplicada no final do curso, visa certificar o aprendizado do aluno, gerando uma nota representativa do grau de conhecimento adquirido de acordo com os objetivos propostos. As técnicas utilizadas para avaliação são determinadas pelo objetivo instrucional. Métodos de avaliação Dois tipos gerais, que irão variar de acordo com as abordagens nos programas. Abordagem da “descoberta livre” x “descoberta orientada” “Descoberta livre”: os estudante determinam o que aprender, além de como e quando aprendê-lo. Com o mínimo de instrução os alunos têm a oportunidade máxima de explorar o conteúdo. “Descoberta orientada”: os objetivos específicos da aprendizagem são identificados pelos organizadores do currículo e passados aos instrutores, responsáveis pelas discussões em grupo dos problemas. Métodos de avaliação Métodos de avaliação orientados por processo : Avaliação de tutores, pares e auto-avaliação: Aborda auto-aprendizagem, esforço empreendido, cooperação grupal e habilidade de comunicação Mensurações indiretas do processo de aprendizagem: São feitas a partir de observações ou registros dos caminhos seguidos pelos estudantes durante o ciclo tutorial. Servido de avaliação do próprio programa e uma avaliação paralela (devido às dificuldades de padronização) dos estudantes. Ex.: utilização de sistemas de pesquisa bibliográficos e internet, notas de aula... Exercício de aprendizagem: Avalia as habilidades de solução de problemas, de aprendizagem auto-dirigida, além do conhecimento sobre a área explorada Ex.: Salto triplo Métodos de avaliação Métodos de avaliação orientados por desfecho: A avaliação das habilidades de resolver problemas é feita em três níveis que levam em conta o grau de conhecimento sobre um determinado assunto. Conhecimento disperso – Estudantes em fases iniciais com nível de conhecimento desestruturado Conhecimento elaborado – Estudantes mais avançados, com nível de conhecimento estruturado em “redes semânticas” na memória Conhecimento compilado – Profissionais experientes com a informação necessária e automaticamente processada para solução do problema Métodos de avaliação Avaliação dos estudantes no Tutorial – centro do processo de aprendizagem em PBL Avaliação da base de conhecimentos: através do processo de discussão de um problema o facilitador poderá atuar avaliando os alunos, individualmente e coletivamente, a partir de suas impressões sobre o preparo dos estudantes, identificação de materiais bibliográficos relevantes, dentre outras coisas. O problema deste tipo de avaliação está em transformar a impressão obtida em avaliação. Auxiliadores: checklists, relatórios de ciclos tutoriais realizados pelos alunos, auto-avaliação (aonde o próprio aluno identifica suas lacunas de base de conhecimento) Avaliação do processo de raciocínio: Avalia-se o processo de raciocínio e a elaboração de conhecimentos pelo aluno a partir da habilidade de reconhecimento dos limites de conhecimento, onde é identificado o problema, são formuladas e testadas as hipóteses, que são em seguida reavaliadas utilizando recursos auxiliadores. Métodos de avaliação Avaliação das habilidades de comunicação: Avalia-se a habilidade do estudante em ouvir criticamente os colegas, auxiliar os mesmos, apresentar suas idéias de forma lógica, concisa e ordenada, utilizando recursos ilustrativos. Avaliação das habilidades de avaliação: Avalia-se a própria capacidade de avaliação do estudante. O facilitador é o principal elemento nesse processo de avaliação. A união dos resultados obtidos no processo de avaliação dos estudantes no processo tutorial aliado ao desempenho do aluno em outras estratégias de avaliação garante uma visão mais completa da performance do estudante tanto para fins certificativos como para fins formativos. Métodos de avaliação Os programas que utilizam PBL incorporam uma variedade de estratégias avaliativas: Mapas conceituais: Visam mensurar a interrelação de conceitos e compreensão do estudante acerca de um dado objetivo. Os mapas facilitam a visualização do processo de raciocínio e elaboração de conhecimento, demonstrando integração de conceitos com vínculos de causa-efeito, contexto e etc. Apresentações orais: Avaliam a habilidade de comunicação e síntese de conhecimentos, bem com a defesa dos mesmos diante das questões da audiência. Exames clínicos objetivos estruturados: Avaliam a performance e a competência clínica através de múltiplas estações aonde o estudando é orientado a desempenhar uma tarefa bem definida (estações com observadores e estações com instrumentos escritos) -Desde o final do século 20, houve uma transição nos paradigmas da educação médica, havendo maior ênfase no aprendizado baseado no aluno. - O termo “learning style” foi introduzido pela primeira vez em 1960 por Rita Dunn ao se referir as diferentes formas de aprender. - Não há estudos na literatura que descrevam se houve mudança nos estilos de aprender dos estudantes ao longo dos anos e qual foi o efeito dos novos currículos nessa mudança - Estudo de coorte prospectivo foi realizado em 3 faculdades de medicina, que implementaram a aprendizagem baseada em problemas de formas diversas, com os alunos do 1º ano da faculdade. O questionário foi preenchido pelos estudantes em 2 períodos: no 1º e no 2º ano da faculdade de medicina Gurpinar et al. Learning styles of medical students change in relation to time. Gurpinar et al. Learning styles of medical students change in relation to time. - Na distribuição dos estudantes nos diferentes estilos de aprendizagem houve um predomínio dos estudantes classificados como assimiladores - Houve mudança do estilo de aprendizagem em 47% dos estudantes do currículo integrado, em 49% dos estudantes do currículo híbrido e em 56% dos estudantes do currículo PBL. Aprendizagem Baseada em Problemas na Faculdade de Medicina de Marília: sensibilizando o olhar para o idoso. Ricardo Shoiti Komatsu Objetivos: - Analisar a percepção de estudantes de Medicina da Famema, formados a partir de currículo apoiado na Aprendizagem Baseada em Problemas - ABP, com ênfase na formação de médicos sensibilizados para a atenção das pessoas idosas; -analisar as representações de estudantes e idosos acerca do que é ser um médico sensibilizado para a questão do envelhecimento. Metodologia: -Foram coletados dados por meio de um questionário aplicado aos estudantes de Medicina ao final da 4ª. série, e entrevistas realizadas com pacientes idosos e estudantes ao final da 6ª. série. - Os olhares dos estudantes sobre sua aprendizagem ao final da 4ª. e da 6ª. séries são complementares e coincidentes. Aprendizagem Baseada em Problemas na Faculdade de Medicina de Marília: sensibilizando o olhar para o idoso. Ricardo Shoiti Komatsu Resultados: “ a doença é mais representada no currículo do curso de medicina do que o doente, existindo ilhas curriculares com uma atenção mais condizente com a atenção às necessidades dos pacientes” “ teoria e prática permanecem pouco integradas, nada substitui a prática e o contato direto com a realidade” “A expectativa dos pacientes idosos é a de encontrar um médico que compreenda a representação de sua doença, a sua ‘illness’ na sua condição de vida e que, assim, desenvolva uma relação de esperança e confiança, bases da terapêutica bem sucedida, e do melhor gerenciamento de seus problemas de saúde” - Níveis elevados de estresse em estudantes de medicina e em médicos quando comparado a população geral - Isso leva a piora da performance no trabalho, ao abuso de drogas e a problemas de saúde mental - Há 3 fontes principais de estresse: pressões acadêmicas, questões sociais ou pessoais e problemas financeiros - Estudo realizado em Glasgow com alunos do 1º ano da graduação de medicina num currículo PBL relataram que o principal fator que levava ao estresse era o treinamento médico Lewis et al. A comparison of course-related stressors in undergraduate problem-based learning (PBL) versus non-PBL medical programmes - O objetivo deste estudo foi comparar a frequência de fatores estressantes relacionados ao curso em 2 grupos de estudantes de medicina do 2º ano em faculdade PBL e não-PBL - Trata-se de um estudo “cross-sectional” (corte transversal ou seccional) com questionários individualizados de estudantes de medicina de 2 escolas da Inglaterra entre 2007 e 2008 - Através de randomização, foram escolhidas 1 escola não-PBL x 1 escola PBL - O questionário contém 16 questões compostas por partes de 2 escalas: Perceived Medical Student Stress Scale e Higher Education Stress Inventory. - As opções de respostas incluem: concordo completamente, concordo, discordo e discordo completamente. Lewis et al. A comparison of course-related stressors in undergraduate problem-based learning (PBL) versus non-PBL medical programmes Os estudantes do grupo PBL (n=83) têm maior chance de concordar com: - eles não sabem o que a faculdade espera deles (OR 0.38 p=0,03) - há muito poucas sessões com grupos pequenos, acompanhadas por estudantes (OR 0.04 p<0,001) - há uma ausência de oportunidade de discutir assuntos de interesse (OR 0.40 p=0,02) - o curso médico cria um sentimento de anonimato e isolamento entre os estudantes (OR 3.42 p=0,08) O estudo foi realizado na primeira escola médica que aplicou a aprendizagem baseada em problemas na Arábia Saudita entre 2006 e 2007, com estudantes do 1º ao 5º ano. O questionário respondido pelos estudantes contém 30 itens, que podem pontuar de 1 a 5, cada um deles. Shamsan B et al. Evaluation of Problem Based Learning Course at College of Medicine, Qassim University, Saudi Arabia Shamsan B et al. Evaluation of Problem Based Learning Course at College of Medicine, Qassim University, Saudi Arabia Shamsan B et al. Evaluation of Problem Based Learning Course at College of Medicine, Qassim University, Saudi Arabia -O estudo revela que o sistema PBL auxilia os alunos no desenvolvimento das habilidades práticas, principalmente na resolução de problemas práticos, com agilidade e também ajuda o estudante a ter a função de líder do grupo - Entretanto, a maioria dos estudantes não está satisfeita com o novo método. Eles julgam que o ensinamento não está centrado no estudante, conforme era de se esperar. - A maioria dos estudantes reconhece que o método PBL é muito superior ao método de ensino tradicional - Resultados de uma avaliação regular do programa demonstraram que, aos 18 meses, o estudante se sente entediado com a rotina repetitiva da resolução de problemas. OBRIGADA (O)