Consórcio Brasileiro Ciência, Tecnologia, Ciências Humanas,
Engenharia e Matemática (STHEM)
2º WORKSHOP: LORENA, BRASIL,
26-30 de maio de 2014
Mudando o Ensino, Transformando a Aprendizagem
Sessão II: Aprendendo a Avaliar
Gregory Light, PhD
Visão geral
Sessão I: Princípios de Design e Resultados de Aprendizagem
• Desafios Globais e Nacionais (Apresentação Interativa)
• Ensinar para Aprender: um Quadro (Apresentação Interativa)
• Construindo Resultados de Aprendizagem (Atividade)
Sessão II: Aprendendo a Avaliar
• Avaliando a Aprendizagem do aluno (Discussão)
• Dimensões da Avaliação (Apresentação Interativa/Atividade)
• Alinhando a Avaliação (Atividade)
AGORA LEMBREMSE DESTA
FÓRMULA! CAIRÁ
NA PROVA.
“A forma mais
rápida de
mudar a
aprendizagem
do aluno é
mudando o
sistema de
avaliação.”
-- Elton & Laurillard, 1979, p. 10
AVALIAÇÃO
Questão em Grupo:
Por que nós avaliamos os
estudantes?
Compartilhe
com a mesa
Propósito da Avaliação
Sumativa
•
•
•
•
•
•
•
•
Para aprovar ou reprovar um estudante
Para dar nota ou rankear um aluno
Para habilitar para continuar
Para selecionar para cursos futuros
Para habilitar para a prática
Para predizer sucesso em futuros cursos
Para predizer sucesso no emprego
Para seleção para emprego futuro
Propósito da Avaliação
Formativa
• Para fornecer feedback aos estudantes, a fim de
melhorar sua aprendizagem
• Para motivar estudantes
• Para diagnosticar os pontos fortes e fracos dos
estudantes
• Para ajudar os estudantes a desenvolver suas
habilidades de auto-avaliação
• Para fornecer um perfil do que o aluno
aprendeu
Propósito da Avaliação
Diagnóstica
• Para fornecer feedback aos professores
• Para melhorar o ensino
• Para diagnosticar os pontos fortes e fracos de
um curso
• Para fazer o curso parecer respeitável e digno
de crédito perante outras instituições e
empregadores
Dimensões da Avaliação
Dimensões da Avaliação
Auto-Referenciada
Referenciada em Critério
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Formativa
Praticidade
Essencialmente
projetada para
resumir o feito de
alguém
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Dimensões da Avaliação
Auto-Referenciada
Referenciada em Critério
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Formativa
Praticidade
Essencialmente
projetada para
resumir o feito de
alguém
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Dimensões da Avaliação
Auto-Referenciada
Referenciada em Critério
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Formativa
Praticidade
Essencialmente
projetada para
resumir o feito de
alguém
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Dimensões da Avaliação
Auto-Referenciada
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Referenciada em Critério
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Essencialmente
projetada para
resumir o feito de
alguém
Praticidade
Formativa
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Dimensões da Avaliação
Auto-Referenciada
Referenciada em Critério
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Formativa
Praticidade
Essencialmente
projetada para
resumir o feito de
alguém
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Dimensões da Avaliação
Auto-Referenciada CENTRADA NA APRENDIZAGEMReferenciada em Critério
Baseada na auto-reflexão
da aprendizagem
alcançada no curso
Validade
Baseada nos conhecimentos
e habilidades adquiridas no
curso
Razão em que os métodos de avaliação
refletem a aprendizagem dos alunos e as
metas de aprendizagem do curso
Sumativa
Formativa
Praticidade
Essencialmente
projetada para
resumir o feito de
alguém
Essencialmente
projetada para
auxiliar o processo
de aprendizagem
Confiabilidade
Razão em que os resultados do método de
avaliação podem ser confiáveis
Referenciada pela Norma
Baseada na
comparação com
outros do grupo
CENTRADA NO ENSINO
Referenciada por Pares
Baseada na avaliação
pelos pares da
aprendizagem
alcançada no curso
Atividade: Métodos
Avaliativos
Escolha um método avaliativo
que você atualmente use e o
mapeie em relação
1) a resultados de
aprendizagem;
2) essas dimensões.
Fazer individualmente.
Após, compartilhar com a mesa.
Então, compartilhar com o grupo todo.
Métodos de Avaliação
(Alguns Exemplos)
•
•
•
•
•
•
Exame Final (escrito)
Tarefa
Projetos
Relatórios
Apresentações
Grupos de discussão
e observação
• Horas de Trabalho
Higher validity – less reliable
• Exame Final (múltipla
escolha)
• Questionários
• Chamada oral, prova
surpresa.
• Desempenho na
carreira
• Testes padronizados
• Sistema de respostas
pessoais.
Higher reliability – less validity
Alinhando a Avaliação
Usando Categorias
(Fazer e validar avaliações
mais confiáveis)
Breve
Discussão
Alinhando Avaliações tendo em vista resultados na
Aprendizagem (Ex: Biologia)
Objetivo do
Curso
Resultados de
Aprendizagem
Avaliação
Formativa
Avaliação
Somativa
O que os alunos Se eles aprenderam O que os alunos farão Como os estudantes
aprenderão?
isso, o que os alunos para aprender?
demonstram que
sabem e serão
sabem ou que são
capazes de fazer?
capazes de fazer
isso?
Os
alunos
deverão
compreender
sobre
a
transferência de
informação
do
DNA para a
proteína.
Estudantes
serão Em
grupos,
aos
capazes de prever estudantes é dada a
mudanças
em sequência
de
DNA
sequências
de correspondente à de
aminoácidos,
aminoácidos. Os alunos
causadas
por identificam, fazem a
mutações .
leitura de
frame e
predizem as mudanças
de aminoácidos, devido
a
mutações
na
sequência.
No exame, na prova,
estudantes
vão
prever de novo a
sequência
de
aminoácidos
que
resulta
de
uma
mutação
em
determinada
sequência.
Knight, (2011)
Um Típico Formato de Modelo
Prova do
aluno
Critério do
professor
(1) Fraco
Pouca ou
nenhuma
evidência de
resultado
(2) Básico
Alguma
evidência de
resultado
(3) Proficiente
Detalhada
evidência de
resultado
Critério 1 Argumento
Critério 2 –
Uso de
leituras,
integração
de
literatura.
Critério 3 –
Qualidade
da escrita.
Adapted from Beauchamp et al 1996
(4) Forte
Resultado
altamente
criativo.
Avaliação Escrita: Modelo
(1) Fraco
Pouca ou
nenhuma
evidência de
resultado
Critério 1 Incoerente,
Argumento pouco lógico,
opinião
pessoal.
Critério 2
Uso de
leituras,
integração
de
literatura.
(2) Básico
Alguma
evidência de
resultado
(3) Proficiente
Detalhada
evidência de
resultado
Estrutura básica
com algum uso
de evidências.
Forte estrutura
lógica, com uso de
provas, evidências
em todo o texto.
Forte estrutura
lógica, com uso
de provas,
evidências;
discussão
sofisticada.
Fontes muito bem
integradas às
ideias do autor.
Fontes bem
integradas e de
modo crítico
Não usou
Fontes usadas,
minimamente as mas não
fontes
integradas às
ideias escritas.
Critério 3 Organização
Qualidade deficiente,
(4) Forte
Resultado
altamente
criativo.
Adapted from Beauchamp et al 1996
Esforço para
Boa organização;
organizar ideias; poucos problemas
Fluxo bem
desenvolvido,
Benefício das categorias
 Usado para classificar (Somativa) ou comentar
(Formativa)
 Esclarece critérios (Critério Ref.)
 Garante que a classificação está alinhada com os
resultados da aprendizagem. (Validação)
 Permite compartilhar com vários professores
situações niveladoras. (Recuperação)
 Pode ser usado com estudantes (Self Ref.) e pares
(Peer Ref.)
Atividade
Em pequenos grupos, identificar e
criar (desenhar) uma categoria,
um modelo de avaliação para um
específico
resutado
aprendizagem.
Grupo amplo de discussão.
de
Alinhando avaliações
Usando questões de múltipla
escolha (MSQ)
(Fazendo avaliações mais
válidas e confiáveis.)
Quick
Share
MCQs como instrução formativa
Responder and fornecer sua análise racional:
1. Qual das opções a seguir apresenta características
intrínsecas ao marcapasso ?
a) Medulla
c) Sinoatrial node
b) Pons
d) Atrioventricular node
Usar a análise racional (pequena explicação aberta para escolha) para fazer
os estudatnes demonstrarem seu conhecimento – ser classificado ou
não..
Stanford Learning Lab: Nash & Shaeffer, 1999; Schaeffer et al., 1999
Análise racional:
SA node é o marcapasso normal para todo coração. AV node também tem potencial
marcapasso, mas é ofuscado pelo SA node. Medula tem potencial como marcapasso
para o ritmo respiratório também. Pons ajuda a refinar o ritmo, mas não tem potencial
para marcapasso.
Análise racional insatisfatória:
Resposta incompleta: Normalmente, o SA node é responsável por gerar a velocidade do
coração e ele tem a havilidade de fazê-lo por causa de seu próprio e intrínseco ritmo. O
AV node também tem um ritmo intrínseco, mas ele está “ofuscado” pelo do SA node.
Fornecendo a definição do livro: O nó sinoatrial
mamíferos.
é o marcapasso do coração dos
Fornecendo informações irrelevantes: Receptores de estiramento estão localizados no
arco aórtico e seio carotídeo. Eles têm a habilidade de responder a mudanças de pressão.
Reafirmação da pergunta: O nó SA, AV e a medula, todos possuem características
intrínsecas ao marcapasso e podem ser usados como tal.
Blindar a resposta com o recurso da autoridade: Esta resposta é correta porque o
Professor Heller disse que era, e o Professor Heller é legal.
Atividade
Em pequenos grupos, compartilhem
outros caminhos em que a validade
do MCQs pode ser melhorada.
Compartilhar com grupos maiores.
Teste que envolve nível baixo de conhecimento
Perda puramente econômica é recuperável em ação de
responsabilidade do produto.
a) Verdadeiro.
b) Falso.
Recuperação puramente econômica será barrada em qual das
seguintes causas de ação?
a) Negligência
b) Fraude
“Qual é a regra?”
c) Difamação
Sem
contexto,
não
permitindo a interpretação e
d) Responsabilidade do produto.
análise.
from Case & Donohue, 2008
Revisão: Alto nível de entendimento
Um restaurante contratou um exterminador para eliminar baratas do porão,
sob o restaurante. Por volta da meia-noite, o exterminador aplicou ao
chão e paredes do porão um eficiente pesticida que ele havia comprado
do fabricante. Um gás tóxico liberado pelo pesticida penetrou na cozinha
do restaurante e não se dispersou no dia seguinte. Como resultado, o
restaurante foi obrigado a fechar naquele dia.
• restaurante moveu uma ação de responsabiidade civil, por lucros
cessantes, com base na responsabilidade sobre o produto, contra o
fabricante do pesticida .
• O restaurante ganhará a ação?
a) Não, porque nesta ação, perdas puramente econômicas não são
recuperáveis. *
b) No, porque o exterminador foi a causa imediata dos danos ao restaurante.
c) Sim, porque a fabricação de pesticidas é uma atividade
extraordinariamente perigosa.
d) Sim, porque o pesticida estava sendo usado como o previsto.
from Case & Donohue, 2008
3 ideias para levar com você
Avaliar é ensinar.
Estudantes precisam ser
envolvidos.
A avaliação dá a você, o que
você pede.
QUESTÕES
FINAIS?
References
• Entwistle, N. & Tait, H. (1990) ‘Approaches to learning, evaluations of teaching
and preferences for contrasting academic environments’, Higher Education, 19
(2): 169–94.
• Knight, J. (2011) University of Colorado. NAS/HHMI Summer Institute on
Undergraduate Biology Education, Madison, WI.
• Light, G, & Micari, M. (In press) Making Scientists: Six Principles for Effective
College Teaching, Harvard University Press.
• Beauchamp, McConaghy, Parsons & Sanford. (1996) Teaching From the Outside
In. Duval: 1996, 37.