Investigating the assessment of
learners’ participation in asynchronous
conference of an online course
Mariano Pimentel
Tatiana Escovedo
Hugo Fuks
Carlos José P. Lucena
{mariano, tatiana, hugo, lucena}@inf.puc-rio.br
http://groupware.les.inf.puc-rio.br
ICDE, Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Ambiente AulaNet
LES / PUC-Rio, desde 1997 - http://www.eduweb.com.br
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
2 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação pelo AulaNet
Ensino Tradicional
Aprendizagem Colaborativa
Estudo isolado
Estudo em grupo
Professor – autoridade
Professor – orientador
Aprendizagem reativa, passiva
Aprendizagem ativa, investigativa
Memorização de informações
Discussão e construção do
conhecimento
Avaliação: pontual, somativa e
realizada pelo professor
Avaliação: continuada, formativa e
realizada colaborativamente
Sala de aula
Ambientes online
Exame
Acompanhamento da Participação
Provas com questões:
- Discursiva
- Múltipla Escolha
correção
- Verdadeiro ou Falso
automática
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
Relatórios:
- Participação na Conferência, Debate
- Competência nos tópicos do curso
3 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação pelo AulaNet
COMUNICAÇÃO
Assíncrona
Síncrona
C orreio para
Mensagem
Participante
Instantânea
C orreio p/ Turma
Bate-papo
C onferência
Debate
Aulas
Informações
Documentação
Avisos
Bibliografia
Tarefas
Webliografia
Exame
Download
Pesq. Opinião
C o-autoria
Acompanham.
da Participação
Acompanham.
da Navegação
Educação a Distância
Método de ensino tradicional
Educação Online
Aprendizagem Colaborativa
C ertificado
COOPERAÇÃO
COORDENAÇÃO
Serviços AulaNet 2.1
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
4 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
TIAE: um curso online
• TIAE (Tecnologia de Informação Aplicada à Educação):
 online desde 1998.2 pelo AulaNet (16 edições), DI / PUC-Rio
 possibilita a pesquisação relacionada ao AulaNet
Sexta
Sábado
Domingo
Segunda
Terça
Quarta
Quinta
Leituras (serviço Aulas e pesquisas Web)
Seminário (C onferências)
12hs
14hs
Debate
13 às 14hs
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
5 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Seminários do TIAE
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
6 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Como avaliar a participação em conferências assincr.?
Devemos avaliar a participação do aprendiz?
•
Preconceitos usuais:
 A participação deveria ser espontânea, livre-participação
... mas verificou-se que: sem avaliação, ninguém participa adequadamente
 A avaliação expõe - inibe - oprime a participação do aluno
... mas verificou-se que: com avaliação, os alunos sentem que seu trabalho
está sendo valorizado
•
Problemas reais:
 Avaliação é difícil: subjetividade
 Avaliação de qualidade é caro: tempo e esforço
 Avaliação assusta: requer mudança de atitude do aprendiz
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
7 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
3,8
4
3,7
3,4
3,2
3,0
3,0
3
2,8
2,8
2,6
2,4
2
1,0
1
0,1
0,2
0,3
Participação ativa e
com qualidade
Quantidade de mensagens por
aprendiz por seminário
TIAE: evolução do método de avaliação nos seminários
0
1998.1
1998.2
1999.1
1999.2
2000.1 2000.2
2001.1
2001.2
2002.1 2002.2
2003.1 2003.2
2004.1 2004.2
2005.1
Avaliação não-sistemática
Atribuição de conceito
Categorização das mensagens
Seminários realizados no serviço Conferência
Estruturação da discussão inspirada no modelo IBIS
Definição de 3 questões por seminário
Qualidade ponderada pela quantidade (4 a 6 mensagens por seminário)
Mínimo de 2 mensagens até a metade do seminário
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
8 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação da Participação: Nota-Conceito
Nota
a. Evolução das notas das
mensagens de um aprendiz
b. Evolução da média das notas
de um aprendiz nos seminários
Bom = 10.0
Regular = 7.5
c. Evolução da média das notas
das mensagens de uma turma
10
10
8
8
6
6
4
4
2
2
Fraco = 5.0
Péssimo = 2.5
0.0
0
0
1
2
3
Nota média das mensagens
dos seminários
Mensagens
10.0
9.0
9.1
4
5
6
7
8
1
Seminários
3
4
5
6
7
8
Seminários
9.2
8.9
9.0
8.1
7.8
8.0
2
7.6
7.3
7.0
6.0
6.0
5.0
4.0
3.0
2.0
O método de avaliação
tornou-se mais rigoroso,
gerando notas menores
(embora a qualidade das
mensagens tenha
aumentado)
1.0
0.0
1998.1
1998.2
1999.1
1999.2
2000.1
2000.2
2001.1
2001.2
2002.1
2002.2
2003.1
2003.2
2004.1
Edições do curso TIAE
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
9 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação da Participação: Comentários
“A simples atribuição de conceito é irritante, ditatorial e pedagogicamente inadequada. (...)
Isto é o que tenho criticado: a falta de critérios de avaliação. Se compreendesse melhor estes
critérios, poderia agir mais adequadamente com o grupo. Ao menos, agir mais de acordo com o que é
esperado. Não sou contra a avaliação. O que sou contra é não entender porque sou avaliado assim e
não assado.” (Aprendiz TIAE 2000.1)
Quantidade média de palavras
das mensagens nos seminários
“O método de avaliação em IBW [Instrução Baseada na Web] consiste em avaliar não só a
participação como a opinião dos aprendizes, o que seria uma forma de avaliação subjetiva e
duvidosa. Como o facilitador avaliador pode fazer uma avaliação justa do conhecimento adquirido por
seus aprendizes?” (Aprendiz TIAE2002.2)
518
500
400
347
mensagens dos
aprendizes 254
300
204
200
146
187
320
188
138
109
107
100
37
64
52
11
12
2001.1
2001.2
52
57
2002.2
2003.1
13
0
1998.1
1998.2
1999.1
1999.2
2000.1
2000.2
2002.1
comentários
dos mediadores
2003.2
2004.1
Edições do curso TIAE
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
10 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação da Participação: Critérios
Avaliação baseada em critérios:
• Adequação
• Conteúdo
• Articulação
• Linguagem
Critérios de avaliação
diminuem a subjetividade
Problemas:
• Professores escrevem mais que os alunos
• A avaliação parece ser rigorosa demais
• A avaliação torna-se muito cara
Catolagação de 50 problemas usuais
Quantidade média de palavras
das mensagens nos seminários
(tempo médio de avaliação: 30 minutos por mensagem)
518
500
400
347
mensagens dos
aprendizes 254
300
204
200
146
187
320
188
138
109
107
100
37
64
52
11
12
2001.1
2001.2
52
57
2002.2
2003.1
13
0
1998.1
1998.2
1999.1
1999.2
2000.1
2000.2
2002.1
comentários
dos mediadores
2003.2
2004.1
Edições do curso TIAE
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
11 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação da Participação: Avaliação Quantitativa
Nos seminários TIAE,
ponderação entre qualidade e quantidade:
Não ajuda o grupo quem:
• só fala besteira (“achismo”)
• só lê ou fala pouco (aluno-ouvinte)
• fala demais (monopoliza a discussão)
1
Peso
1
a) Quantidade Irrelevante
b) Quantidade Mínima
A qua ntida de de m e nsa ge ns
nã o influe ncia a no ta (a va lia çã o
a pe na s qua lita tiva )
O pe so a um e nta co m a
qua ntida de de m e nsa ge ns
a té a tingir um m á x im o
P e so
1
P e so
1
1
1.0
m e nsa ge ns
0.9
0.8
M
m e nsa ge ns
0.7
0.5
0.5
0.5
0.3
0.2
0.1
0
0
0
0
12
13
14
15
0.0
0
1
2
3
4
5
6
7
8
9
10
11
Quantidade de mensagens do aprendiz no seminário
4.Regular > 2.Bom
(7.5*1 > 10*5)
c) Quantidade Máxima
d) Quantidade Moderada
O pe so a um e nta a té a tingir
um m á x im o de m e nsa ge ns
e dim inui a o a fa sta r-se de le
O pe so m á x im o é a tingido
e ntre um inte rva lo da
qua ntida de de m e nsa ge ns
P e so
1
1.Bom = 3.Péssimo
(10*0.2 > 2.5*0.8)
P e so
1
M
m e nsa ge ns
N
M m e nsa ge ns
Resultados:
• Aumento da Quantidade de mensagens sem cair a Qualidade
• Participação mais homogênea entre aprendizes
• Participação mais constante entre seminários
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
12 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Avaliação da Participação: lições aprendidas
•
•
•
•
Avalie, ainda que apenas com notas
Apresente Comentários, pois orientam os aprendizes
Use critérios de avaliação, pois reduzem a subjetividade
Evite comentários muito extensos:
 exige muito tempo dos mediadores
 aprendizes ficam com a impressão de que a avaliação é muito rigorosa
•
Pondere a qualidade pela quantidade
→ Avaliação Colaborativa (requer suporte computacional)
Mariano Pimentel, Tatiana Escovedo,
Hugo Fuks e Carlos J. P. Lucena
13 / 14
ICDE
Rio de Janeiro, 4 Setembro 2006
Investigating the assessment of
learners’ participation in asynchronous
conference of an online course
Mariano Pimentel
Tatiana Escovedo
Hugo Fuks
Carlos José P. Lucena
{mariano, tatiana, hugo, lucena}@inf.puc-rio.br
http://groupware.les.inf.puc-rio.br
ICDE, Rio de Janeiro, 4 Setembro 2006