UNICAMP
Universidade Estadual de Campinas
Instituto de Computação
Uso de agentes de interface para
auxiliar a avaliação formativa no
ambiente TelEduc
Ricardo Luís Lachi
Joice Lee Otsuka
Heloisa Vieira da Rocha
Tópicos
• Introdução
– Avaliação formativa
• Pesquisas em andamento
– Suporte a avaliação formativa no ambiente TelEduc
• Agente de seleção construído
– Processo de aprendizagem
• Considerações finais
Introdução
• Avaliação formativa:
– Contínua
– Atua diretamente no processo de ensino-aprendizagem
• Cursos a distância:
– maior percepção do comportamento e desempenho do
aluno
– autenticação da identidade do aluno: familiarização com o
estilo e habilidades do mesmo
Introdução
• Ambientes de EaD
• Compostos de diversas ferramentas de comunicação
• Todas as interações das ferramentas são registradas
• Extrair dados relevantes para a avaliação formativa
Análise demanda muito trabalho e tempo do
professor
Pesquisas em andamento
• Projetos do grupo TelEduc (escopo avaliação):
• Desenvolvimento de uma Ferramenta de suporte à
Avaliação em Ambientes de Ensino a Distância
[email protected]
• Desenvolvimento de uma Ferramenta de Testes
Objetivos para Ambientes Computacionais de EaD
[email protected]
Pesquisas em andamento
• O uso de agentes de interface no gerenciamento de
informações em ambientes de EaD
[email protected]
• Um Modelo Baseado em Agentes de Interface para o
Suporte à Avaliação Formativa em Ambientes de
Educação a Distância
[email protected]
Pesquisas em andamento
• Utilização de agentes de interface:
• Aprendem observando e monitorando as ações dos
usuários em uma interface, atuando como assistentes
pessoais, colaborando com o usuário (Maes, 1995)
• Agente desenvolvido:
• Uma ferramenta baseada em agentes de interface,
desenvolvida para diminuir a sobrecarga do professor
na análise de registros de sessões bate-papo do TelEduc
Agente de interface
construído
Há inúmeras ferramentas de comunicação no TelEduc
Construiu-se o agente focando a ferramenta de bate-papo
É a ferramenta mais desestruturada dentre todas as
existentes.
Nas outras é possível algum tipo de estruturação
Ex.: no Fórum de Discussões é
possível organizar as mensagens por
tópicos
Descrição do problema
• Descrição do problema especificamente
para a ferramenta de bate-papo:
- selecionar um conjunto de mensagens
de uma sessão de bate-papo registrada no
ambiente TelEduc que seja relevante para um
determinado professor
• Inicialmente, é apresentado o registro de uma
sessão de bate-papo ao usuário
Agente construído
• Não
nenhum dado na base de conhecimentos
Processo
deháaprendizagem
do agente
• O agente vai observar o usuário selecionando
as mensagens
Tabela
Status das
mensagens
mensagens
Agente construído
Processo de aprendizagem
Etapa 1: O usuário deverá selecionar o conjunto de
mensagens que considera relevantes
Clicando no link de status
correspondente à mensagem que
quer selecionar
Agente construído
Processo de aprendizagem
Ao clicar em uma mensagem para
selecioná-la é aberta uma janela com os
motivos que o usuário pode indicar como
causa da seleção da mensagem
Agente construído
Processo de aprendizagem
Mensagem
selecionada
Opções de seleção:
- Remetente
- Entonação da fala
- Destinatário
Agente construído
Processo de aprendizagem
Palavras selecionadas da mensagem
- É apresentada a mensagem inteira
- Verificado se a palavra selecionada
realmente consta na mensagem original
(não foi alterada pelo usuário)
Agente construído
Processo de aprendizagem
A
forma
de
relacionamento entre
as
palavras
selecionadas
Opções:
• Confirmar a seleção da mensagem
• Não confirmar a seleção da mensagem
Agente construído
Processo de aprendizagem
Mensagem foi selecionada:
• Cor de fundo da mensagem
alterada
• Legenda
indicando
o
número
de
mensagens
selecionadas pelo usuário
Agente construído
Processo de aprendizagem
Fim da Etapa 1: seleção de uma mensagem por parte
do usuário
Ao final dessa etapa o agente armzenou os dados
selecionados em sua base de conhecimentos
Essa etapa 1 é denominada aprendizagem por
observação
Agente construído
Processo de aprendizagem
E
assim
continua
sucessivamente:
• O usuário vai selecionando
as mensagens que considera
interessantes até o momento
em que resolve pedir para o
agente
selecionar
as
mensagens para ele
Agente construído
Análise do agente
Decide se seleciona
ou
Não uma mensagem
Calcula uma probabilidade com
base na freqüência das palavras
presentes
na
base
de
conhecimentos
P
a
Técnica de
l
a
classificação
v
Bayesiana
r
a
1
P
a
l
a
v
r
a
2
P
a
l
a
v
r
a
3
m
I
n
h
a
Base de
conhecimentos
O agente apresenta
um conjunto de mensagens que
Agente
construído
analisou e considerou relevantes para o usuário com base
nos
Interface
dados que possui armazenados na sua base de
conhecimentos
Nº mensagens selecionadas pelo usuário
Nº mensagens selecionadas pelo agente
Mensagem selecionada pelo usuário
Mensagem selecionada pelo agente
Agente construído
Processo de aprendizagem
A partir desse momento, o usuário pode refinar a
seleção apresentada pelo agente
Etapa 2: O usuário refina a seleção apresentada pelo
agente !
Agente construído
Processo de aprendizagem
Participante que
selecionou
a
Opçõesmensagem
de seleção:
- Remetente
- Entonação da fala
- Destinatário
Agente construído
Processo de aprendizagem
Palavras que
foram
indicadas
anteriormente
pelo usuário
Agente construído
Processo de aprendizagem
A essa etapa 2 é dado o nome de aprendizagem via
feedback direto do usuário
Pode-se pedir para o agente analisar novamente a
sessão e assim segue o processo: usuário refina, agente
re-analisa, usuário refina, agente re-analisa, ...
Considerações finais
• Testes preliminares apontam resultados
positivos:
• Entre 65% a 75% das mensagens
selecionadas pelo agente são relevantes para o
usuário
• Pode ser estendido às outras ferramentas de
comunicação
• Grupo TelEduc (escopo avaliação):
• Prover suporte ao professor na identificação,
seleção e análise de dados relevantes à avaliação
formativa
Contatos
• E-mails para contato:
• Ricardo Luís Lachi: [email protected]
• Joice Lee Otsuka: [email protected]
• Heloisa Vieira da Rocha: [email protected]
• Grupo de pesquisa TelEduc:
http://www.nied.unicamp.br/~grupoteleduc
• Ambiente TelEduc: http://teleduc.nied.unicamp.br