UM MODELO DE SUPORTE À AVALIAÇÃO FORMATIVA NO AMBIENTE
TELEDUC
JOICE LEE OTSUKA
[email protected]
THAISA BARBOSA FERREIRA
[email protected]
RICARDO LUÍS LACHI
[email protected]
HELOÍSA VIEIRA DA ROCHA
[email protected]
Núcleo de Informática Aplicada à Educação (NIED/UNICAMP)
Instituto de Computação – Universidade Estadual de Campinas (IC/UNICAMP)
Caixa Postal 6.176 – 13.083-970 – Campinas – SP – Brasil
+ 55 (19) 3788-5845
RESUMO
A busca por mudanças na avaliação, passando de um modelo baseado em testes pontuais para uma
avaliação formativa, tem sido alvo de formadores tanto em cursos presenciais quanto a distância. Na
modalidade a distância, esta forma de avaliação tem relevância ainda maior, possibilitando o
acompanhamento do comportamento do aprendiz mesmo sem o feedback das interações face a face. Este
artigo apresenta as pesquisas que vêm sendo desenvolvidas para prover, no ambiente TelEduc, um suporte
flexível à avaliação formativa, de acordo com as necessidades e objetivos pedagógicos de cada formador.
Palavras-chave — educação à distância, avaliação formativa, agentes de interface.
A MODEL TO SUPPORT FORMATIVE ASSESSMENT IN THE TELEDUC
ENVIRONMENT
ABSTRACT
A new way of assessment, which abandons traditional model based on tests to a more formative
assessment, has been researched by teachers of both face-to-face and distance courses. In fact, in distance
learning courses, formative assessment has still bigger relevance, as it makes possible the ongoing
accompaniment of the student's behavior even though face-to-face interactions are not present. This paper
presents the ongoing researches at TelEduc Project to increase the formative assessment support according
to the necessities and pedagogical goals of each teacher.
Keywords — distance education, formative assessment, interface agents
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
1.
INTRODUÇÃO
No modelo tradicional de ensino, baseado na abordagem comportamentalista, a avaliação tem se
limitado a verificar, por meio dos exames, se o aluno assimilou os conhecimentos que lhe foram
transmitidos, podendo ser comparada ao que Freire (1970) denominou “educação bancária”, na qual o
professor/avaliador deposita conhecimentos prontos, esperando que os alunos avaliados reproduzam os
conhecimentos recebidos. A aprendizagem é passiva e individual, os aprendizes não são levados a refletir
sobre o que está sendo ensinado, sobre as aplicações das informações que lhes são transmitidas (Rego
1995). Este modelo não prepara os aprendizes para solucionarem problemas da vida real que irão enfrentar
fora das salas de aula, e tão pouco para construírem seus conhecimentos, ou se comunicarem e trabalharem
em grupo.
Nesse contexto é necessário rever as práticas pedagógicas e, conseqüentemente, as concepções e
práticas de avaliação. Segundo Gipps (apud Cerny 2001), “está em curso uma mudança de paradigma na
área de avaliação, passando de um modelo de testes e exames que valoriza a medição das quantidades
aprendidas de conhecimentos transmitidos, para um modelo em que os aprendizes terão oportunidade de
demonstrar o conhecimento que construíram, como construíram, o que entendem e o que podem fazer, isto
é, um modelo que valoriza as aprendizagens quantitativas e qualitativas no decorrer do próprio processo
de aprendizagem.” A avaliação neste novo paradigma deixa de ser apenas um instrumento de verificação
da aprendizagem para atuar diretamente no processo de ensino-aprendizagem, de forma contínua, ao longo
de todo o processo. Segundo Cerny, o grande avanço que se coloca hoje para a avaliação é “constituir-se
como parte do processo de ensino-aprendizagem, permeando e auxiliando todo este processo, não mais
como uma atividade em momentos estanques e pontuais”.
Há uma busca por uma avaliação formativa, que segundo Perrenoud (1999), pode ser entendida como
“uma prática de avaliação contínua que tem como objetivo principal melhorar as aprendizagens em curso,
contribuindo para o acompanhamento e orientação dos alunos durante todo seu processo de formação”.
Esta modalidade de avaliação tem características informativa e reguladora, ou seja, fornece informações aos
dois atores do processo de ensino-aprendizagem: ao professor, que será informado dos efeitos reais de suas
ações, podendo regular sua ação pedagógica; e ao aprendiz, que terá oportunidade de tomar consciência de
suas dificuldades e, possivelmente, reconhecer e corrigir seus próprios erros (Hadji 2001).
Também existe uma busca por uma avaliação que ajude na formação de pessoas capazes de realizar
tarefas, de construir novos conhecimentos e de resolver problemas. Assim, segundo Gardner (1994), “se
queremos formar pessoas capazes de escrever, devemos fazê-las escrever; se queremos formar pessoas
capazes de analisar dados, devemos dar-lhes dados para analisarem; se queremos formar pessoas que
saibam fazer uma boa apresentação, devemos fazê-las dar boas apresentações...”.
Seguindo a abordagem de avaliação do fazer e da construção do conhecimento, encontramos a
avaliação baseada em performance (Wiggins 1990; Haertel 1999), que é uma forma de avaliação formativa
baseada na observação e orientação do aprendiz durante o desenvolvimento de tarefas significativas e
relevantes ao mesmo, planejadas para levarem o aprendiz a um engajamento ativo na construção dos seus
conhecimentos.
Nos cursos a distância a avaliação formativa pode ser realizada por meio do acompanhamento das
participações dos aprendizes nas atividades propostas no curso. Neste contexto as características
informativa e reguladora desta abordagem de avaliação têm revelado uma especial importância por
favorecer a percepção do comportamento dos aprendizes e a identificação de problemas mesmo a distância,
possibilitando uma orientação mais efetiva das aprendizagens em andamento. No entanto, a maioria dos
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
ambientes de educação a distância (EaD) atuais não oferecem recursos apropriados para o apoio a esta
forma de avaliação, restringindo-se ao registro das interações decorrentes das atividades desenvolvidas ao
longo do curso. Assim, esse processo de avaliação demanda muito trabalho e tempo do professor no
acompanhamento, análise e orientação das participações dos alunos, o que consiste num dos principais
problemas da avaliação formativa, seja ela presencial ou a distância.
Destas constatações e da observação do uso do ambiente TelEduc1 em vários cursos oferecidos
totalmente a distância adotando a avaliação formativa, o grupo de pesquisa do Projeto TelEduc passou a
desenvolver pesquisas que visam explorar as tecnologias computacionais para apoiar esta forma de
avaliação. Alguns resultados já obtidos são as ferramentas InterMap e Acessos, que auxiliam na análise
quantitativa dos registros das interações. O InterMap utiliza técnicas de visualização de informação para
mapear a interação e a participação dos atores de um curso (Romani 2000) e a ferramenta Acessos permite a
geração de relatórios sobre os acessos dos aprendizes ao curso e a cada uma das ferramentas do TelEduc
(Rocha 2002).
Neste artigo são apresentados outros três projetos que estão sendo desenvolvidos no Projeto TelEduc
com o intuito de prover suporte à avaliação formativa. Como o papel do formador, acompanhando e
orientando os alunos durante todo o processo de aprendizagem é fundamental para avaliação formativa, está
sendo desenvolvido um projeto de (re)design das ferramentas de comunicação, que tem como objetivo
facilitar o registro de observações e notas atribuídas pelo formador durante as atividades desenvolvidas
pelos alunos ao longo do curso, bem como a posterior recuperação, consolidação e análise dessas
informações (Ferreira 2001; Ferreira, Otsuka e Rocha 2003). A fim de diminuir a sobrecarga do formador
durante a análise dos registros de sessões de bate-papo, foi desenvolvido um projeto que explora o uso de
agentes de interface para a pré-seleção de mensagens relevantes de uma sessão, de acordo com os interesses
do formador (Lachi, Otsuka e Rocha 2002; Lachi 2003). Um terceiro projeto engloba os resultados dos dois
projetos anteriores e tem como objetivo propor uma arquitetura multiagente para o suporte à avaliação
formativa. A arquitetura proposta é baseada em uma comunidade de agentes de interface que atua
analisando informações quantitativas (dos registros das interações) e qualitativas (dos registros das
avaliações realizadas e pré-análises de atividades) das participações dos alunos ao longo do curso e
oferecendo informações relevantes ao formador durante o processo de avaliação (Otsuka e Rocha 2002;
Otsuka 2002).
Na próxima seção é apresentado um estudo das práticas de avaliação que vêm sendo aplicadas em
cursos a distância, bem como um levantamento das principais linhas de pesquisa encontradas nessa área. Na
seção 3 são apresentados os projetos em andamento dentro do grupo TelEduc envolvendo o suporte à
avaliação e, finalizando, na seção 4 são apresentadas algumas considerações finais
2. AVALIAÇÃO EM EAD
A avaliação em cursos a distância tem ocorrido de duas formas principais: presencial ou à distância
com o apoio de recursos computacionais. As avaliações presenciais, em geral, são realizadas por meio de
uma prova na presença do formador ou de outra pessoa responsável, apenas para verificar a aprendizagem
dos pontos principais do conteúdo e determinar a promoção do aprendiz no final de um módulo ou curso.
1
http://teleduc.nied.unicamp.br
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
No Brasil, a legislação que regulamenta os cursos de educação à distância determina que a avaliação da
aprendizagem deve incluir os exames presenciais2:
Decreto 2.494 de 1998, artigo 7 – “A avaliação do rendimento do aprendiz para fins de promoção,
certificação ou diplomação, realizar-se-á no processo por meio de exames presenciais, de
responsabilidade da Instituição credenciada para ministrar o curso, segundo procedimentos e
critérios definidos no projeto autorizado”.
Apesar desta lei não impedir o uso de outras formas de avaliação, muitas vezes esta é utilizada como
forma única de avaliação, ou então principal, recebendo peso maior na distribuição das notas.
Quando realizada a distância, a avaliação é mais complexa, por não se ter o feedback das interações face
a face, que fornece alguns indícios da compreensão e interesse do aluno, possibilitando uma avaliação
informal deste. Também existe a questão da autenticação do usuário, ou seja, como podemos garantir que
quem está realizando a avaliação é realmente quem diz ser?
A avaliação a distância com o apoio computacional tem sido realizada principalmente por meio de
testes online e/ou por meio do acompanhamento contínuo das participações dos aprendizes em um
ambiente virtual de EaD. O uso dos recursos computacionais introduz algumas restrições como a
disponibilidade destes recursos e habilidade técnica requerida, a falta de riqueza de expressão da
comunicação predominantemente textual, além dos problemas técnicos (Kerka e Wonacott 2000). Por outro
lado, são diversas as vantagens do uso do computador como meio para a avaliação a distância: a
distribuição rápida, fácil e barata, a grande interatividade possibilitada pelos mecanismos de comunicação e
a possibilidade de registrar todas as interações e explorar tecnologias computacionais para auxiliar na
análise desses registros.
Segundo Thorpe (1998), a EaD baseada na Comunicação Mediada por Computador (CMC), também
conhecida como terceira geração da EaD, introduziu mudanças em termos “do que pode ser avaliado e
como”. Os ambientes computacionais de aprendizagem deixam de ser apenas locais de apresentação de
informação e passam a ser locais de interação, de colaboração e de construção colaborativa do
conhecimento, possibilitando a exploração de novos objetivos de aprendizagem como o desenvolvimento
de habilidades de comunicação, trabalho em grupo e conhecimento em tecnologia da informação, que são
habilidades cada vez mais valorizadas. Hopper (1998) cita três abordagens que envolvem o uso inovador do
computador em educação, que podem ser consideradas no contexto da EaD, e apresenta as correspondentes
concepções de avaliação freqüentemente adotadas nestas abordagens:
Exploração e interação por meio de experiências previamente construídas: o exemplo mais
conhecido desta abordagem consiste nos sistemas de tutores inteligentes, que permitem a criação de
micromundos inteligentes, possibilitando a interação dos aprendizes com simulações pré-construídas.
Esses sistemas usam a inteligência artificial para construírem um modelo das crenças do aprendiz, a fim
de diagnosticarem e prescreverem as atividades dos aprendizes. Esta abordagem foca estratégias de
avaliação baseadas na captura e análise automática das ações dos usuários, geralmente enfatizando
dados sobre o estilo de aprendizagem, estratégia meta cognitiva e motivação (Reeves 1992 e Feurzeig,
1987 apud Hopper 1998);
Aprendizagem com foco na construção do conhecimento pelo aprendiz: esta abordagem é
freqüentemente associada com a metodologia pedagógica construcionista de Papert (1994), e tem como
objetivo fazer os aprendizes construírem suas próprias representações dos conhecimentos ao invés de
2
http://www.mec.gov.br/Sesu/educdist.shtm#regulamentação
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
interagirem com aquelas criadas por outras pessoas. Um exemplo é o uso da linguagem de programação
Logo para a construção de modelos matemáticos. A avaliação nesta abordagem geralmente tem foco na
avaliação baseada em performance;
Aprendizagem colaborativa: educadores que enfatizam a aprendizagem colaborativa freqüentemente
têm foco na avaliação da participação dos aprendizes em interações por meio de ferramentas de
comunicação eletrônica (e-mail, fóruns de discussões, news, chat, moos, etc). Há um grande interesse
no registro e monitoração de variáveis como o total de contribuições de um aprendiz, total de horas
online, número de logins, total de mensagens enviadas, quantidade e qualidade das interações e análise
dos padrões de interação dos aprendizes por meio de diagramas.
Muitas pesquisas têm sido desenvolvidas para prover suporte à avaliação online, visando diminuir as
suas restrições e explorar as suas vantagens. A seguir são apresentadas as duas linhas de pesquisa principais
identificadas: o suporte à avaliação baseada em testes objetivos e o suporte à avaliação contínua das
participações dos alunos em um ambiente virtual de EaD.
2.1
Suporte à avaliação baseada em testes objetivos
Os testes objetivos são projetados para terem uma única resposta correta e, portanto, podem ser
facilmente automatizados. Esta forma de avaliação ganhou grande popularidade nos sistemas de EaD
devido à rapidez e facilidade da aplicação e geração imediata de feedback.
Parte das pesquisas desenvolvidas na área de suporte a testes objetivos está concentrada no estudo de
formas de armazenamento que permitam maior flexibilidade na apresentação dos testes. Segundo
Brusilovisky e Miller (1999), o estado da arte da tecnologia de armazenamento está no uso de banco de
dados de questões armazenadas em um formato interno, ou seja, partes das questões (estrutura, respostas, e
feedback) são armazenadas em tabelas de banco de dados e a questão é gerada pelo sistema no momento em
que for apresentada para o aprendiz, podendo ser apresentada de diferentes formas.
Grupos de pesquisa têm desenvolvido estudos em busca da geração de testes mais individualizados.
Uma linha de pesquisa encontrada está relacionada com o uso de meta dados de questões, ou seja, são
armazenadas informações sobre as questões (tipo, tópico avaliado, palavras-chave, peso ou complexidade),
e o sistema de avaliação gera questionários personalizados sob demanda, de acordo com os parâmetros
solicitados pelo autor/professor (Brusilovisky e Miller 1999; Cardoso e Lima 2001). Outra linha de
pesquisa envolve o desenvolvimento de questões adaptativas baseadas na análise do modelo do aluno,
gerando questões adaptadas ao nível de conhecimento do aluno (Karagiannidis et al. 2001).
Apesar de terem aplicações pedagógicas restritas por endereçarem conteúdos pontuais, os testes
objetivos são muito usados com o intuito de enfatizar alguns termos e conceitos importantes e que mereçam
uma atenção extra (Nelson 1998).
2.2
Suporte à avaliação contínua
A avaliação contínua a distância pode ser realizada por meio da análise dos registros das participações
dos aprendizes no curso (atividades desenvolvidas, registro de interações e colaboração entre os
aprendizes). Esta forma de avaliação tem especial importância no contexto da EaD por possibilitar a
percepção do comportamento do aprendiz, favorecer a identificação de problemas, além de permitir alguma
forma de autenticação da identidade do aprendiz, pela familiarização com o estilo e habilidades do mesmo.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
No entanto, a maioria dos ambientes de EaD atuais não oferecem suporte efetivo à esta forma de
avaliação. Na literatura encontramos algumas pesquisas que vêm sendo desenvolvidas visando facilitar o
acompanhamento e análise do grande volume de informações gerado pelas ações dos aprendizes nos cursos.
Jacques e Oliveira (2000) apresentam uma arquitetura multiagente para a monitoração das principais
ferramentas de comunicação de um ambiente de EaD. Os agentes analisam a colaboração do grupo (grupos
de aprendizes que interagem mais entre si, assuntos que mais interessam a cada grupo, percentual de
participação de cada grupo e de cada aprendiz no grupo) e também na participação individual dos
aprendizes (temas de interesse, número de mensagens trocadas).
Em (Souto et al. 2001) é apresentado um modelo de monitoração do aprendiz baseado em três
requisitos principais: identificação do aprendiz remoto, rastreamento das suas interações com o material
instrucional e identificação do padrão de comportamento cognitivo do aprendiz a partir da observação de
suas interações com o ambiente. Em (Musa et al. 2001) é apresentado um agente notificador baseado no
conceito de sistema de alertas inteligentes, que consiste na monitoração de um banco de dados para a
detecção de determinadas condições e tomada de decisão.
A tecnologia de mineração de dados também vem sendo empregada para prover suporte à avaliação,
facilitando a exploração dos dados gerados pelas interações realizadas durante um curso. Em (Silva, Seno e
Vieira 2001) é proposto um sistema de auxílio à avaliação por meio do acompanhamento das atividades do
aprendiz em 3 níveis: (1) rastreamento de páginas visitadas e mensagens trocadas; (2) coleta dos resultados
das atividades propostas; (3) análise dos dados coletados nos níveis anteriores. A análise dos dados
coletados adota algoritmos de mineração de dados para buscar padrões de comportamento dos aprendizes
(por exemplo, encontrar comportamentos que caracterizem aprendizes aprovados).
Já Zaïane e Luo (2001) exploram diretamente o log de acessos gerado pelo servidor web, usando
técnicas de mineração de dados para extrair padrões de comportamento que possam ajudar professores a
avaliarem o processo de aprendizagem, rastrearem as ações dos aprendizes e medirem a efetividade da
estrutura dos cursos. É proposto um framework flexível para a mineração de dados no contexto de sistemas
de aprendizagem online, no qual o usuário pode definir as restrições nos estágios de coleta e transformação
de dados, bem como nos passos de descoberta e análise de padrões. O usuário pode direcionar o processo
de mineração de dados de acordo com suas necessidades, por meio de filtros e de uma linguagem de
consulta simples.
Para prover suporte à avaliação em atividades colaborativas, Tarouco et al. (2000) propõem um
ambiente de suporte ao trabalho em grupo e à avaliação do aprendiz, baseada nos seguintes mecanismos:
(1) uma ferramenta de rastreamento do aluno (páginas acessadas, data e hora); (2) uma ferramenta de
controle de fluxo de informações, que identifica e registra a participação dos alunos em ferramentas de
comunicação; (3) uma ferramenta de ponto de vista, por meio da qual são possíveis a coleta e tabulação de
respostas e níveis de contribuições dos alunos em discussões; e uma ferramenta de votação, que provê um
feedback rápido dos aprendizes para o professor sobre um determinado assunto.
Com este levantamento bibliográfico foi possível a verificação das principais linhas de pesquisa na área
de suporte à avaliação, além da constatação do crescente interesse por esta área de pesquisa. Na próxima
seção é apresentado o modelo de suporte à avaliação formativa em construção no ambiente TelEduc. Como
poderá ser observado, partes significativas do modelo já estão implementadas e em fase de testes finais para
incorporação e disponibilização junto ao TelEduc.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
3.
MODELO DE SUPORTE À AVALIAÇÃO FORMATIVA NO AMBIENTE TELEDUC
Os primeiros resultados da busca por recursos que auxiliassem no acompanhamento das participações
dos alunos foram obtidos com as ferramentas InterMap e Acessos. O InterMap, utiliza técnicas de
visualização de informação para mapear a interação e a participação dos atores envolvidos em um curso no
TelEduc, possibilitando a fácil visualização de informações como o fluxo das mensagens de correio
trocadas entre os participantes do curso (Figura 1), ou a quantidade de mensagens diárias enviadas por um
aprendiz em um determinado fórum. Com o InterMap, o formador passa a ter “pistas” semelhantes àquelas
que dispõe em aulas presenciais, como a falta de interação de alguns aprendizes, a formação de grupos e a
identificação entre pares (Romani 2000).
Figura 1 - grafo criado pela ferramenta InterMap representando o Figura 2 - Ferramenta Acessos do TelEduc: freqüência de acessos
fluxo de mensagens de correio trocadas. Os vértices (nós)
representam os participantes no curso e as arestas representam a
troca de mensagens entre eles.
Já a ferramenta Acessos permite a geração de relatórios contendo o número de acessos e a data e a
hora do último acesso de cada participante ao curso, a freqüência dos acessos de cada participante
durante um determinado período do curso (Figura 2), e os acessos dos aprendizes a cada uma das
ferramentas do TelEduc. Esta ferramenta tornou-se necessária para possibilitar a diferenciação entre o
“aprendiz calado” mas presente e o “aprendiz ausente”, que é extremamente importante no
acompanhamento de um curso.
É fato que, na avaliação formativa baseada no acompanhamento da performance dos aprendizes no
desenvolvimento de atividades, os métodos e os critérios de avaliação variam de acordo com os
objetivos de aprendizagem dos formadores. Dessa forma, prover suporte à análise qualitativa neste
contexto é uma tarefa complexa: como não é possível e nem desejável a pré-determinação de um
conjunto de tipos de atividades e critérios de avaliação que atendam aos objetivos de qualquer curso,
fica difícil a previsão do suporte mais adequado em cada caso. Logo existe uma demanda por soluções
adaptáveis a cada curso, de acordo com os objetivos de aprendizagem dos formadores.
Em busca desta flexibilidade, o grupo TelEduc tem desenvolvido pesquisas de suporte à avaliação
formativa empregando a tecnologia de agentes de software, que são entidades de software que atuam de
forma contínua e autônoma em um determinado ambiente, sendo capazes de intervir neste ambiente, de
forma flexível e inteligente, sem necessidade da constante orientação humana (Bradshaw 1997). Mais
especificamente, estão sendo usados agentes de interface, que são aqueles que aprendem observando e
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
monitorando as ações dos usuários em uma interface, e atuam como assistentes pessoais, colaborando
com o usuário e com outros agentes na realização de determinadas tarefas (Maes 1995).
Assim, o foco das pesquisas que vêm sendo desenvolvidas no Projeto TelEduc, na área de suporte à
avaliação, é facilitar a atuação do formador, provendo suporte flexível às principais tarefas
desenvolvidas pelos formadores no processo de avaliação formativa, principalmente na análise
qualitativa das participações dos aprendizes.
As pesquisas do grupo TelEduc estão sendo desenvolvidas em duas pontas: por um lado espera-se
facilitar o registro e recuperação das avaliações (notas e comentários) realizadas ao longo do curso
pelos formadores e, por outro lado, espera-se reduzir a quantidade de informações a serem analisadas e
auxiliar o formador na identificação e recuperação de informações quantitativas e qualitativas
relevantes à avaliação, de acordo com os seus critérios.
Nas subseções seguintes apresentaremos uma breve descrição dos três projetos que estão sendo
desenvolvidos nesta área. O primeiro projeto, denominado Gerenciador de Avaliações, é um (re)design
das ferramentas de comunicação do TelEduc que visa facilitar o registro e a recuperação das
informações das avaliações realizadas pelos formadores ao longo de um curso (Ferreira 2001; Ferreira,
Otsuka e Rocha 2003). Os outros dois projetos empregam a tecnologia de agentes de interface para
facilitar a filtragem e recuperação de informações relevantes à avaliação: o projeto Chapa, trata
especificamente do suporte à filtragem de participações relevantes nos registros de sessões de batepapo, de acordo com o interesse do formador (Lachi, Otsuka e Rocha 2002; Lachi 2003); e o outro
projeto propõe uma arquitetura multiagente modelada para prover suporte adaptativo à recuperação de
informações relevantes a partir dos registros das interações e das avaliações, a fim de facilitar a análise
quantitativa e qualitativa das participações dos alunos, de acordo com as necessidades do formador
(Otsuka e Rocha 2002; Otsuka 2002).
3.1
Gerenciador de avaliações
Como já afirmado anteriormente, a avaliação formativa não se restringe à correção do produto final
de uma atividade, e sim a um processo de observação e ajuste contínuo que deve ocorrer ao longo do
desenvolvimento da atividade. Essas observações consistem em informações altamente relevantes para
a avaliação formativa, sendo a fonte para uma análise qualitativa das participações dos aprendizes e
para a regulação das aprendizagens. Porém, a interface atual do TelEduc não possibilita o registro desse
processo, ficando a critério do formador fazer este controle por meio de ferramentas externas ao
ambiente (por exemplo, via uma planilha eletrônica) e disponibilizar as informações ao aprendiz
continuamente.
Desta forma, este projeto tem como objetivo prover uma interface que permita o registro e a
organização das informações referentes ao acompanhamento de atividades realizadas nas ferramentas
de comunicação do TelEduc (Fóruns de Discussão, Bate-Papo e Portfólio), bem como a recuperação
dessas informações no momento em que o formador desejar. Assim, foi realizado um (re)design no
ambiente TelEduc, que envolveu a criação dos seguintes recursos: Interface para o cadastro das
informações de planejamento de uma avaliação; Interface para a visualização de todas as avaliações
cadastradas; Interface para a avaliação dos aprendizes nas atividades por meio de conceitos e
comentários e Interface para a recuperação de informações necessárias no processo de avaliação.
As subseções seguintes apresentam uma breve descrição das funcionalidades desenvolvidas,
exemplificando como tais mecanismos poderão auxiliar o formador no processo de avaliação
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
formativa. Uma descrição detalhada destas funcionalidades pode ser encontrada em (Ferreira, Otsuka e
Rocha 2003)
3.1.1
Planejamento de Avaliações
A fase inicial de uma avaliação formativa está no planejamento das atividades. Neste planejamento
é necessário que formador tenha clareza sobre os objetivos da atividade, o que se deseja verificar, quais
habilidades e competências devem ser desenvolvidas com a atividade em questão. Também é
necessário que se determine o que será observado para verificar se os aprendizes estão caminhando em
direção aos objetivos planejados, ou seja, devem ser definidos alguns critérios de avaliação.
Dessa forma, a nova interface das ferramentas de comunicação provê apoio ao planejamento da
avaliação, possibilitando o cadastro de informações sobre a avaliação no momento de criação de uma
componente de avaliação (abertura de um fórum de discussão, criação de uma sessão de bate-papo,
criação de atividade a ser postada no portfólio). A interface criada para o cadastro da avaliação de uma
atividade permite que o formador registre as seguintes informações: objetivos da atividade, critérios de
avaliação, valor, data de início e data de término da atividade a ser avaliada.
A interface proposta será útil para a organização do processo de planejamento da avaliação pelo
formador, para facilitar na orientação do foco de observação dos formadores durante o processo de
acompanhamento, e também para orientar os aprendizes durante o desenvolvimento de suas atividades,
já que estes poderão ter mais clareza sobre os objetivos da atividade e sobre o que será considerado em
sua avaliação.
3.1.2
Manipulação das avaliações
Durante o desenvolvimento de um curso no TelEduc, várias atividades podem ser planejadas e
geralmente os formadores precisam acompanhar o desenvolvimento de diversas atividades paralelas, e
avaliar cada uma delas. Com o objetivo de facilitar esse acompanhamento e a manipulação dos dados
dessas avaliações, foi desenvolvida uma nova ferramenta para o ambiente TelEduc, chamada
Avaliações, que possibilita aos formadores e aprendizes um gerenciamento de todas as atividades de
avaliação cadastradas (Figura 3).
Por meio desta ferramenta, os formadores podem manipular os dados de planejamento da
avaliação, registrar seus comentários e notas sobre as atividades acompanhadas e ter acesso a relatórios
de acompanhamento do processo de avaliação.
Figura 3 –Visualização das Avaliações cadastradas
Figura 4 – Histórico do Desempenho de um Participante
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
3.1.3
Acompanhamento
Para apoiar a fase de acompanhamento em uma avaliação formativa, é necessário prover suporte ao
formador em duas tarefas principais: o registro das observações sobre o aproveitamento dos alunos
realizadas pelo formador ao longo do curso, e a análise de informações que auxiliem no
acompanhamento, como por exemplo: participação do aprendiz na atividade em questão e em
atividades relacionadas, observações realizadas sobre o desempenho do aprendiz, aprendizes que ainda
não entregaram ou participaram da atividade, atraso de entrega das tarefas, aprendizes que ainda não
foram avaliados, etc.
Visando facilitar a tarefa de registro de observações, as ferramentas de comunicação receberam
uma nova interface, que permite a avaliação das participações dos aprendizes nas atividades realizadas
por meio de notas e comentários. Para auxiliar o formador a realizar uma avaliação formativa, novas
observações do aproveitamento de um aprendiz em uma mesma atividade podem ser registradas
quantas vezes o formador julgar necessário.
De forma a auxiliar o formador na tarefa de análise de informações, foram criados os seguintes
relatórios de acompanhamento:
Relatório de Participação: Exibe a quantidade de participações de cada aprendiz em uma
atividade, sendo que por meio deste relatório pode-se visualizar o conteúdo das participações. A
análise do relatório de participação auxilia o formador a distinguir aprendizes ativos e passivos na
atividade, podendo incentivar aqueles que não estão participando, auxilia também na verificação do
andamento das atividades agendadas e oferece condições de avaliar a qualidade das interações do
participante.
Relatório de Verificação de Notas e Relatório de Notas da Turma: O primeiro relatório fornece
um indicativo do desempenho dos aprendizes divulgando a nota obtida por cada aprendiz em uma
avaliação. O segundo, por sua vez, dá uma visão geral do desempenho da turma em todas as
atividades, mostrando as notas obtidas por cada participante em todas as avaliações.
Relatório de Histórico do Desempenho (Figura 4): Contém todas as informações fornecidas pelo
formador durante o acompanhamento do aprendiz em uma atividade: notas, comentários, datas das
avaliações e formadores que avaliaram. O histórico de desempenho é importante para mostrar a
evolução dos aprendizes ao longo do desenvolvimento de uma atividade. Também é importante
para geração de feedback a cada aprendiz sobre o seu desempenho. Esse feedback, na medida que
faz com que os aprendizes percebam suas dificuldades e tentem melhorá-las, consiste em um
elemento fundamental no processo de regulação da aprendizagem.
O projeto está totalmente implementado e em fase de incorporação no TelEduc. Desse modo poder-se-á
ter o uso da interface proposta em situação real de curso, a fim de verificar a efetividade dos recursos
criados.
3.2
Projeto Chapa - Suporte à análise de sessões de Bate-papo
Além de facilitar o registro das avaliações ao longo do curso, é necessário prover recursos que auxiliem
na filtragem de informações relevantes à avaliação, diminuindo o volume de informações a serem
analisadas durante o processo de avaliação formativa.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Este projeto de pesquisa focou primeiramente a filtragem de mensagens na ferramenta de Bate-papo, já
que esta, como concebida originalmente, é a ferramenta de comunicação menos estruturada3 do TelEduc.
Essa característica faz com que a interação se dê “de forma natural e informal, tendo em vista que é
relativamente não-planejada, ou seja, a construção da interação vai sendo planejada e re-planejada a
cada novo lance do jogo da linguagem” (Dionisio 2001), diferentemente do que, provavelmente,
aconteceria se a opinião do participante fosse postada via uma ferramenta de comunicação como o Correio
ou Fórum de Discussões.
Essa naturalidade e informalidade na conversação permitem aos participantes de uma sessão de batepapo dar uma vazão maior às suas idéias o que, conseqüentemente, se reproduz em um número enorme de
mensagens. Quando usada no contexto da EaD, a ferramenta de bate-papo acaba originando uma grande
sobrecarga para o professor, uma vez que ele tem que analisar todas as mensagens realizados em uma
sessão de bate-papo para poder avaliar adequadamente as contribuições dos alunos.
A fim de diminuir a sobrecarga do formador no momento de analisar o que foi discutido em uma sessão
de bate-papo, foi desenvolvida uma ferramenta baseada na tecnologia de agentes de interface que possibilita
a seleção automática de mensagens do bate-papo por um agente de interface, de acordo com os interesses
do formador. Essa capacidade de seleção é adquirida pelo agente a partir da observação dos critérios
utilizados pelo formador na hora de selecionar uma mensagem. Com base nessa observação, o agente é
capaz de analisar uma mensagem e decidir, por si só, se o seleciona ou não. Nas próximas subseções são
apresentados o processo de aprendizagem do agente e alguns resultados iniciais de análises de sessões de
bate-papo efetuadas pelo agente.
O agente de interface desenvolvido possui duas formas de aprender os interesses do usuário na seleção
das mensagens de uma sessão de bate-papo: pela observação e pelo feedback do usuário. A aprendizagem
por observação ocorre antes do agente efetuar qualquer análise das mensagens de uma sessão. O agente
apresenta ao formador uma interface que permite a seleção das mensagens de uma sessão de bate-papo
registrada no ambiente TelEduc (Figura 5). Por meio desta interface, o formador pode selecionar um
conjunto de mensagens e indicar, para cada mensagem, os critérios que o levaram a fazer a seleção. Os
critérios passíveis de serem indicados pelo formador como sendo o motivo para a seleção de uma
determinada mensagem são: o apelido da pessoa que enviou ou recebeu uma mensagem; a entonação da
fala presente na mensagem; e qualquer uma das palavras presentes na mensagem (Figura 6). Esses critérios
foram levantados por meio da pesquisa com diversos formadores que ministraram cursos via o ambiente
TelEduc e da observação dos quesitos que eles levavam em consideração na hora de selecionar uma
mensagem.
3
A única estruturação presente nos comentários dos bate-papos é com relação a existência do nome da pessoa que enviou o
comentário (remetente), da pessoa que recebeu o comentário (destinatário) e à entonação da fala (“pergunta para”, “fala para”,
etc), além do próprio texto do comentário. Ex.: José pergunta para Maria: Que dia é hoje ?
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Figura 5 – Visualização do registro de uma sessão de batepapo
Figura 6- Janela de indicação dos critérios de seleção
Durante o processo de seleção do formador, o agente vai “observando” os critérios indicados para cada
mensagem selecionada. A cada seleção, o agente atribui um peso a cada um dos critérios indicados, em
função da freqüência com que aparecem nas mensagens já selecionadas pelo formador. Esse conjunto de
critérios e seus respectivos pesos são usados pelo agente na construção do perfil do formador.
Já a aprendizagem por feedback ocorre após a análise de uma sessão de bate-papo pelo agente, quando
o formador revisa a seleção feita pelo agente, marcando mensagens não selecionadas e/ou cancelando
seleções realizadas pelo agente. Por meio desse processo, o agente aprende quais as mensagens que
selecionou de “forma errada”, refinando o perfil do usuário.
Vale ressaltar que nas primeiras sessões analisadas, o agente não terá muitos subsídios para poder
decidir sobre a seleção ou não de alguma mensagem da sessão. No entanto, à medida que o agente vai
observando o usuário em análises de várias sessões de bate-papo de um mesmo contexto de curso, o agente
consegue refinar o perfil do usuário e torna-se capaz de fornecer resultados mais efetivos na seleção das
mensagens relevantes ao usuário.
A ferramenta Chapa já está completamente implementada e dos resultados dos testes preliminares já
efetuados, ainda não em situação real de curso, é possível dizer que a tecnologia de agentes de interface se
aplicou bem ao problema de filtragem adaptativa de mensagens em sessões de bate-papos, de acordo com o
perfil de seleção do usuário. E é relevante ressaltar, que isso ocorreu mesmo sendo o bate-papo, a
ferramenta de comunicação menos estruturada do TelEduc. O desafio da análise de uma sessão de batepapo é, justamente, o fato desta ferramenta não apresentar qualquer estrutura que auxilie na seleção de
mensagens relevantes, tais como as encontradas em outras ferramentas (por exemplo, na ferramenta
Correio, o conteúdo do campo assunto normalmente dá uma dica sobre o teor do conteúdo da mensagem).
Por isso, os resultados positivos obtidos com esta ferramenta apontam para a extensão da aplicação do
agente para as outras ferramentas do ambiente. O próximo passo é disponibilizar o Chapa para que possa
ser testado em situações reais de um curso à distância.
3.3
Uma arquitetura multiagente para o suporte à avaliação formativa
Este projeto propõe uma arquitetura multiagente modelada para auxiliar o formador na avaliação
formativa das atividades desenvolvidas ao longo do curso, por meio da recuperação e análise de
informações relevantes a partir dos registros das interações e de pré-análises destas interações (realizadas
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
por agentes como o Chapa, na ferramenta Bate-Papo), e também a partir dos registros das avaliações
(realizadas por meio do Gerenciador de Avaliações).
Como visto na seção 3.1, o gerenciador de avaliações possibilita o registro de observações e notas
decorrentes do acompanhamento contínuo das participações dos alunos em cada atividade proposta. No
entanto, o processo de acompanhamento de cada atividade ainda requer um grande esforço do formador,
principalmente na recuperação e análise de informações relevantes à avaliação formativa. Além disso, o
suporte oferecido é local a cada atividade desenvolvida, ficando a cargo do formador a consolidação e
análise dos dados finais das atividades realizadas, a fim de obter uma visão geral das participações dos
alunos no escopo geral do curso.
O projeto Chapa explora o uso de agentes de interface para prover suporte adaptável à seleção de
mensagens relevantes em uma sessão de bate-papo, reduzindo a sobrecarga do formador na análise de
atividades desenvolvidas usando esta ferramenta de comunicação. Os resultados positivos obtidos com o
Chapa dão indicativos da viabilidade do uso dos agentes de interface numa solução mais ampla de suporte
adaptativo para a avaliação formativa em ambientes de EaD.
Dessa forma, este projeto propõe uma arquitetura multiagente baseada em agentes de interface que visa
estender as funcionalidades do gerenciador de avaliações proposto por Ferreira (Ferreira 2001; Ferreira,
Otsuka e Rocha 2003), com o intuito de atender aos seguintes requisitos:
Prover suporte adaptativo à recuperação de informações relevantes a partir dos registros das
interações e das avaliações, a fim de facilitar a análise quantitativa e qualitativa das participações
dos alunos em cada atividade (visão local de cada atividade) e no escopo geral do curso (visão
global);
Auxiliar na identificação de possíveis problemas que possam comprometer as aprendizagens em
andamento e na identificação dos perfis de aprendizagem dos alunos;
Auxiliar na avaliação de atividades, por meio da análise de critérios definidos durante o
planejamento da atividade ou “aprendidos” com o formador. Também espera-se auxiliar o
formador na verificação da consistência dos critérios usados para avaliar cada aluno em uma mesma
atividade e na geração de um feedback detalhado e consistente dessas avaliações.
A arquitetura inicial proposta é baseada em três tipos de agentes (modelados como classes): Agente
Monitor, Agente Analisador e Agente Avaliador. Estes serão especializados e instanciados para cada
ferramenta de comunicação/avaliação do ambiente, oferecendo um acompanhamento local das atividades
desenvolvidas em cada ferramenta. A arquitetura prevê também especializações dos agentes Analisador e
Avaliador que comunicarão com os agentes locais de cada ferramenta a fim de obter um acompanhamento
global de todas as atividades. A seguir são apresentados os três tipos de agentes propostos:
Agente Monitor: cada ferramenta de comunicação/avaliação do ambiente será observada por um
agente monitor, responsável por rastrear periodicamente os registros de interações e avaliações de
cada atividade desenvolvida na ferramenta em questão, coletando índices quantitativos e
qualitativos sobre as participações dos alunos nestas atividades;
Agente Analisador: os índices coletados serão analisados por meio de um conjunto inicial de
regras que identificarão os comportamentos dos alunos e possíveis problemas de aprendizagem.
Estas regras deverão ser ajustadas durante o curso, de acordo com o feedback do formador;
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Agente Avaliador: estes agentes auxiliarão o formador na análise de atividades a partir de critérios
definidos durante o planejamento da atividade ou aprendidos com o formador durante o processo
de avaliação (pela informação direta do formador ou por meio do feedback direto do formador).
Esta arquitetura multiagente está sendo proposta visando uma solução descentralizada e modular. Cada
ferramenta de comunicação do ambiente possuirá um conjunto de agentes especializados para o
atendimento dos requisitos de suporte à avaliação formativa específicos da ferramenta em questão e serão
ativados apenas quando a ferramenta monitorada estiver sendo usada para o desenvolvimento de alguma
atividade do curso. A arquitetura proposta também facilitará a extensão do modelo para novas ferramentas
de comunicação/avaliação, a partir da especialização dos três agentes propostos na arquitetura para o
atendimento dos requisitos de acompanhamento da nova ferramenta.
A arquitetura multiagente proposta compõe, juntamente com os projetos apresentados nas subseções
anteriores, o modelo de suporte à avaliação formativa que vem sendo construído no ambiente TelEduc.
Com esse modelo espera-se explorar a facilidade de se registrar tudo o que ocorre em um curso a distância
mediado por computadores, a fim de prover um suporte flexível à avaliação formativa, por meio da
tecnologia de agentes de interface.
Um outro projeto foi iniciado em 2002 para o desenvolvimento de uma ferramenta de gerenciamento de
exercícios (questões de múltipla-escolha, verdadeiro-falso, associativa, lacunas e questões dissertativas),
com o objetivo de suprir uma necessidade relatada por usuários do ambiente TelEduc. A fim de favorecer o
uso desta ferramenta para a avaliação formativa esta pesquisa tem uma preocupação especial com a geração
de feedback significativo e análises quantitativas e qualitativas sobre o desempenho do aprendiz (Freitas
2002). A ferramenta resultante deste projeto será integrada à arquitetura multiagente proposta, por meio da
especialização dos agentes Monitor e Analisador, que deverão coletar e analisar o comportamento dos
alunos nas atividades realizadas nesta ferramenta, compondo assim o modelo de suporte à avaliação
formativa em desenvolvimento.
4. CONSIDERAÇÕES FINAIS
Um dos grandes desafios da avaliação formativa, tanto no ensino presencial como a distância, é a
sobrecarga de tarefas para os formadores e, conseqüentemente, um alto custo de implantação. Vários
pesquisadores vêm usando o ambiente TelEduc para prover cursos baseados em atividades de construção
colaborativa de conhecimentos (Prado e Valente 2002; Almeida 2002; Otsuka e Rocha 2002; Ferreira,
Otsuka e Rocha 2003). Nestes cursos a avaliação formativa tem sido possível por meio dos registros das
ferramentas de comunicação e informações quantitativas das interações obtidas pelas ferramentas Acessos e
Intermap. No entanto, estas experiências mostraram a forte necessidade do desenvolvimento de pesquisas
visando diminuir a sobrecarga dos formadores na recuperação, acompanhamento, análise e organização do
enorme volume de dados quantitativos e qualitativos gerados por essas interações.
Neste artigo foram apresentadas as pesquisas que estão sendo desenvolvidas no grupo TelEduc em
busca de um modelo de suporte flexível à avaliação formativa. O diferencial dessas pesquisas está na
exploração da tecnologia de agentes de interface para prover suporte flexível à avaliação formativa, baseada
na observação da interação do formador com o ambiente. Aproveitando a facilidade de se registrar tudo o
que ocorre em um curso a distância mediado por computadores, as pesquisas desenvolvidas no grupo têm
empregado a tecnologia de agentes de interface para atuar sobre esses registros, filtrando, recuperando e
analisado informações relevantes à avaliação formativa, de acordo com os interesses e objetivos
pedagógicos do formador.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Para finalizar, vale ressaltar que o desenvolvimento dos projetos descritos neste artigo está seguindo a
abordagem de design participativo4, a qual vem sendo usada no desenvolvimento de todo o ambiente
TelEduc. Como apresentado em (Rocha 2002), todas as ferramentas do TelEduc foram idealizadas,
projetadas e depuradas segundo necessidades relatadas por seus usuários. Dessa forma, o modelo de suporte
à avaliação formativa em construção tem partido da análise das ações dos formadores durante o processo de
avaliação formativa, conforme apresentado em experiências de curso como as relatadas em (Otsuka e
Rocha 2002; Ferreira, Otsuka e Rocha 2003), para a criação de uma interface, respeitando todas as fases
dessas ações e, ao mesmo tempo, mantendo a necessária consistência interna da atual interface do ambiente.
5. REFERÊNCIAS BIBLIOGRÁFICAS
Almeida, M. E. B. de (2002) Incorporação da tecnologia de informação na escola: vencendo desafios,
articulando saberes, tecendo a rede. In: Moraes, M. C. (Org.). Educação a distância – Fundamentos e
Práticas. Nied – Unicamp, 2002, pp. 71-90.
Bradshaw, J. M. (1997). An Introduction to software Agents. In: Bradshaw, J. M. (Ed.). Software Agents.
Massachussetts: MIT Press 1997.
Brusilovsky, P.; Miller, P. (1999). Web-based Testing for Distance Education. In: Webnet World
Conference on WWW and Internet, 1999.
Cardoso, R.; Lima, J.V. (2001) AvalWeb - Sistema interativo para gerência de questões e aplicação de
avaliações na Web. In: Anais do VII Workshop de Informática na Escola, Fortaleza, 2001.
Cerny, R.Z.(2001). Uma reflexão sobre a avaliação formativa na educação a distância. UFSC, 2001.
Dionisio, A. P. (2001) Análise da Conversação. In: MUSSALIM F. e BENTES, A. C. (Org.) Introdução à
Lingüística: Domínios e Fronteiras. São Paulo, SP: Cortez. V.2, cap.3, p.69-100.
Ferreira, T. B. (2001). Desenvolvimento de uma Ferramenta de Suporte à Avaliação em Ambientes de
Ensino a Distância. Qualificação de Metrado, IC/Unicamp, 2001.
Ferreira, T. B.; Otsuka, J.; Rocha, H. (2003). Interface para Auxílio à Avaliação Formativa no Ambiente
TelEduc. In: XIV Simpósio Brasileiro de Informática na Educação (SBIE 2003). Rio de Janeiro, 12-14
de novembro, 2003 ( a ser publicado).
Freire, P. (1970). FREIRE, Paulo. Pedagogia do Oprimido. Paz e Terra, 1970.
Freitas, C. E. F. (2002). Desenvolvimento de uma Ferramenta de Avaliação Objetiva para Ambientes
Computacionais de EaD. Qualificação de Mestrado, IC/Unicamp, 2002.
Gardner, H. (1994). Reinventing our schools: a conversation with Howard Gardner. Disponível em:
http://www.education-world.com/a_issues/issues098.shtml
Haertel, E. (1999). Performance Assessment and Educational Reform. In: Phi Delta Kappan
Hopper, M. (1998) Assessment in WWW-Based Learning Systems: Opportunities and Challenges.
Journal of
Universal Computer Science 4, no. 4 (1998): 329-347. Disponível em:
http://www.jucs.org/jucs_4_4/assessment_in_www_based/paper.html
Jaques, P.; Oliveira, F.M. (2000). Um Experimento com Agentes de Software para Monitorar a
4
Design Participativo caracteriza-se pela participação ativa dos usuários finais do software ao longo de todo o ciclo de design
e desenvolvimento, refletindo suas perspectivas e necessidades.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Colaboração em Aulas Virtuais. Workshop de Informática na Escola, 2000.
Karagiannidis, C.; Sampson, D.; Brusilovsky, P. Layered Evaluation of Adaptive and Personalized
Educational Applications and Services. In: International Conference on Artificial Intelligence in
Education, San Antonio, Texas, 2001.
Kerka, S.; Wonacott, M.(2000) Assessing Learners Online. ERIC/ACVE, 2000. Disponível em:
http://ericacve.org/docs/pfile03.htm
Lachi, R. L. Chapa: Um Agente de Interface para Ferramentas de Bate-papo em Ambientes de Ensino à
Distância na Web. Dissertação de Mestrado, IC- Unicamp, 2003.
Lachi, R; Otsuka, J.; Rocha, H. (2002). Uso de Agentes de Interface no Suporte à Análise de Sessões de
Bate-Papo. Artigo submetido ao IHC 2002.
Maes, P. (1995). Agents that Reduce Work and Information Overload. Communications of the ACM.
38(11), novembro, 1995, 108-114.
Musa, D.; Oliveira, J.; Vicari, R. (2001). Agente para auxílio a avaliação de aprendizagem em ambientes
de ensino na Web. In:Workshop de Informática na Escola, 2001.
Nelson, G. E. (1998). On-Line Evaluation: Multiple Choice, Discussion Questions, Essay, and Authentic
Projects.In: Third Teaching in the Community Colleges Online Conference, Kapiolani Community
College, Hawaii, April 7-9, 1998. (ED 430 695).
Otsuka, J. L. (2002). Um Modelo Baseado em Agentes de Interface para o Suporte à Avaliação Formativa
em Ambientes de Educação a Distância. Campinas: Instituto de Computação da UNICAMP. (Exame de
Qualificação Específico, Doutorado em Ciência da Computação).
Otsuka, J. L.; Rocha, H. V. (2002) Avaliação Formativa em Ambientes de EaD. In: XIII Simpósio
Brasileiro de Informática na Educação (SBIE 2002). São Leopoldo, 12-14 de novembro, 2002
Papert, S. A Máquina das Crianças. Repensando a escola na Era da Informática. Porto Alegre: Artes
Médicas, 1994.
Perrenoud, P.(1999). Avaliação: da excelência à regulação das aprendizagens entre duas lógicas. Porto
Alegre: Artes Médicas, 1999.
Prado, M. E.; Valente, J. A. (2002). A educação a distância possibilitando a formação do professor com
base no ciclo da prática pedagógica. In: Moraes, M.C. (Org). Educação à Distância: Fundamentos e
Práticas. Campinas, SP:Unicamp/Nied, 2002, pp. 27-50.
Rego, T. C. Vygotsky: (1995). Uma Perspectiva Histórico-Cultural da Educação. Petrópolis, RJ: Vozes,
1995. 138p.
Rocha, H. (2002). O ambiente TelEduc para Educação à Distância baseada na Web: Princípios,
Funcionalidades e Perspectivas de desenvolvimento. In: Moraes, M.C. (Org). Educação à Distância:
Fundamentos e Práticas. Campinas, SP:Unicamp/Nied, 2002, pp. 197-212.
Romani, L. (2000). Intermap: Ferramenta para Visualização da Interação em Ambientes de Educação a
Distância na Web. Dissertação de Metrado, IC/Unicamp, dez 2000.
Silva, D. R.; Seno, W. P.; Vieira, M. T. P. (2001), Acompanhamento do Aprendizado em Educação a
Distância com Uso de Data Mining. In: Conferência Latinoamericana de Informática, Mérida,
Venezuela, 2001.
Revista Brasileira de Informática na Educação – V.11 N. 2 – 2003
Souto, M. A. et al. (2001). Ferramentas de Suporte a Monitoração do Aluno em um Ambiente Inteligente
de Ensino na Web. In: Anais do VII Workshop de Informática na Escola, Fortaleza, Brasil, 2001.
Tarouco, L.; de Vit, A. R.; Hack, L.; and Geller, M. (2000) Supporting Group Learning and Assessment
through Internet. In: Trans-European Research and Education Networking Association Conference,
Lisboa, Portugal, Maio 2000.
Thorpe, M. (1998) Assessment and 'Third Generation' Distance Education. Distance Education 19, n. 2,
1998: 265-286. (EJ 582 131).
Wiggins, G. (1990) The case for authentic assessment. Eric Digest, no. ED328611
Zaïane, O.; Luo, J. (2001). Towards Evaluating Learners’ Behaviour in a Web-Based Distance Learning
Environment. In: ICALT 2001.