1
Avaliação de Aplicações Educativas de Ciências
da Natureza: Desenvolvimento e
Implementação de uma Abordagem Hipermédia
M. J. Silva; M. C. A. Gomes
Abstract - Esta comunicação apresenta o processo de criação e
utilização de uma ferramenta hipermédia, denominada
“Hiper_Lista”, cujo objectivo é apoiar a avaliação das aplicações
multimédia de ciências da natureza. O recurso às técnicas
hipermédia, e em especial às hipertexto, revelou-se eficaz para
facilitar o acesso e utilização da informação multi-disciplinar
relacionada com a avaliação de aplicações educativas. A
“Hiper_Lista” foi concebida, desenvolvida e implementada tendo
em consideração a opinião de docentes e de diferentes peritos. A
“Hiper_Lista” tem sido utilizada pelas autoras em contextos de
investigação e em contextos de formação contínua de professores,
revelando-se um recurso técnico e didáctico útil e usável.
Index Terms— Avaliação; Aplicações educativas; Ferramenta
Hipermédia;
I. DO ENQUADRAMENTO ÀS MOTIVAÇÕES
O desenvolvimento de uma ferramenta hipermédia de apoio
à avaliação de aplicações educativas de Ciências da Natureza
enquadra-se no contexto da investigação sobre avaliação de
aplicações educativas multimédia. Valoriza-se, dentro do
largo espectro de entendimentos que o conceito de avaliação
pode ter ao longo do ciclo de vida de uma aplicação educativa,
o problema da selecção e utilização de aplicações educativas.
No entanto, esta ferramenta oferece, também, potencialidades
para o apoio à concepção e desenvolvimento deste tipo de
aplicações.
A investigação sobre avaliação de aplicações educativas
tem oferecido contributos relevantes de que se podem destacar
as imensas propostas de grelhas e listas de avaliação,
operacionalizadas em vários critérios de análise que englobam
aspectos desde as características técnicas, conteúdos,
interfaces ou orientações metodológicas. Da análise deste tipo
de ferramentas podemos detectar alguns problemas:
• Os vários itens das grelhas de avaliação não são
construídos perspectivando as características da populaçãoalvo e os contextos de utilização, não permitindo uma
abordagem situada.
• As qualidades técnicas não são analisadas perspectivando
a sua relação com os conteúdos e estilos de formação, não
Maria João Silva – Escola Superior de Educação do Instituto Politécnico
do Porto; [email protected]
Maria Cristina Azevedo Gomes – Escola Superior de Educação do Instituto
Superior Politécnico de Viseu; [email protected]
promovendo as desejáveis e importantes articulações entre
desenho de interfaces, usabilidade, aspectos didácticos e
objectivos.
• Os vários itens estão dispersos em diversas categorias,
sendo difícil encontrar as suas inter-relações e ponderar
eventuais pontos fortes e fracos da aplicação.
Cabe aos professores seleccionar adequadamente as
aplicações a utilizar em determinado contexto e com
determinadas finalidades. A complexidade inerente à
avaliação de aplicações para o ensino das Ciências da
Natureza, torna importante dotar os professores de
ferramentas e outros apoios que possam simplificar, ou pelo
menos estruturar e organizar este processo.
Neste sentido valorizaram-se, no desenvolvimento, de
“Hiper_Lista” as seguintes perspectivas:
• Uma perspectiva de avaliação educacional, que se
contrapõe à perspectiva da investigação educacional, e que
tenta equacionar contextos reais de utilização dirigindo-se a
professores e alunos de uma forma global e não apenas a uma
comunidade científica restrita [1]
• Uma perspectiva de avaliação sumativa das aplicações
educativas, valorizando o apoio aos processos da sua selecção
e real utilização em contextos educativos
• Uma perspectiva de avaliação integradora que relacione
de forma explícita as várias características das aplicações.
• Uma perspectiva de avaliação qualitativa de aplicações
educativas que enfatiza a reflexão sobre princípios de
qualidade, equacionando os necessários “trade-offs” da sua
aplicação.
II. DAS TAREFAS À IMPLEMENTAÇÃO DA “HIPER_LISTA”
A. Trama de tarefas da “Hiper_Lista”
A rede de tarefas que a “Hiper_Lista” pretende
disponibilizar para o utilizador, baseou-se nas perspectivas
atrás equacionadas e foi desenvolvida tendo em vista a
realização dos seguintes objectivos:
“- Integrar critérios de qualidade do ensino/aprendizagem
nas ciências da natureza, critérios de qualidade das aplicações
multimédia e critérios de tipificação dos contextos de
utilização.
- Facilitar avaliações micro e macro, disponibilizando a
possibilidade de navegação entre diferentes níveis de
agregação de critérios de avaliação e entre critérios inter-
2
relacionados” [2]
As tarefas disponibilizadas na “Hiper_Lista” podem
sistematizar-se da seguinte forma:
• Consultar os critérios de qualidade dos diferentes
elementos - como a Imagem, o Som e as Imagens Animadas e das diversas características - como as Características
Técnicas as Características Didácticas (Estratégias, Metáforas
e Objectivos) - das aplicações multimédia (ver Figura 1). Os
critérios de qualidade são apresentados na forma interrogativa,
sendo a sua consulta apoiada por uma estrutura de hipertexto,
que permite:
•
Navegar entre critérios de avaliação com maior ou
menor grau de especificidade. Os pequenos triângulos, que
antecedem os critérios de ordem mais geral, são
interactivos e permitem o acesso aos critérios mais
específicos (ver Figura 2).
•
Navegar através de palavras-chave, que permitem
consultar, em simultâneo e por associação de ideias, a
aplicação de um princípio a diferentes elementos e
características de uma aplicação multimédia (ver Figura 3).
Figura 1 - Ecrã de consulta dos critérios de qualidade relativos à integração do
som.
Figura 2 - Ecrã de consulta de critérios de qualidade aplicados à integração
do som numa aplicação. Transição para uma pesquisa baseada na palavra
chave consistência. Neste caso, está a ser realizada uma consulta que acedeu
ao nível de maior especificidade do princípio geral consistência.
Figura 3 - Ecrã de comparação de um princípio de qualidade (consistência)
aplicado a um elemento e a uma característica da aplicação (som e estratégias
adoptadas).
• Tipificar um contexto de utilização. A “Hiper_Lista”
adapta a esta tipificação os exemplos e sugestões que oferece.
• Consultar o conjunto de Ideias, que pretendem sintetizar
informação sobre aplicações educativas multimédia
disponíveis comercialmente (ver Figura 4).
• Consultar o Glossário, que inclui definições dos
elementos e características das aplicações, bem como dos
princípios gerais de qualidade.
Figura 4 - Exemplo de um ecrã de consulta de Ideias sobre integração do
som.
3
B. Processo de concepção, desenvolvimento e
implementação da “Hiper_Lista”
A “Hiper_Lista” foi implementada em ToolBook IIAsymetrix (Asymetrix Corporation). A história da concepção,
desenvolvimento e implementação da “Hiper_Lista” está
descrita em [2], [3], [4], [5] e [6] tendo incluído as seguintes
fases:
• Desenho da sua estrutura hipertexto, definição dos
critérios de qualidade a integrar nessa estrutura e validação
destes critérios através da sua utilização na avaliação de várias
aplicações educativas multimédia.
• Desenvolvimento de um primeiro protótipo, apresentado
em [2]. Este protótipo privilegiou a inter-relação entre
critérios de qualidade das aplicações e a possibilidade de
pesquisas com maior ou menor grau de especificidade.
• Avaliação informal do protótipo, por consulta a peritos.
Esta
avaliação
produziu
importantes
sugestões,
nomeadamente em relação à interface, à introdução de novas
componentes na estrutura base da “Hiper_Lista” e à definição
dos contextos de utilização da aplicação educativa a ser
avaliada.
• Implementação na “Hiper_Lista” de uma componente
“oferta de ideias” que pretende sintetizar informação sobre
aplicações educativas. Foi também implementada a
possibilidade de imprimir listas de critérios de qualidade, com
a opção de um maior ou menor grau de especificidade.
Nesta fase, a “Hiper_Lista” foi apresentada a diferentes
peritos e docentes (demonstração no 2º Simpósio Investigação
e Desenvolvimento de Software Educativo, 1997, Coimbra),
tendo-se verificado pedidos para utilização da “Hiper_Lista”
em contextos de formação de professores. Estes pedidos
constituíram factores de motivação, e, embora neste caso
ainda se tratasse de intenções de uso, foram relacionados com
a afirmação “Data showing voluntary usage is really the
ultimate subjective satisfaction rating” [7].
A implementação da “Hiper_Lista” incluiu também como
objectivo a facilidade de actualização. A importância desta
característica torna-se clara face à permanente evolução das
abordagens de avaliação das aplicações educativas e,
sobretudo, face ao notável crescimento da oferta de aplicações
educativas.
III. UTILIZAÇÃO DA “HIPER_LISTA”
A utilização da “Hiper_Lista” teve início logo nos seus
primeiros momentos de existência e tem continuado até hoje.
Numa primeira fase, ainda durante o seu desenvolvimento, a
“Hiper_Lista” foi utilizada em contextos de investigação,
nomeadamente em dois projectos de doutoramento.
Posteriormente, a “Hiper_Lista” tem sido utilizada na
formação de professores, como ferramenta de apoio à selecção
e utilização de aplicações educativas.
A. Em contextos de investigação
No contexto da investigação de doutoramento sobre
integração do som em interfaces utilizador-computador de
educação ambiental [5], a “Hiper_Lista” teve um papel
importante na avaliação da integração do som em aplicações
educativas multimédia. Esta avaliação estruturou-se em três
fases sequenciais:
• Avaliação exploratória da integração do som num
conjunto de aplicações multimédia, utilizando, e validando, o
conjunto de critérios de qualidade da “Hiper_Lista”.
• Avaliação das potencialidades da integração do som
num conjunto de aplicações multimédia. Esta avaliação
baseou-se na estrutura hipertexto já implementada na
“Hiper_Lista”, tendo contribuído para o desenvolvimento da
sua componente “Oferta de Ideias”.
• Análise de um conjunto de aplicações multimédia, com
base nos critérios de qualidade integrados na “Hiper_Lista”,
tendo como objectivo a selecção de problemas que
justificassem um investimento no projecto de doutoramento.
A validação de componentes da “Hiper_Lista”, através da
sua utilização na avaliação da integração do som em
aplicações concretas, tornou possível desenvolver um
conjunto de critérios de avaliação facilmente utilizáveis em
contextos reais. Para esta facilidade de utilização contribuiu a
componente “Oferta de Ideias”, na qual são dados exemplos
de utilização dos critérios de integração do som na avaliação
de um conjunto de aplicações.
Numa outra perspectiva, a presente integração da avaliação
da utilização do som com o processo de desenvolvimento da
“Hiper_Lista” enfatizou as relações entre os diferentes
elementos das aplicações e, nomeadamente, a importância que
a qualidade de um elemento pode ter para a qualidade dos
outros. Desta forma, os critérios de avaliação definidos para a
integração do som referem frequentemente as relações entre o
som e outros elementos das aplicações, como a imagem ou
como as metáforas.
No âmbito da investigação de doutoramento sobre
avaliação de aplicações educativas com base na análise do
desempenho do aluno [6], “Hiper_Lista” foi fundamental em
dois momentos distintos, no sentido de explorar os tipos de
estratégias utilizadas nas aplicações para o ensino das ciências
e com o objectivo de identificar aspectos relevantes a ter em
conta na apreciação do desempenho do aluno face a essas
aplicações.
O primeiro momento envolveu a análise de várias
aplicações educativas e permitiu, através da classificação das
estratégias utilizadas e da definição do conjunto de critérios de
avaliação para cada uma delas, confrontar potencialidades das
aplicações educativas para o ensino das ciências.
Num segundo momento analisaram-se, mais em detalhe,
aplicações hipermédia e de simulação de acordo com os
princípios de qualidade de “Hiper_Lista”. Esta análise
permitiu a elaboração de textos a incluir na oferta de ideias de
“Hiper_Lista”.
Deste estudo, conduzido com base na “Hiper_Lista”,
emergiram alguns aspectos importantes que foram
equacionados no desenvolvimento de um modelo genérico de
avaliação de desempenho do aluno. As potencialidades que os
ambientes hipermédia oferecem na exploração de conceitos
4
em profundidade, por associação de ideias e em múltiplas
representações dependem claramente das características da
interface, das estratégias de navegação disponibilizadas, dos
níveis de interactividade ou do controlo dado ao aluno. O
mesmo acontece relativamente às potencialidades que os
ambientes de simulação nos oferecem, na exploração do
comportamento de sistemas, através da manipulação de
variáveis e da oportunidade de visualizar múltiplas
representações do mesmo fenómeno. Tornou-se, assim,
importante considerar estes aspectos na avaliação do
desempenho do aluno, tendo presente que embora a qualidade
das interfaces das aplicações educativas condicione esses
desempenhos, eles também dependem fortemente dos
conteúdos tratados, do desenvolvimento cognitivo do aluno e
dos estilos de aprendizagem por ele adoptados.
B. Em contextos de formação de professores
A “Hiper_Lista” tem sido utilizada, desde 1997, em
contextos formais e informais, com professores dos diferentes
níveis de ensino, tendo-se registado uma adesão significativa
expressa, por exemplo, pelos vários pedidos de utilização para
a formação inicial e contínua de professores.
As experiências de exploração da “Hiper_Lista”, em acções
de formação contínua de professores, têm evidenciado as suas
potencialidades para a formação de professores, bem como a
adesão dos professores a uma ferramenta deste género quer
para fundamentarem decisões ao nível da selecção de
aplicações educativas, quer para planearem a utilização de
aplicações educativas, tendo como base a avaliação das
potencialidades e limitações das mesmas.
A “Hiper_Lista” tem sido utilizada pelas autoras deste texto
em cursos de formação contínua de professores, na Escola
Superior de Educação do Instituto Politécnico de Viseu e na
Escola Superior de Educação do Instituto Politécnico do
Porto. Nestas acções de formação foi ainda possível observar
que a utilização da “Hiper_Lista” pelos professores deve ser
apoiada de várias formas.
Em primeiro lugar, a “Hiper_Lista” deve ser utilizada com
base numa estratégia proposta pelos formadores. As autoras
têm proposto aos professores uma primeira exploração para
familiarização com os critérios integrados na estrutura
hipertexto da “Hiper_Lista”, seguida de uma exploração em
profundidade tendo como base uma dada tarefa (seleccionar
uma aplicação educativa ou avaliar uma aplicação educativa
para a utilizar num dado contexto). Esta estratégia tem-se
revelado eficaz e eficiente, na opinião das formadoras e dos
formandos.
Em segundo lugar, importa realçar que na primeira
utilização da “Hiper_Lista”, os professores recorrem
frequentemente à consulta do Glossário da própria
“Hiper_Lista” com o objectivo de se familiarizarem com a
terminologia utilizada. No entanto, têm também sido esses
mesmos professores a afirmar que a complementaridade da
documentação escrita se torna fundamental nas primeiras
utilizações da “Hiper_Lista”. A documentação escrita
fornecida tem consistido em textos relativos à terminologia e
problemática da qualidade das aplicações educativas - por
exemplo Silva e Gomes [8].
Aquando da avaliação pelos professores sobre a utilização
da “Hiper_Lista”, tem sido também recorrentemente referida
como importante a possibilidade, oferecida na “Hiper_Lista”,
de imprimir os critérios de qualidade nela integrados. Tem
sido notória a complementaridade da utilização desses
critérios na versão hipermédia e na versão impressa.
IV. CONCLUSÕES
O desenvolvimento da ferramenta de apoio à avaliação de
aplicações
educativas
de
Ciências
da
Natureza
(“Hiper_Lista”) pretendeu ultrapassar algumas das limitações
detectadas neste domínio. Face ao processo de
desenvolvimento e avaliação realizados, considera-se possível
afirmar que a “Hiper_Lista” é uma ferramenta que contribui
para:
• Promover a reflexão sobre a qualidade das aplicações
educativas multimédia de ciências da natureza, evitando a
oferta de soluções únicas e simplistas.
• Apoiar processos de avaliação e selecção de aplicações
educativas multimédia de ciências da natureza, de acordo com
a diversidade de contextos educativos.
• Facilitar, de forma integrada, a utilização da informação
multidisciplinar, relacionada com a avaliação de aplicações
multimédia no contexto da educação em ciências.
• Disponibilizar informação relevante, quer para os
processos de selecção e utilização de aplicações, quer para os
processos de concepção das mesmas.
• Para a avaliação da “Hiper_Lista” considerou-se
fundamental conhecer as opiniões, atitudes e reacções de
peritos e outros futuros utilizadores. A avaliação informal por
peritos tornou-se fundamental, dada a multidisciplinaridade da
informação integrada na “Hiper_Lista” e as consequentes
dificuldades na concepção da sua interface. A avaliação por
professores e outros futuros utilizadores contribuiu para o
processo de validação da aceitabilidade, usabilidade e
utilidade da “Hiper_Lista”.
Completou-se o primeiro ciclo de vida da “Hiper_Lista”,
que
incluiu
a
sua
concepção,
desenvolvimento,
implementação, utilização em contexto e avaliação, tendo esta
última acompanhado todas as outras fases. Foi um processo
que decorreu de forma muito positiva e que permite
equacionar novas fases e novos ciclos de vida desta
ferramenta.
Deseja-se que futuras actualizações da “Hiper_Lista”
incluam a integração de exemplos multimédia – como sejam
pequenas vídeos de segmentos de aplicações educativas que
exemplifiquem de forma mais expressiva os critérios de
avaliação.
Importa perspectivar a divulgação e utilização alargada da
“Hiper_Lista” como material didáctico, que poderá incluir não
apenas a aplicação “Hiper_Lista”, mas também textos de
apoio à sua utilização. Estes textos deverão nomeadamente
introduzir e aprofundar os tópicos integrados na
5
“Hiper_Lista”. Por outro lado, a partilha da “Hiper_Lista” em
contextos de investigação foi um objectivo que acompanhou o
seu desenvolvimento e que se mantém actual.
V. AGRADECIMENTOS
Desejamos agradecer à Professora Teresa Mendes e ao
Professor António Câmara as orientações e apoio no
desenvolvimento deste trabalho.
Agradecemos a todos os peritos e professores que tornaram
o processo de avaliação de “Hiper_Lista” possível.
VI. REFERÊNCIAS BIBLIOGRÁFICAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
Salomon, G.(1991). Transcending the Qualitative-Quantitative Debate:
The Analytic and Systemic Approaches to Educational Research.
Educational Researcher; 20 (6), 10-18
Gomes, M. C. , & Silva, M. J. (1996). Avaliação de aplicações
educativas no ensino das ciências da natureza: formar para utilizar. Actas
do Simpósio Investigação e Desenvolvimento de Software Educativo.
Monte da Caparica: Universidade Nova de Lisboa.
Silva, M. J., & Gomes, M. C. (1996). Os multimedia e a qualidade do
ambiente em educação ambiental. In Borrego, C., Coelho, C., Boia, C.,
& Figueiredo, E. (Eds.), 5ª Conferência Nacional sobre a Qualidade do
Ambiente. Vol. 1 (pp. 491-500). Coimbra: Comissão de Coordenação da
Região Centro.
Silva, M. J. , & Gomes, M. C. (1997). “Hiper_Lista”: Reflectir sobre a
qualidade das aplicações educativas. Resumo. Actas do 2º Simpósio
Investigação e Desenvolvimento de Software Educativo. Coimbra:
Universidade de Coimbra.
Silva, M. J. (1999). Integração do som não falado nas representações
informatizadas dos sistemas ambientais : Uma investigação no âmbito
das interfaces detinadas à educação ambiental. Dissertação de
Doutoramento
Gomes, M. C. (2000). Avaliação e ciclo de vida das aplicações
educativas: Uma proposta com base na análise de desempenho do aluno.
Dissertação de Doutoramento em Ciências de Engenharia na Área de
Engenharia Informática. Coimbra: Universidade de Coimbra.
Nielsen, J. (1993). Usabilility Engineering. Academic Press
Gomes, M. C., Silva, M. J. (1994). Os Modelos Educativos e a
Concepção de Programas Educativos. Actas do II Congresso IberoAmericano de Informática na Educação,vol. 2. Lisboa: DEPGEF,
JNICT, CYTED, RIBIE, 247-252.