Sistema de Realidade Aumentada para Desenvolvimento Cognitivo da
Criança Surda
Carlos Alberto Dainese1, Tânia Rossi Garbin2, Cláudio Kirner3
1
Universidade Metodista de Piracicaba –UNIMEP – Faculdade de Ciências Matemáticas da Natureza e
Tecnologia da Informação
2
3
Universidade Metodista de Piracicaba –UNIMEP – Faculdade de Ciências Humanas
Universidade Metodista de Piracicaba –UNIMEP – Faculdade de Ciências Matemáticas da Natureza e
Tecnologia da Informação – Programa de Pós Graduação em Ciência da Computação
[email protected], [email protected], [email protected]
Abstract. By using of computational resources and Virtual Reality (VR) it is possible
to explore and suggest different situations to visualization, immersion and interaction
as facilitator in complex works of learning. In the work with hearing impaired
individuals new strategies in the process of understanding and performing tasks, due
to the restrictions imposed by their impairment. Therefore, exploring the visual and
sensorial channel can improve the hearing impaired´s cognitive process in order to
improve understanding and develop skills. New information can be added by use of
Augmented Reality to mixed scenario compost by real and virtual subjects, allowing
development the presence sensation, comprehension, perception, abstraction,
information retention and motivation, which are important phases to cognitive
development. This work has the objective of defining an Augmented Reality System to
facilitate the hearing impaired´s cognitive process.
Resumo. Com a utilização de recursos computacionais e de Realidade Virtual (RV) é
possível explorar e propor situações diferenciadas de visualização, imersão e
interação como elemento facilitador em tarefas complexas de aprendizado. No
trabalho com portadores de deficiência auditiva, novas estratégias devem ser usadas
no processo de entendimento e execução de tarefas, dada as restrições impostas pela
surdez. Portanto, explorar de forma adequada os canais sensoriais visuais e táteis
pode melhorar o processo cognitivo do surdo no exercício da compreensão e
desenvolvimento de habilidades. Através da Realidade Aumentada, novas
informações podem ser adicionadas em um ambiente misturado de objetos reais e
virtuais, possibilitando aumentar o senso presença, compreensão, percepção,
abstração, retenção de informação e motivação, fases importantes no
desenvolvimento cognitivo. Este trabalho tem por objetivo propor um sistema de
Realidade Aumentada para facilitar o desenvolvimento cognitivo da criança surda.
1. Introdução
Realidade Aumentada (RA) é um avanço no uso de recursos gráficos, permitindo criar sistemas que
compõem imagens tridimensionais geradas por computador com imagens reais, aumentando as
informações do cenário, o senso de presença e participação nos ambientes, favorecendo a visualização
e imersão.
Para o desenvolvimento do sistema de Realidade Aumentada é necessário: a) detectar a posição
e movimento do usuário, identificando parte do ambiente que está sendo observado pelo usuário
durante seu movimento posicional; e b) definir processo de ajuste de coordenadas para permitir captura
dos objetos do mundo real para misturar com ambiente sintético.
Através da Realidade Aumentada é possível estabelecer uma condição de interação que
favorece a motivação, a atenção e, principalmente, a retenção de informações, pois o usuário pode
estabelecer uma relação com os objetos do ambiente muito semelhante às situações reais, funcionando
como uma espécie de transdutor sensorial que traduz idéias e conceitos para sensações visuais,
auditivas e tácteis que, depois de percebidas e processadas, se transformam nas informações que
permitirão a compreensão dessas idéias e conceitos, podendo facilitar as fases do processo cognitivo.
No trabalho com crianças surdas é fundamental que recursos visuais sejam explorados de todas
as formas para facilitar a compreensão e o aprendizado de novos conteúdos. Através da Realidade
Aumentada é possível explorar: movimentação de imagens, estímulos visuais com cores e tamanhos
diferentes, controle espacial, tempo de apresentação, interação, imersão, percepção, entre outros. O
presente trabalho apresenta uma proposta para o desenvolvimento de um sistema de Realidade
Aumentada para o desenvolvimento cognitivo da criança surda [3][6][10].
2. A Criança Surda: Aspectos Relevantes para o Desenvolvimento Cognitivo
Desenvolver métodos para atender a criança surda requer o conhecimento de características
comportamentais e cognitivas. Portanto, um programa elaborado para indivíduos surdos não significa
apenas "adaptar" serviços oferecidos para o ouvinte, pois o programa para ser eficaz precisa utilizar
recursos que facilitem o desenvolvimento de habilidades [5][10][4][8][3].
A utilização da audição é aprendida naturalmente pelos indivíduos através do contato com
estímulos provocados pelo meio-ambiente. Os indivíduos que apresentam perdas auditivas
desenvolvem-se em um universo restrito e podem apresentar dificuldades de compreensão,
interiorização e articulação da linguagem, pensamento abstrato, elaboração de conceitos, percepção
espacial, problemas psicomotores e problemas sociais.
A audição, como um dos principais canais de informações, apresenta-se como fator importante
para os indivíduos receberem mensagens que, sob a forma de sons, são captadas e transformadas em
estímulos que atingem o córtex cerebral e são percebidas, decodificadas e analisadas. Além disso, a
audição é um dos principais sentidos responsáveis pela aquisição da linguagem, processo que envolve
desenvolvimento de pensamento, memória e raciocínio [8].
A falta de experiências sensoriais afeta o equilíbrio e o desenvolvimento normal. Desta forma, a
surdez é um tipo de deficiência grave que interfere no comportamento do indivíduo. Os programas de
reabilitação e educação devem considerar a capacidade mental, capacidade motora, estabilidade e
maturidade emocional do indivíduo surdo.
2.1. Aspectos Psicológicos e Cognitivos
O funcionamento cognitivo integra e articula vários elementos, ou estruturas, através de diversas
operações, ou processos, em diferentes níveis de realidade e de análise. O funcionamento do sistema
cognitivo pode ser explicado através de uma série de componentes: o sistema sensorial, o sistema de
respostas, o sistema de memória e o processamento central.
Nas funções da arquitetura cognitiva o principal aspecto relaciona-se ao processamento das
representações simbólicas. Assim, a ênfase é para as funções e não para as estruturas e mecanismos. As
funções da arquitetura cognitiva referem-se a memória, símbolos, operações, interpretações e
interações com o mundo exterior, conforme figura 1.
MEMÓRIA DE
PRODUÇÃO
SIMBOLOSS
EXECUÇÃO
OPERAÇÕES
INTERPRETAÇÕES
DECISÃO
SISTEMA PERCEPTIVO
SENTIDOS
SISTEMA MOTOR
MÚSCULOS
MUNDO EXTERIOR
Figura 1. Modelo de processo cognitivo proposta por Newell, Rosenbloom e Lair [11]
Neste modelo, a memória funciona como estrutura continua contendo símbolos que podem ser
modificados. Os símbolos funcionam como padrões que proporcionam acesso as estruturas. As
operações funcionam como processos que recebem estruturas simbólicas de entrada(“input”) e
produzem estruturas de saída (“output”). A interação, com o mundo exterior, ocorre através dos canais
perceptivos, da continua necessidade de aquisição de conhecimento. O termo conhecimento pode ser
entendido como um sistema de processos e operações formais que atuam em uma estrutura simbólica
de representações.
A imagem mental, quanto forma de representação, contém informações sobre forma, tamanho e
orientação sobre uma figura, informações métricas sobre seus elementos e suas relações. As imagens
são classes especiais de representações; são estruturas transitórias de dados que representam a
informação mental espacial analógico, sendo geradas a partir de representações abstratas e
armazenadas na memória semântica. As imagens ao preservarem as características espaciais de um
lugar podem servir como representações (mapa cognitivo) que guiam a conduta através de indicadores
visuais, permitindo orientação e decisão por rotas distintas. Informações sobre orientação, organização
e direção são associadas com a visão, mas podem ser associadas com outras modalidades sensoriais,
como o tato. A maneira como se representa o conhecimento espacial parece depender dos seguintes
fatores: função, indicação, usabilidade, grau de experiência.
Para o desenvolvimento de métodos de intervenção com crianças surdas deve-se considerar os
seguintes fatores: a) época do aparecimento da deficiência auditiva; b) a idade em que a deficiência
auditiva foi detectada; c) o grau, tipo e extensão da perda auditiva; d) as diferenças individuais de cada
indivíduo; e) as características familiares e a realidade sócio-econômica. Outras características devem
ser consideradas para estimulação cognitiva, entre elas, aquelas em que a criança surda: a) não
apresenta problema de memorização; b) pode substituir um sentido pelo outro; c) têm fácil
compreensão dos fatos quando associados a situações vividas; é difícil a compreensão de situações não
vivenciadas, portanto o pensamento lógico é prejudicado; d) ao analisar, não divide expressões
generalizadas em elementos separados; ela não aprende o recurso analítico [5].
3. Realidades Real, Virtual e Aumentada, Virtualidade Aumentada e Realidade
Misturada
A evolução dos recursos computacionais em Hardware e Software permitiu avanços nas tecnologias de
visualização e manipulação de informações. Nestes avanços, o uso de recursos gráficos, em
combinação com dispositivos de entrada e saída, possibilitou criar a tecnologia da Realidade Virtual
(RV). Kirner [7] define Realidade Virtual como um ambiente 3D com adequado nível de realismo,
interativo e imersivo. Este sistema permite respostas em tempo real para que o usuário interaja de
forma efetiva e, através do uso adequado de dispositivos imersivos, o senso de “estar presente em” é
realizado com a separação do mundo real e virtual. Com a crescente necessidade de representar a
realidade e muitas informações do mundo real que são difíceis de simular no computador, como
abstração ou elementos simbólicos, a Realidade Aumentada (RA), Virtualidade Aumentada (VR) e
Realidade Misturada são propostas evolutivas para os sistemas de Realidade Virtual (RV), permitindo
ao usuário compor imagens reais com imagens tridimensionais geradas por computador e, assim,
aumentar o grau de realismo e percepção. A figura 2 representa a idéia de Realidade Aumentada,
Virtualidade Aumentada e Realidade Misturada como um “continuum” entre Realidade Real e Virtual.
O que os diferenciam é a predominância do ambiente, isto é, um ambiente de Realidade Virtual é
composto de objetos sintetizados por computador, o de Realidade Real formado somente de objetos
reais. Em Virtualidade Aumentada, objetos sintéticos, ou reais, são adicionados em ambientes cuja
percepção é predominantemente virtual. Na Realidade Aumentada, elementos virtuais, ou reais, são
inseridos em ambiente em que há predominância do mundo real. Um sistema de Realidade Mistura
(RM) é formado de ambientes de Realidade Aumentada (AR) e de Virtualidade Aumentada [2].
REALIDADE MISTURADA
REALIDADE
REAL
REALIDADE
AUMENTADA
VIRTUALIDADE
AUMENTADA
REALIDADE
VIRTUAL
Figura 2. Conceitos de Realidade Virtual, Aumentada/Misturada e Virtualidade Aumentada
A principal característica destes ambientes é que as informações do mundo real são utilizadas
para criar um cenário adicionado com elementos sintéticos gerados por computador. Vários
experimentos, em diversas áreas, foram desenvolvidos, como aqueles destinados à educação,
entretenimento e arquitetura (figuras 3a, 3b e 3c), do Laboratório de Realidade Aumentada de
Singapura [9].
Figuras 3. a) Realidade Aumentada na educação; b) entretenimento e c) arquitetura.
3.1. Sistema de Realidade Aumentada para o Desenvolvimento Cognitivo da Criança Surda
O sistema de Realidade Aumentada para ao desenvolvimento cognitivo da criança surda é constituído
por um conjunto de periféricos de entrada de informações ( vídeo câmeras, rastreadores de cabeça e
luvas) e saída (óculos polarizados, monitores), acoplados em um computador dedicado. Inicialmente,
todas as informações reais são capturadas por vídeo câmeras, digitalizadas e armazenadas. As imagens
sintéticas são criadas por computador através de softwares específicos de modelagem e animação 3D,
como Poser, Carrara, 3DS Max e Spazz3d. Para o desenvolvimento dos demais programas utiliza-se o
Microsoft Visual C++, ARToolkit [1] e OpenGL. Com as imagens reais, capturadas pela(s) câmera(s),
e as sintéticas, criadas por computador, o sistema “mistura” imagens formando um cenário
característico da Realidade Aumentada. Todo o cenário é amplificado, imersivo e interativo através da
utilização de óculos estereoscópicos, luvas específicas, ou rastreamento por gestos da mão, aumentado
o nível de abstração e percepção dos canais sensorial visual e tátil, possibilitando, assim, substituir o
canal sensorial auditivo.
3.2. Arquitetura do Sistema
A arquitetura proposta, figura 4, compõe-se por tarefas que definem funcionalidades específicas para:
a) captura da cena real, b) criação de imagens virtuais, c) sobreposição dos objetos reais e virtuais no
mesmo cenário, d) rastreamento para posicionamento e orientação espacial do usuário e, e) interação
em tempo real pelo usuário.
Coordenada da
Câmera Real
IMAGENS
REAIS
Sistema de
Rastreamento
REALIDADE
AUMENTADA
IMAGENS
MISTURADAS
APLICAÇÕES
IMAGENS
VIRTUAIS
Sistema Gráfico,
Artoolkit e Opengl
Figura 4. Sistema de Realidade Aumentada.
Sobreposição
(misturador)
Etapas e funções do sistema
a) Captura da Cena Real
Primeiramente, cria-se a cena real e, posteriormente, captura as informações do cenário com uso
de câmera(s). Após obtenção dos dados, estes são digitalizadas pelo sistema gráfico e
armazenados.
b) Criação de imagens virtuais
Os objetos virtuais são criados com os softwares Spazz3D, Poser, Carrara e 3DS Max para
modelagem e animação, sendo que o grau de realismo depende da aplicação e do sistema de
imagens.
c) Sobreposição dos objetos virtuais e reais no mesmo cenário
O procedimento de sobreposição permite criar, utilizando Microsoft Visual C++ 6.0 e o
software ARToolkit, tarefas de segmentação de regiões para calcular posicionamento,
calibração e orientação da(s) câmera(s), além de efetuar o procedimento de “mistura” de
elementos sintéticos e reais no mesmo ambiente.
d) Rastreamento para posicionamento e orientação espacial do usuário
A operação de rastreamento é o processo de estimar o deslocamento seqüencial de imagens em
que são estimados parâmetros que determinam os movimentos de objetos entre os diferentes
quadros, tão quanto o ponto de vista do usuário com relação às alterações ocorridas no cenário.
Para o caso do sistema para criança surda, é utilizado um modelo de rastreamento de mãos
acoplado às luvas, ou reconhecimento de gestos sem o uso de qualquer dispositivo.
e) Interação em tempo real pelo usuário
Os algoritmos de calibração e sobreposição têm por função dar a ilusão ao usuário que somente
um ambiente existe, gerando imagens em tempo mínimo de latência e permitindo a interação do
usuário com o cenário criado.
3.3. Aplicação: Requisitos para a Interface
A interface deve ser adequada considerando as necessidades do usuário. Desta forma, para a criança
surda é necessário oferecer ambientes com recursos visuais que garantam e superem as necessidades
auditivas. Todas as informações devem ser planejadas para que a criança consiga executar as atividades
de forma motivadora, utilizando-se de “reforçadores”, para garantir que a criança tenha interesse e,
principalmente, retenha as informações.
Para a construção das aplicações é necessário estudar:
•
•
•
Quais as atividades que os usuários poderão realizar utilizando a interface;
Como os componentes da interface deverão ser apresentados ao usuário;
Que comandos e ações o usuário poderá executar na interface;
•
Quais as possibilidades de interação através destes canais sensoriais e como eles podem ser
utilizados para suprir as necessidades do canal sensorial auditivo.
Nos ambientes virtuais deve ser possível estabelecer condições de interações que favoreçam a
motivação, a atenção e retenção de informações, pois a criança estabelece uma relação com os objetos
do ambiente muito semelhante as situações reais. No sistema de Realidade Aumentada o grau de
realismo das situações reais aumenta, e experimentos de natureza diferentes podem ser programados.
Os requisitos que podem reunir a arquitetura cognitiva à adequação de um ambiente de realidade
aumentada são:
a)
b)
c)
d)
conduzir-se flexivelmente em função do ambiente;
exibir uma conduta adaptativa (racional, orientada a metas);
operar em tempo real;
oferecer um ambiente complexo, rico e detalhado:
• perceber uma imensa quantidade de dados,
• utilizar uma vasta quantidade de conhecimento,
• controlar sistema motor com muitos graus de liberdade.
e)
f)
g)
h)
i)
j)
utilizar símbolos e abstrações;
utilizar linguagem natural e artificial;
aprender com ao ambiente e com as experiências;
adquirir capacidade através do desenvolvimento;
comportar-se autonomamente dentro de uma ambiente virtual/aumentado;
exibir autoconsciência e clareza sobre as percepções.
Para o planejamento do ambiente de realidade aumentada, a percepção espacial, memória espacial,
atenção espacial e operações mentais espaciais devem ser orientadoras. Assim, devem ser consideradas:
a.
b.
c.
d.
e.
desenvolvimento da cognição e orientação espacial;
estimativa sobre distância;
indicadores de orientação;
organizadores do ambiente;
transformações mentais espaciais possíveis.
Os ambientes devem utilizar vários tipos de estímulos diferentes, integrando animações, imagens e
sensações táteis. Assim, devem ser considerados os seguintes conceitos cognitivos:
a) Exploração e descoberta – interface que possibilite a navegação intuitiva e capacite a descobrir
e explorar recursos e funções;
b) Controle ao alcance do usuário – em um ambiente virtual é necessário que o usuário tenha
controle sobre a cena, com total compreensão sobre o lugar ao qual ele está se dirigindo e
porque;
c) Guias – o ambiente virtual requer bons pontos de referência para tornar a navegação fácil sem o
auxílio de recursos adicionais, como textos ou sons;
d) Limites do ambiente – os lugares devem ser interessantes para o usuário;
e) Reforço – uma ação realizada pelo usuário deve ser decodificada e oferecer “feedback”
(resposta).
f) Percepção de movimentação e animação – os objetos devem ter significado para a ação do
usuário.
g) Nível de complexidade – deve ser compatível com as necessidades do usuário e o objetivo da
tarefa.
h) Percepção de profundidade – identificar as referências para o processo de percepção como a
estereoscopia, sensibilidade ao contraste, visão espacial, freqüência espacial, orientação do
estímulo visual e atenção seletiva.
4. Conclusão
Novas interfaces podem ser definidas simplificando a interação, eliminando barreiras e proporcionando
ações diretas do usuário com os ambientes, permitido maior e melhor interação homem-máquina. Neste
contexto, a tecnologia da Realidade Aumentada pode oferecer a possibilidade para explorar situações
diferenciadas do cotidiano através da amplificação de informações extraídas do mundo real e criando
ambientes acrescidos de objetos modelados por computador. Utilizando recursos específicos como
rastreadores com câmeras de vídeo, luvas e mesmo detecção de movimentos através de gestos da mão,
é possível definir estratégias em que o usuário pode vivenciar novas percepções. Os recursos
tecnológicos da Realidade Aumentada podem ser utilizados como mediadores em ações complexas
para diferentes aplicações, apresentando-se como uma nova ferramenta no processo de construção do
conhecimento através da possibilidade de exploração dos canais sensoriais e da reorganização das
estruturas cognitivas, facilitando a transformação ou a produção de novas situações de aprendizagem e
proporcionando, para a criança situações lúdicas, motivadoras, através de condições adequadas que
podem determinar a curiosidade, favorecendo a fantasia e o desafio.
5. Referências Bibliográficas
[1] AUGMENTED AND MIXED REALITY, ARToolkit Human Interface Technology Lab HITLab –
disponível em http://www.hit.washington.edu/people/poup/research/ar.htm#artoolkit
[2] AZUMA, J. R. et all. Recent Advanced in Augumented Reality. IEEE Proceeding, 34-47,
December 2001.
[3] COSTA, M.P.R. Alfabetização de deficientes auditivos: um programa de ensino.
USP, 1992. Tese de Doutorado.
São Paulo:
[4] COLIN, D. Psicologia del niño sordo. Barcelona: Toray-Masson S.A., 1980.
[5] DORIA, A.R.F. Manual de educação da criança surda.
Educação dos Surdos, 1961.
Rio de Janeiro: Instituto Nacional de
[6] GARBIN, T.R. Estudo sobre informações oferecidas a respeito do portador de deficiência auditiva
em um curso de Psicologia. São Carlos, UFSCar, 1994. Dissertação de Mestrado.
[7] KIRNER, C. et al. Sistemas de Realidade Virtual. Universidade Federal de São Carlos http://grv.inf.pucrs.br/Pagina/TutRV/tutrv.htm., 1988.
[8] FERNANDES, E. Problemas lingüísticos e cognitivos do surdo.
Rio de Janeiro: Agir, 1990.
[9] MRLAB: Mixed Reality Laboratory - http://mixedreality.nus.edu.sg/software.htm.
[10] MYKLEBUST, H.R.
Psicologia del sordo. Madri: Editoral Magisterio Español, 1971.
[11] NEWELL, A., ROSENBLOOM, P.S., LAIRD, J.E. Symbolic architectures for cognition.
Foundations of cognitive science. Cambridge, Mass. MIT Press, 1989.