Simulador para Reabilitação de Pessoas com Deficiência Visual
Fernando Sebenello Soares1, Jason Scalco Piloti1, Lael Nervis1, Lucas Signor
Schwochow1, Márcio Bortolini dos Santos1
Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Sul
1
95700-000 – Bento Gonçalves – RS – Brazil
[email protected], [email protected], [email protected],
[email protected], [email protected]
Abstract. This work aims to create a prototype of an environment for spatial
and sensory rehabilitation of visually impaired people to show that it is
possible to create accessible games for the blind. For this, the concepts of
imersion in virtual environments were used, through the use of 3D sound and
other techniques that provide full control of the interface to the user. Also as a
way to facilitate the interactions with the simulator, the keyboard is used as
the main source of data input, associated with the narration of the visual
elements disposed on the interface.
Resumo. Este trabalho objetiva a criação de um protótipo de ambiente para
reabilitação espacial e sensorial de pessoas com deficiência visual para
demonstrar que é possível criar jogos acessíveis para cegos. Para tal, foram
aplicados conceitos de imersão em ambientes virtuais, através da utilização
de som 3D, e técnicas para prover o controle total do usuário sobre a
interface e, como meio facilitador da interação com o simulador, o teclado é
utilizado como principal controle de entrada de dados, aliado à narração dos
elementos visuais dispostos na interface.
1. Introdução
A maior parte dos jogos responde às ações de jogadores através de imagens e
sons. Desta forma, pessoas com alguma deficiência visual podem apresentar
dificuldades ou impossibilidade de jogar. Há três tipos de deficiência visual: cegueira,
baixa visão e daltonismo. Para o presente trabalho foram considerados usuários cegos,
mais especificamente os que perderam a visão recentemente, pois,visto que cegueira é
caracterizada como sendo a perda total da visão, dentre as três, acredita-se que esta é a
que causa maiores dificuldades em jogos e, além disso, pessoas que há pouco tempo
perderam a visão total ou ainda que parcialmente, tendem a ter maiores dificuldades em
assimilar e captar sons a sua volta (Jesus et al., 2008; Coutinho et al., 2011).
Pessoas cegas são incapazes de engajar-se em jogos que se utilizem somente de
um feedback visual, ou seja, que não apresentem outra forma de feedback que possa ser
capturada por outro sentido, como a audição ou tato, através de hardware especial.
Mesmo assim, a indústria de jogos tende a investir na qualidade gráfica dos jogos, a
qual não tem influência nenhuma na experiência e jogabilidade de usuário cegos, e não
em recursos que possam possibilitar que as pessoas com deficiência visual possam jogar
(Coutinho et al., 2011).
Em vista disso, o presente trabalho tem por objetivo demonstrar que é possível a
criação de jogos acessíveis para cegos. Para tal, foi construído um protótipo de um
simulador de ambiente para reabilitação espacial e sensorial de pessoas com deficiência
visual. No desenvolvimento de tal protótipo, foram aplicados os conceitos de imersão
em ambientes virtuais, através da utilização de som 3D, e de técnicas que buscam
promover o controle total do usuário sobre a interface. Além disso, com o intuito de
facilitar a interação entre o usuário e o simulador, o teclado é utilizado como principal
controle de entrada de dados e foi aplicada narração dos elementos visuais dispostos na
interface, para que o usuário possa ter conhecimento do que se passa em todo o
ambiente, e sem que esta interfira no uso de aplicativos leitores de tela.
A concepção da ideia do desenvolvimento de um simulador veio a partir da
constatação de que algumas pessoas com deficiência visual têm certas dificuldades para
se orientar em ambientes através de sons emitidos por objetos (TV, rádio) ou por
pessoas (fala, movimentos). A partir disto foi proposto o desenvolvimento de um jogo
que ajudasse na reabilitação de pessoas com deficiência visual. A metodologia aplicada
para o presente trabalho é descrita na Seção 2 e os conceitos envolvidos no
desenvolvimento do simulador são descritos nas Seção 3.
2. Metodologia
Em um primeiro momento, foi feito um levantamento bibliográfico, buscando
entender que características um jogo precisa ter para ser acessível, além de estudos
sobre técnicas de acessibilidade e usabilidade já conhecidas aplicadas em sistemas web
e desktop que pudessem ser favoráveis ao serem aplicadas ao protótipo.
Posteriormente, com base nas recomendações estabelecidas por Schuytema
(2008), referentes as fases que constituem o desenvolvimento de jogos, o presente
projeto contou com as etapas de pré-produção e produção, onde pode se estabelecer
metas e objetivos do jogo, além de uma equipe segmentada por: game designers
(responsáveis por projetar o jogo como um todo, desde a formulação do conceito do
jogo, até a sua jogabilidade), artistas (responsáveis pelo desenvolvimento de tudo o que
envolva a parte visual, ou seja, concepção da arte, modelagem 3D dos personagens e do
cenário, animação, texturização, iluminação, etc.), programadores (responsáveis por
desenvolver toda a lógica do jogo, ou seja, aplicação da física, renderização gráfica,
processamento sonoro, jogabilidade, interface do usuário, etc.), level designers
(responsáveis por criar os desafios, puzzles e até mesmo as fases do jogo) e testadores
(responsáveis por analisar tecnicamente o jogo com o objetivo de indicar falhas em seu
desenvolvimento), além de testadores com deficiência visual, e outros participantes da
equipe de desenvolvimento.
A etapa de pré-produção envolveu a concepção da ideia, especificação das
regras de negócios e modelagem do projeto. Nela buscou-se estudar os Ludemas
envolvidos na definição do seu tema, os quais, visto que foram aplicados a uma
simulação, são os Ludemas de exploração, performance física e cognitiva (puzzle).
Através deles, foram elaborados os documentos relativos ao projeto e definidos os
personagens e cenários. De acordo com Klein (2012), o Ludema é o menor ato de um
jogo, a sua parte fundamental. O Ludema ocorre quando o jogador, entre as
possibilidades do sistema, atualiza uma ação, como por exemplo, pressionar um botão
fazendo seu personagem pular.
A produção foi a etapa em que os dados levantados na pré-produção foram
colocados em prática, ou seja, nela foram modelados os elementos do cenário,
desenvolvida a ambientação, aplicados os sons 3D no cenário e nos elementos
necessários, desenvolvidos os huds e menus de configuração do protótipo.
Uma vez finalizado o protótipo, foram feitos os testes e, nesta etapa, foram
analisadas a jogabilidade, o funcionamento dos huds, os atalhos e os comandos. Esta
contou com a participação de pessoas com deficiência visual, que também auxiliaram na
identificação de erros.
3. O Simulador
De acordo com Jesus et al. (2008), reabilitação pode ser entendida como sendo a
aplicação de técnicas que têm por finalidade prover a recuperação e adaptação física,
psicológica e social de um indivíduo com alguma deficiência ou incapacidade.
Simulador, por sua vez, segundo o autor, consiste em empregar métodos
computacionais para gerar um modelo controlado e específico de um problema real.
Juntando esses dois conceitos, através de métodos computacionais, foi desenvolvido um
protótipo de um simulador para reabilitação, o qual foi projetado pensado
especificamente na reabilitação de pessoas cegas.
A simulação desenvolvida foi de um ambiente externo (Figura 1). Esta foi
escolhida pois é composta por diversos elementos que foram considerados vantajosos
para a reabilitação de um usuário cego, tais como diversidade de sons e diversidade de
objetos com os quais o usuário terá que interagir. Além disso, um simulador permite
que o usuário possa reconhecer os sons presentes em seu dia a dia, criar uma boa noção
espacial da distância de objetos que emitem os sons, além da direção de onde os
mesmos vem, de forma que o mesmo não corra riscos. Isto pois para que o usuário
possa criar esta noção em ambientes reais, ele encontrará obstáculos como atravessar
uma rua movimentada, encontrar objetos no caminho, pouca acessibilidade dos
ambientes em que o mesmo convive, e variedade de sons emitidos ao mesmo tempo,
por vezes, tornando a tarefa perigosa.
Figura1: Imagemapresentandoo hud do jogo, mostrandoos obstáculos,as chavese o tempo
restantepara concluir o objetivodo jogo
Ao começar o jogo, o personagem precisa buscar seu cão guia que se encontra
dentro de sua casa. O cão está latindo, o que ajuda o usuário a encontrar o caminho até a
porta. Porém, esta se encontra trancada, obrigando o usuário a encontrar quatro chaves.
Estas aparecem uma após a outra e de forma dispersa pelo ambiente. As chaves emitem
sons para que o usuário tenha a percepção da direção em que elas estão e da distância
em que ele se encontra das mesmas. Após encontrar as chaves, o personagem deve ir
novamente até a casa e pode destrancar a porta e encontrar seu cão. Enquanto o usuário
tenta resolver esta tarefa, há diversos sons sendo emitidos no ambiente (sons urbanos,
veículos, pássaros cantando, sons de irrigadores, além dos sons emitidos pelos seus
passos, sua bengala e os latidos do cão), isto objetivando que o usuário possa
desenvolver sua capacidade de percepção sonora e outros sentidos como espacialidade,
percepção de distância entre objetos e direção. Durante todo o jogo, quando o usuário é
requisitado a executar alguma ação, esta é narrada ao mesmo, como, por exemplo,
quando ele tenta abrir a porta e ainda não possui as quatro chaves.
Para o desenvolvimento, a engine utilizada foi a Unity, a qual serve tanto para o
desenvolvimento de jogos 2D, quanto 3D. Ela foi criada pela companhia Unity
Technologies e possui suporte a múltiplas plataformas, porém, para o presente trabalho,
foram consideradas somente as plataformas Windows e Mac OS. Uma das
características que levou à escolha desta engine foram as opções de licenças
disponíveis, visto que o presente trabalho visa ser de código livre. Além disso, a
fabricante disponibiliza uma IDE (Integrated Development Environment) acoplada à
engine, o que possibilita o gerenciamento de todos os recursos (scripts, sprites, texturas,
sons, etc.) do jogo em um único lugar, facilitando no desenvolvimento do mesmo
(UNITY, 2013).
Com o objetivo de tornar a simulação do ambiente sonoro o mais real possível,
foi essencial a utilização da técnica de som 3D, a qual, segundo Fumiaki (2012), auxilia
na orientação espacial do jogador. Na ambientação, esse recurso fornece ao usuário um
retorno sonoro de suas ações durante a exploração do cenário. Assim, cada elemento
presente no cenário emite um som distinto dependendo da interação entre esse elemento
e o personagem. Visto que o personagem representa uma pessoa cega, esse carrega
consigo uma bengala, como mostrado na Figura 2, e, enquanto ele caminha no
ambiente, diferentes sons são emitidos de seus passos, de acordo com o tipo de solo ou
terreno (grama, pedras, areia) em que ele se encontra, além de diferentes tipos de sons
serem emitidos pela bengala ao entrar em contato com o solo ou com algum objeto
presente no ambiente (casa, árvore, cerca, etc.). Estes sons diminuem ou aumentam
conforme o usuário se distância ou se aproxima dos elementos que os estão emitindo.
Figura 2: Imagem do personagem do jogo com sua bengala na mão no meio do cenário,
mostrandoo ambientecompostopor arbustos,gramado,areia, pedras, calçada,entre outros.
No caso do menu do simulador, foi necessário implementar o recurso de
passagem de foco entre os elementos da interface com controle via teclado, através das
setas, além de adicionar uma alternativa sonora para o texto contido em cada elemento
da interface. Assim, as opções do menu são faladas ao jogador enquanto este navega por
entre os itens e de forma que as mesmas não conflitem com as narrações de nenhum
software leitor de tela. Outra questão importante é que a utilização de teclas de atalhos
não deve conflitar com atalhos do sistema ou do leitor de tela, pois isto dificultaria o
uso do protótipo e poderia causar desorientação por parte do usuário, quando este
utilizasse tais atalhos. No exemplo da Figura 3, ao carregar tal tela, o texto “jogar” é
lido para o usuário, e caso este pressione a tecla tab o foco passa para o menu
“configurações”, após para “créditos” e por fim para “sair”, sendo que todos os menus
são lidos para o usuário.
Figura3: Tela inicial do jogo, contendoas opções de Jogar, Configurações,Créditos e Sair.
Além de tudo isso, o usuário tem opção de modificar configurações como
volume dos áudios, velocidade do personagem, quais teclas utilizar para controlar o
personagem, alterar a resolução da tela, escolher entre o modo tela cheia e normal,
velocidade dos áudios que são tocados e alto contraste para os menus (no caso de
usuários que tenham baixa visão utilizarem o protótipo), opções estas que podem ser
vistas na Figura 4.
Figura34: Tela de configurações de vídeodo jogo
Visto que o objetivo desta pesquisa é demonstrar que é possível desenvolver
jogos acessíveis para cegos, o protótipo desenvolvido é distribuído sob a licença GPL3
e todos os recursos (criados ou adaptados) utilizados no desenvolvimento também estão
sob a licença Attribution-NonCommercial-ShareAlike 3.0 Unported.
4. Conclusões e Trabalhos Futuros
A partir do que foi desenvolvido, acredita-se que é possível melhorar a
acessibilidade dos jogos através da aplicação de técnicas que promovam maior controle
do usuário sobre o que acontece, além de um melhor feedback das interações com o
cenário e com os personagens.
Vale ressaltar que o protótipo desenvolvido possui somente uma única fase, e
que o jogo não possui uma complexidade grande para que o jogador resolva o problema
proposto a ele. Desta forma, para jogos com complexidade maior não se tem a certeza
da possibilidade de adaptação total do jogo para pessoas com deficiência visual, pois
muitos dos elementos envolvidos na resolução de puzzles ou na forma com que o
jogador deve proceder em diversas situações são totalmente visuais. Porém, é possível
que sejam feitas adaptações dos menus e huds de forma que o usuário possa entender
melhor o que o contexto dos acontecimentos e da situação do personagem (número da
fase, quantidade de vidas, localização no mapa, etc.).
O protótipo não foi totalmente finalizado, havendo algumas opções de
configurações ainda não implementadas. Além disso, pretende-se criar novas fases com
diferentes níveis de dificuldade.
Referências
Addams, E.; Rollings,A. Audio Elements. In:Fundamentals of Game Design. New
Jersey: Pearson Prentice Hall, (2007). p. 256-259.
Angeline, Rafael. Introdução à engine Unity 3D – O que é? O que posso fazer?
Vantagens
e
Muito
mais.
Disponível
em
:
<http://devtuts.com.br/wp/2010/06/introducao-a-engine-unity-3d-o-que-e-o-queposso-fazer-vantagens-e-muito-mais/#sthash.npTEYATD.dpuf>. Acesso em: jul.
2013
Coutinho, Flávio; Silva, Marcelle; Prates, Raquel; Chaimowicz, Luiz.A Survey on
Game Accessibility - In Proc. of SBGames, (2011).
Fumiaki, Matsushima. Development of a game software using virtual 3D sound
spatialization for the visually impaired. Japan-Taiwan Symposium on intelligent
Green and Orange (iGO) Technology. National United University, MiaoLi, Taiwan,
2012.
Disponível em: <http://www.kisarazu.ac.jp/kokusai/conference2012-1210/Proceedings/2071072W_MatsushimaFumiaki.pdf>
Jesus, Raphael Poolney Teixeira de et al. Colibri–Ambiente Virtual de jogos Educativos
que Auxilia na Reabilitação Cognitiva de Pessoas Portadoras de Deficiência Mental.
HÍFEN, v. 32, n. 62, (2008).
Klein, Gerson. O Gameplay do Texto Linear, do Conteúdo ao Labirinto. In GAMEPAD
5 : Seminário de Games, Comunicação e Tecnologia, RS - 2012. Disponível em
<http://aplicweb.feevale.br/site/files/documentos/pdf/56685.pdf>. Acesso em 25 jul.
2013;
Nöth, Winfried. Handbook of semiotics. Indiana University Press, (1995).
SÁNCHEZ, Jaime; SÁENZ, Mauricio. 3D sound interactive environments for blind
children problem solving skills. Behaviour & Information Technology, v. 25, n. 4, p.
367-378, (2006).
Schuytema, Paul. Design de games: uma abordagem prática. Cengage Learning, (2008).
Unity. Unity 3D Disponível em: http://unity3d.com/ Acessado em: Julho de 2013
White, Gareth R.; FITZPATRICK, Geraldine; MCALLISTER, Graham. Toward
accessible 3D virtual environments for the blind and visually impaired. In:
Proceedings of the 3rd international conference on Digital Interactive Media in
Entertainment and Arts. ACM, (2008). p. 134-141.
Livingstone, Steven R. et al. Changing musical emotion: A computational rule system
for modifying score and performance. Computer Music Journal, v. 34, n. 1, p. 41-64,
(2010).