Desenvolvimento e Análise de uma Aplicação para o
Controle do Cursor Através do Emotiv EPOC
Marcelo Abi-Acl Xavier
PUC Minas
[email protected]
+55 31 8392-0000
RESUMO
Essa pesquisa tem como objetivo desenvolver um sistema
que permite com que pessoas com restrição motora
controlem um cursor através de um sistema de Interface
Cérebro-Máquina (ICM) para realizar tarefas em um
computador. Este sistema pode oferecer mais
independência e capacidade de comunicação para essas
pessoas proporcionando assim, uma melhor qualidade de
vida[3]. O presente trabalho propõe analisar o dispositivo de
ICM Emotiv EPOC[2], desenvolver soluções estatísticas na
identificação dos sinais elétricos cerebrais pelo dispositivo,
desenvolver uma aplicação que permita o controle do cursor
através do dispositivo e realizar testes, baseados em clicar
em botões na tela e digitar frases em um teclado virtual,
com 20 indivíduos com e sem restrição motora para avaliar
qualitativamente e quantitativamente a utilização do
computador. Os resultados mostram que 90% das pessoas,
incluindo 4 das 5 com deficiência, foram capazes de
realizar tarefas no computador de modo satisfatório. Houve
uma média de 20,14 segundos para o usuário clicar em um
botão na tela e 24,22 segundos para o usuário clicar em uma
letra no teclado virtual. A solução desenvolvida melhorou o
desempenho em 65%. Concluiu-se que o sistema
desenvolvido possibilitou a utilização do computador de
modo satisfatório provendo acessibilidade a computadores
por pessoas com restrição motora.
Palavras-chave
Interface Cérebro-Computador; Tecnologia Assistiva;
Restrição motora; Usabilidade; Acessibilidade.
ABSTRACT
This research aims to develop a system that allows physical
disabled people to control a cursor through brain-computer
interface (BCI) to perform tasks on a computer. It can
provide more independence and improve communication
skills for those people thus providing a better quality of life.
[3]
The present paper proposes to analyze the EMOTIV
Epoc[2] BCI device, develop statistic solutions on brain
activity patterns identified by the device, develop an
application to allow the cursor’s control through the device
and perform tests with 20 people with and without physical
disabilities, based on clicking an object on the screen and
typing sentences on a virtual keyboard, to evaluate
quantitatively and qualitatively the use of the computer.
The results showed that 90% of people, including 4 of 5
Rosilane Ribeiro da Mota
PUC Minas
[email protected]
disabled subjects, were able to perform tasks on the
computer satisfactorily. There was an average of 20.14
seconds for the user to click an object on the screen and
24.22 seconds for the user to click a button on the virtual
keyboard. The developed solution improved cursor’s
control by 65%. It was concluded that the system allowed
the use of the computer satisfactorily providing
accessibility to computers for physical disabled people.
Author Keywords
Brain Computer Interface; Cursor control; Assistive
Technology; Restricted mobility; Usability; Accessibility.
INTRODUÇÃO
Danos e doenças na medula espinhal, no tronco cerebral ou
doenças musculares podem levar o indivíduo a perder os
movimentos e a sensibilidade das pernas para baixo
(paraplegia), dos braços para baixo (tetraplegia) ou até
mesmo do corpo todo a privando de falar, mover os olhos,
dentre outros[1]. Entretanto, mesmo paralisadas, essas
pessoas continuam com suas atividades cerebrais normais,
mas algumas são incapazes de expressar seus sentimentos,
pensamentos e necessidades.[1] A qualidade de vida dessas
pessoas é fortemente prejudicada devido às limitações
físicas adquiridas, dependência de outras pessoas para
realizar atividades básicas e cotidianas e, principalmente,
relacionadas ao domínio das relações sociais e afetivas.[5]
Com o avanço da medicina, ciência e tecnologia, tais
barreiras de comunicação e a dependência de pessoas com
essas limitações estão sendo superadas a cada dia através da
área de Acessibilidade e Tecnologia Assistiva, criando
expectativas otimistas na comunicação com o mundo
exterior e na melhoria de sua qualidade de vida. [3] Sistemas
de Interface Cérebro Máquina são sistemas que capturam a
atividade do cérebro através de sensores, podendo ser
utilizados para o controle de algum dispositivo, como por
exemplo, um computador.[4] Esta nova área do
conhecimento é importante para auxiliar pessoas
paralisadas a interagirem com um computador ou
dispositivo eletrônico e, consequentemente, possibilitando a
comunicação com o mundo exterior. [4] O Emotiv EPOC é
um dispositivo de ICM não invasivo que capta a atividade
cerebral através de sensores em um capacete que é
posicionado sobre a cabeça do usuário. O dispositivo
fornece uma plataforma pronta para desenvolvimento de
aplicações, identificando expressões faciais (Expressive
Suite), intenções de movimento (Cognitive Suite) e
sentimentos (Affective Suite) do usuário em níveis entre
zero (0%) e um (100%), que podem ser usadas como
interface com o usuário e um dispositivo eletrônico.[2] O
presente trabalho é focado em Tecnologia Assistiva e na
Acessibilidade de computadores por pessoas com restrições
motoras nos membros superiores, possibilitando-as realizar
tarefas como digitar em um teclado virtual e navegar na
internet, sem a necessidade de usar os membros superiores
para controlar um teclado ou um mouse. Este trabalho visa
identificar as funcionalidades disponíveis do dispositivo
Emotiv EPOC[2] para a interface cérebro computador,
analisar o seu desempenho na identificação da atividade
cerebral para expressões faciais, desenvolver uma aplicação
com soluções que permitam o controle de um cursor de
modo eficaz e satisfatório e realizar testes com 20
indivíduos com restrição e sem restrição motora para
qualificar a efetividade da aplicação desenvolvida para a
realização de atividades em um computador, tais como
clicar em botões e digitar em um teclado virtual.
ANÁLISE DO EMOTIV EPOC
Foi realizada uma análise do dispositivo de ICM EPOC da
empresa Emotiv System[2] para identificar e entender as
funcionalidades que possibilitam a comunicação da
atividade elétrica cerebral mapeada em eventos em um
computador. Foram levantadas características das principais
funções do dispositivo como, controle consciente do
usuário sobre a atividade cerebral identificada pelo
dispositivo (controlabilidade) e facilidade de identificação
da ação do usuário pelo dispositivo. Esse levantamento
resultou na escolha da função mais adequada para ser
utilizada no controle do cursor, o Expressive Suite[2], que
identifica expressões faciais do usuário como, por exemplo,
“levantar a sobrancelha”, “franzir a sobrancelha”, “cerrar os
dentes”, “sorrir com o canto esquerdo da boca”, “sorrir com
o canto direito da boca” e piscar os olhos. Após a escolha
do Expressive Suite, foi realizada uma análise dessa
funcionalidade utilizando dados coletados de testes
preliminares com três indivíduos para identificar seu
comportamento e encontrar inconformidades, falhas e
imprecisões entre a ação do usuário e a identificação da
expressão facial pelo dispositivo. Neste teste três
participantes realizaram as sete expressões faciais
identificadas pelo dispositivo e a ação de piscar os olhos.
Os dados dos níveis de identificação de cada expressão
facial e identificação de piscadas dos olhos foram
registrados em cada atividade, sendo delimitado o intervalo
de tempo entre o início e o fim de cada ação. Em seguida os
participantes realizaram uma atividade de clicar em botões
na tela do computador controlando o cursor com as
expressões faciais descritas acima. Foi concluído que
existem imprecisões na identificação do dispositivo em
algumas expressões faciais executadas pelo usuário, as
expressões faciais imprecisas variam para cada individuo,
foi constatado identificações de expressões faciais
diferentes da que o usuário estava realizando, e
principalmente, a identificação de alguma expressão facial
quando o usuário não executava nenhuma das expressões
faciais.
DESENVOLVIMENTO DA SOLUÇÃO
Baseado na análise do comportamento do Expressive Suite
foi desenvolvido as soluções propostas neste trabalho,
resultantes das características e inconformidades
identificadas no teste preliminar e técnicas estatísticas, para
serem utilizadas na aplicação desenvolvida que movimenta
e clica o cursor utilizando as expressões faciais do usuário
identificadas pelo dispositivo Emotiv EPOC[2]. Para
permitir a movimentação do cursor para cima foi utilizada a
expressão “levantar a sobrancelha” ou “franzir a
sobrancelha”, para baixo “cerrar os dentes”, para a esquerda
“sorrir com o canto esquerdo da boca”, para a direita “sorrir
com o canto direito da boca” e para clicar era necessário
que o usuário pisque com os olhos duas vezes rapidamente.
Para minimizar movimentos errôneos do cursor, resultante
de imprecisões na identificação das expressões faciais pelo
dispositivo, foi desenvolvida uma funcionalidade que visa
identificar essas imprecisões e impedir que elas façam o
cursor se mover. Essa funcionalidade é composta de uma
atividade onde o usuário executa as expressões faciais e o
sistema coleta os dados identificados pelo dispositivo. Após
a coleta de dados a aplicação identifica quais valores foram
inconsistentes perante a ação do usuário e calcula um limiar
que impede o cursor de se mover quando houver essas
inconsistências. Esse limiar é calculado a partir da média
mais o desvio padrão dos valores que foram inconsistentes
perante a ação do usuário, separando os valores que
movimentam o cursor (valores acima do limiar) dos valores
que não movimentam o cursor (valores abaixo do limiar).
Isso impede com que o cursor se mova quando expressões
faciais são identificadas pelo dispositivo e o usuário está no
estado de repouso, ou seja, sem executar nenhuma das
expressões faciais identificadas pelo dispositivo (Ver Figura
1).
DESENVOLVIMENTO DA APLICAÇÃO
A aplicação deste trabalho foi desenvolvida na linguagem
C# utilizando a IDE Visual Studio 2010. O SDK do
dispositivo EPOC foi utilizado para realizar a aquisição, a
Figura 1. Gráfico representando o calculo do limiar.
Figura 2. Tela principal da aplicação.
filtragem, a comunicação e a interpretação dos sinais
capturados pelos sensores do dispositivo, gerando os dados
de saída com valores entre zero (0%) e um (100%),
representando o nível da expressão executada pelo usuário.
Para o controle do cursor, foi utilizada a biblioteca edk.dll[2]
da API da empresa Emotiv, que disponibiliza ferramentas
para receber os dados dos níveis das expressões faciais
identificadas e utilizá-los para controlar o cursor. De acordo
com a Figura 2, a aplicação conecta com o dispositivo em
no botão “conectar”, realiza a solução descrita na seção
anterior para eliminar movimentos errôneos do cursor no
botão “treinar”, uma tela com botões e um teclado virtual
para a realização dos testes é aberta no botão “Teste de
Desempenho” e o cursor é controlado pelas expressões
faciais clicando no botão “Mover Cursor”.
TESTES
Após o desenvolvimento da aplicação, foram realizados
testes com quinze pessoas sem restrição motora e cinco
pessoas com movimentação motora limitada. Os testes
foram divididos em duas partes. Na primeira parte, o
aplicativo desenvolvido foi utilizado para calcular o limiar
da solução desenvolvida. Na segunda parte, um teste
composto de duas etapas com tarefas de movimentar e
clicar o cursor foi realizado para controlar o cursor com as
expressões faciais descritas anteriormente. Estas tarefas
representam atividades em um computador comum como
clicar em 8 botões na tela e digitar uma frase de 15 letras
em um teclado virtual. Dados como tempo de resposta do
dispositivo, tempo de realização de cada tarefa, cliques
involuntários do mouse, movimentos involuntários do
mouse, tempo de digitação de cada letra e erros na digitação
foram coletados para medir o desempenho e eficácia da
aplicação ao utilizar expressões faciais identificadas pelo
dispositivo Emotiv EPOC para controlar um cursor.
RESULTADOS
Os dados dos testes demonstraram os resultados
quantitativos demonstrados na tabela 1. Além desses dados
100% dos participantes conseguiram clicar nos botões, 90%
conseguiram digitar frases no teclado virtual, incluindo 4
dos 5 participantes com restrição motora, 65% das vezes a
Atividade
Média
Tempo para clicar em um botão na tela
20,41 seg.
Tempo para clicar em uma letra correta
24,22 seg.
Cliques não intencionados pelo usuário
14,05 cliques
Movimentos para direções não desejadas
13,8 vezes
Vezes que o cursor posicionou em um
local não desejado pelo usuário
8,55 vezes
Letras digitadas erradas
4,77 letras
Tabela 1. Resultados quantitativos.
solução desenvolvida no trabalho eliminou ou reduziu
movimentos errôneos do cursor e 95% dos participantes
acharam a aplicação válida e satisfatória para controlar o
cursor e utilizar o computador.
CONCLUSÃO
A partir da análise dos resultados dos testes, pode-se
concluir que, a grande maioria dos usuários sem nenhuma
experiência prévia com o uso do dispositivo conseguiu
clicar em ícones na tela do computador de modo
satisfatório, mesmo ocorrendo erros de movimentação, de
posicionamento e de cliques do cursor. É possível concluir
também que a maioria dos usuários conseguiu digitar frases
em um teclado virtual padrão, mesmo errando algumas
letras e ocorrendo erros de movimentação e posicionamento
do cursor. A partir dessas conclusões pode-se afirmar que o
sistema desenvolvido no trabalho possibilita de modo
satisfatório a realização de tarefas no computador sem a
utilização dos membros superiores através do dispositivo
Emotiv EPOC, promovendo a acessibilidade por parte de
pessoas com restrição motoras em tais membros.
REFERENCES
1. Apparelyzed, Spinal Cord Injury.
http://www.apparelyzed.com
2. Emotiv, Emotiv Software Development Kit.
http://www.emotiv.com/epoc.
3. Kübler, A. et al. Brain computer communication:
Unlocking the lock in. Psychological Bulletin, 127,
3(2001), 358-375.
4. Nicolelis, and M. A., Lebedev, M. A. Brain machine
interfaces: past, present and future. Trends in
Neuroscience, 29, 9(2006), 536-546.
5. Xavier, I.S. el al. Qualidade de vida de adultos com
lesão medular. Ver Esc Enferm USP, 45, 6(2011), 13631371.