SINAIS EMG USADOS PARA CONTROLE DE MOVIMENTAÇÃO EM
AMBIENTES VIRTUAIS
Kenedy Lopes Nogueira, Keila de Fátima Chaga, Leonardo Araújo Lima, Saulo j. Machado, Alexandre
Cardoso, Edgard Lamounier
([email protected] – [email protected] - [email protected] - [email protected] – [email protected])
Faculdade de Engenharia Elétrica, Universidade Federal de Uberlândia
Uberlândia – MG, Brasil
Resumo - O presente artigo descreve uma aplicação de
controle de próteses virtuais de membros superiores com uso
de sinais Eletromiograma (EMG). Como estudo de caso,
optou-se pela analise de amputação de membro superior.
Palavras-Chave
Aumentada.
-
Biomedicina,
Próteses,
pouco, somente o peso do marcador, podendo ser usada logo
nos primeiros dias pós trauma.
Além da contribuição social este artigo aborda também o
uso de sinais naturais do corpo para outros fins, como
contrle.
Realidade
II. MOTIVAÇÃO
USING EMG SIGNALS TO CONTROL
MOTION IN VIRTUAL-ENVIRONMENTS
Abstract - The present article describes an application of
upper limbs prostheses virtual using electromyography
(EMG) signals. As case study, we chose for the analyzes of
superior member amputation.
1
Keywords - Arm, ARToolKit, Augmented Reality, BioMedicine, Virtual Reality.
Foram identificados inúmeros projetos que aplicam
técnicas de Realidade Aumentada (RA) nas mais variadas
áreas, tais como: cirurgia guiada por imagem, tele medicina,
treino e planejamento cirúrgico.[3]
Destacamos o uso da realidade aumentada para
treinamento e adaptação de paciente com perda de membros
superiores a próteses.
A grande contribuição deste é a utilização de RA para
proporcionar ao usuário uma maior imersão onde
combinando as cenas virtuais e ambientes reais em um
ambiente único.
I. INTRODUÇÃO
Este artigo destaca o uso de técnicas de identificação de
sinais EMG para o controle alternativo de próteses virtuais.
A proposta deste trabalho é reproduzir o funcionamento
de uma prótese para o membro amputado, por meio de uma
prótese virtual que tenha funcionamento similar a real usando
técnicas de Realidade Aumentada. Essa prótese pode ser
usada em fisioterapias em clinicas ou na própria residência
do paciente.
Como vantagem desta implementação, pode-se citar que a
mesma (prótese virtual) pode ser usada para treinar o usuário,
enquanto a prótese definitiva fica pronta (uma vez que as
próteses são feitas por encomenda devido às diferenças de
dimensões, faixa etária, peso e outros fatores relevantes).
Outra vantagem e que a prótese mecânica e relativamente
pesada e pode se tornar desconfortável o uso desta antes de
um período de cicatrização, mas a prótese virtual pesa muito
Nota de rodapé na página inicial será utilizada apenas pelo professor
avaliador
para
indicar
o
andamento
do
processo de revisão. Não suprima esta nota de rodapé quando editar seu
artigo.
Figura. 1. - Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)[7]
III. FUNDAMENTOS TECNOLÓGICOS
1) ARToolKit é uma biblioteca que usa técnicas de visão
computacional para calcular o ponto de vista real da câmera
em relação a um marcador no mundo real. Há vários passos,
primeiro a imagem de vídeo é transformada em uma imagem
binária (em P&B) baseada no valor do limiar de intensidade.
Depois, busca-se nesta imagem por regiões quadradas.
O ARToolKit encontra todos os quadrados na imagem
binária, muitos dos quais não correspondem a marcadores de
referência. Para cada quadrado, o desenho padrão dentro dele
é capturado e comparado com alguns gabaritos pré-treinados.
Se houver alguma similaridade, então o ARToolKit
considera que encontrou um dos marcadores de referência. O
ARToolKit usa então o tamanho conhecido do quadrado e a
orientação do padrão encontrado para calcular a posição real
da câmera em relação à posição real do marcador. Uma
matriz 3x4 conterá as coordenadas reais da câmera em
relação ao marcador. Esta matriz é usada para calcular a
posição das coordenadas da câmera virtual. Se as
coordenadas virtuais e reais da câmera forem às mesmas, o
modelo de computação gráfica pode ser desenhado
precisamente sobre o marcador real (figura 2). A API
OpenGL é usada para calcular as coordenadas virtuais da
câmera e desenhar as imagens virtuais.
Figura. 2. - Objeto virtual aplicado sobre o marcador.
2) Visual Studio - O ambiente de desenvolvimento
integrado, aperfeiçoado no Visual Studio .NET oferece
melhor tempo de inicialização, melhor desempenho e
confiabilidade.
possui várias funções para modelagem, tais como superfícies
quadráticas, e curvas e superfícies NURBS (Non Uniform
Rational B-Splines).[2]
IV. DETALHES DA IMPLEMENTAÇÃO
Este trabalho passou por 2 etapas, em um primeiro momento
detecção das características do sinal à medida que os dados
são coletados, e em um segundo momento este sinal controla
a próteses virtual.
As duas etapas do trabalho serão descritos a seguir.
• Primeira etapa do projeto
O sinal Eletromiográfico é um reflexo de uma ativação
neuromuscular associada diretamente a uma contração
muscular, é uma sinal de grande complexidade.
Um melhor entendimento clínico sobre eletromiografia de
superfície, entropia de estado e entropia de resposta é de
fundamental importância. A eletromiografia de superfície
(EMGs) fornece a adição algébrica de atividade elétrica em
uma população de fibras de músculo. Há uma relação direta
entre amplitude EMGs e tensão de músculo durante a
contração muscular isométrica (sem movimento).
O sinal EMG possui natureza estocástica e pode ser
representado, por uma função do tipo Gaussiana. Sua
amplitude pode variar de 0 a 10 mV, a maior parte da energia
útil do sinal e limitada na faixa de freqüência entre 0 a 500
Hz com energia dominante entre 50 a 150Hz
3) VRML - Ferramenta usada para criar o mundo virtual.
A Virtual Reality Modeling Language é uma linguagem que
permite que se apresentem objetos e mundos tridimensionais
através da World Wide Web.[1]
4) OpenGL - é uma biblioteca de rotinas gráficas e de
modelagem, 2D e 3D, que estabelece para o programador
uma interface com o hardware gráfico, independente da
plataforma. Esta interface consiste de aproximadamente 250
comandos e funções (200 comandos do core OpenGL e 50 da
GLU - OpenGL Utility Library) que são usados para
especificar os objetos e operações necessárias para produzir
programas interativos com imagens coloridas e animação
3D. Existe praticamente uma implementação do OpenGL
para cada tipo de plataforma.
OpenGL não é uma linguagem de programação, é uma
poderosa e sofisticada API (Application Programming
Interface) para criação de gráficos 3D.
É importante comentar que, para ser portável, OpenGL não
possui funções para gerenciamento de janelas, interação com
o usuário ou arquivos de entrada/saída. OpenGL fornece
apenas um pequeno conjunto de primitivas gráficas para
construção de modelos: pontos, linhas e polígonos. Já a
biblioteca GLU (que faz parte da implementação OpenGL)
Figura 3 - O sinal EMG: amplitude 0 a 10 mV, freqüência 0 a
500 Hz, com dominância na faixa de 50 a 150 Hz.[5]
Para extrair as características do sinal EMG a técnica
escolhida é aplicação de um modelo auto-regressivo
integrado de média móvel.
A equação (I) representa um modelo denominado como autoregressivo integrado de média móvel, ou simplesmente
ARIMA. Podemos escrever a equação (I) também com o
seguinte formato:
p
q
i =1
i =0
yt = α 0 + ∑ α i yt −i + ∑ β i ε t −i , sendo β 0 = 1 . (I)
Chamamos de modelo auto-regressivo quando podemos
escrever
uma
série
temporal
na
forma
p
yt = α 0 + ∑ α i yt −i + ε t (II)
i =1
ou seja a série yt é escrita a partir dos seus valores passados.
Escrevendo a série em termos dos seus choques aleatórios
temos o modelo de média móvel.
q
yt = ∑ βi ε t −i , onde β 0 = 1 . (III)
i =0
Para que possamos determinar qual o modelo da família
ARIMA que melhor representa a série e que poderá ser
utilizado para fazer as previsões, podemos seguir as
seguintes etapas dadas na figura 4:
Identifica
ção do
Modelo
Æ
Estimação
Æ
Verificação ou
diagnóstico
Æ
Previsão
Figura 4 – Etapas para determinação do modelo ARIMA[4].
Assim que a verificação é classificado positiva teremos a
previsão do comportamento do sinal, entra a segunda etapa
do projeto o controle da prótese virtual.
•
Segunda etapa do projeto
O objeto 3D foi modelado usando 3Dstudio Max, o
modelo foi gerado em partes o que facilita o controle das
mesmas, em seguida foi exportado para o VRML97.
Figura 6 – Braço virtual rodando no navegador.
O marcador foi associado ao objeto virtual.
Foi utilizado o ARToolkit combinando as cenas virtuais
geradas pelo computador com o mundo real observado pelo
usuário, possibilitando a adição de informações a este
mundo, figura 4.
A câmera captura a imagem, localiza o marcador, o PC
busca o objeto virtual referente ao marcador, e insere
conforme programado, o controle do braço e feito através de
um sistema de condicionamento do sinal dos nervos que
restam do membro amputado, esse sinal e muito pequeno ele
capturado por sensores que entregam estes a um sistema
condiciona o sinal amplifica e filtra ruídos e passado pela
porta de entrada do PC que atualiza em tempo real o arquivo
virtual, conforme podemos ver na figura 5.
Figura 5 - Construção do braço virtual.
Figura 7 - Braço virtual projetado sobre o marcador
preso ao corpo.
À medida que os sinais são coletados, no corpo do
paciente a prótese reage de acordo com os mesmos sinais.
O mesmo braço modelado no 3Dstudio é usado, mas ao
invés de exportalo para VRML este é exportado para o
formato 3ds, formato esse que o openGL consegue carregar.
A aquisição de dados foi feita usando um sistema do tipo
Interface de análises de um sinal EMG ,aparelho que captura
sinais EMGs.
V. CONCLUSÕES E TRABALHOS FUTUROS
Na primeira parte do projeto o braço já se encontra
modelado em 3Dstudio Max e exportado para o VRML97, a
captura do marcador e inserir o braço virtual ao marcador e
seu controle foi efetivado.
A segunda parte do projeto os dados estão sendo usados de
banco de dados estes foram colhidos pelos sensores e
digitalizados estão prontos para simular o controle da
prótese.
REFERÊNCIAS BIBLIOGRÁFICAS
Figura 9 - Interface de análises de um
sinal EMG coletado [6].
Detecção do comando da prótese a partir do EMG
O sistema de amostragem do sinal captura este e o carrega
em um buffer circular onde o sinal é tratado por um
algoritmo Auto Regressivo (AR) que determina os
coeficientes AR, e estes descrevem o movimento que o sinal
representa.
Foi usado DirectX para exibir o controle da prótese virtual, o
funcionamento e o mesmo ao da primeira etapa contudo o
braço 3D fica ao lado do gráfico de aquisição do sinal,
possibilitando acompanhar que a forma de onda esta
relacionada ao movimento.
Figura 10 - Interface do protótipo de controle de prótese
virtual usando sinais EMG.
[1] ParallelGraphics http://www.parallelgraphics.com/.
22/10/2005 13:00hs/16:30hs.
[2] http://w3.impa.br/~lvelho/i3d01/demos/lourena/Introduc
ao.htm Editora Ciência Moderna.
[3] Yeo Seng Jin, FRCS(Ed), FAMS, AUGMENTED
REALITY WITH X-RAY LOCALIZATION FOR
TOTAL HIP REPLACEMENT.
[4] YIM, J. Previsão de Séries de Tempo: Modelos ARIMA,
Modelos Estruturais e Redes Neurais Artificiais.
Dissertação (Economia) - Universidade de São Paulo,
2001.
[5] Duarte,
Marcos
“ELETROMIOGRAFIA”,
http://lob.iv.fapesp.br 24/05/2007 7:00hs/8:00hs
[6] E. Lamounier, A. Soares, A. Andrade, and R. Carrijo.”
A Virtual Prosthesis Control based on Neural Networks
for EMG Pattern Classification” Artificial Intelligence
and Soft Computing – 2002.
[7] J. Braz: "Realidade Aumentada na Engenharia
Biomédica: um Estado da Arte"; 5ª Workshop em
Engenharia Biomédica, Instituto Superior Técnico/UTL,
Lisboa,
Portugal,
2000
e
no
site,
http://ltodi.est.ips.pt/jbraz/ficheiros/AppRAnaEB.ppt