AMBIENTE VIRTUAL PARA REABILITAÇÃO DE MEMBROS SUPERIORES DE PACIENTES PÓS-AVC NICOLÁS J. VALENCIA1, VIVIANNE F. CARDOSO 2, FLAVIA A. LOTERIO2, JOHN J. VILLAREJO1, ANSELMO FRIZERANETO1, TEODIANO BASTOS1,2 1. Programa de Pós-Graduação em Engenharia Elétrica, Universidade Federal do Espírito Santo, CEP 29075-910, Av. Fernando Ferrari, 514, Vitória, ES-Brasil E-mails: [email protected], [email protected] 2. Programa de Pós-Graduação em Biotecnologia, Universidade Federal do Espírito Santo, CEP 29075910, Av. Fernando Ferrari, 514, Vitória, ES-Brasil E-mails: [email protected] Abstract Stroke is a considerable cause of disability worldwide. Some neurological functions are affected by stroke, like motor disability in the contralesional side. A common motor recovery goal in physical therapy is to promote and enhance symmetry in motor patterns involved in daily functional tasks, helping to prevent learned nonuse of the paretic side. With this in mind, we present a software tool using Kinect V2 and sEMG sensor, which enables the automated supervision of physical exercises aiming to the physical rehabilitation of arm movements. The virtual environment shows friendly surroundings in 3D graphics, removing the repetitive therapy idea. Instead of, wrap the patient in a game with which to reach a recovery. The system developed, further helping the patient, it is an effective tool for therapists, which generates parameters of angular amplitude in joints and shows muscle activation in required movements by the system. Keywords - Stroke rehabilitation, Interactive virtual environments, sEMG, Computer Vision. Resumo O AVC é uma causa considerável de incapacidade em todo o mundo. Certas funções neurológicas podem ser afetadas pelo AVC, como é o caso da mobilidade no lado contralesionado do corpo. A meta comum da recuperação motora na fisioterapia é promover e melhorar a simetria em padrões motores envolvidos em tarefas funcionais diárias, com o objetivo de evitar desuso do lado parético. Com isto em mente, apresenta-se uma ferramenta de software usando Kinect V2 e um sensor de sEMG, que permite a supervisão automatizada de exercícios físicos, ajudando na reabilitação física dos movimentos do braço. A realidade virtual mostra um ambiente amistoso em gráficos 3D, eliminando a ideia da terapia repetitiva e possibilitando ao paciente uma recuperação alcançada através de um jogo. Além de ajudar o paciente, o sistema desenvolvido é uma ferramenta eficaz para terapeutas, gerando parâmetros de amplitude angular nas articulações e mostrando a ativação muscular nos movimentos requeridos pelo sistema. Palavras-chave Reabilitação AVC, Ambientes virtuais interativos, sEMG, Visão computacional. 1. Introdução O Acidente Vascular Cerebral (AVC) está entre as principais causas de morte e incapacidade motora em todo mundo (WHO, 2014). A alta incidência de AVC provoca um considerável impacto socioeconômico, o que implica em altos investimentos em prevenção e desenvolvimento de novos métodos para reabilitação. Pessoas acometidas por AVC podem apresentar sequelas sensório-motoras, musculoesqueléticas, perceptuais e cognitivas, sendo que a função motora prejudicada aparece como um dos sintomas mais comuns (Sin; Lee, 2013). As deficiências neurológicas causadas pelo AVC incluem hemiparesia, ou seja, fraqueza no lado do corpo contralateral à lesão, dificuldades de coordenação, espasticidade, apraxia e deficiências no controle postural (Popovic et al., 2014). Quando os membros superiores são afetados, a qualidade de vida destes pacientes fica comprometida. Embora a recuperação funcional da extremidade superior afetada seja extremante importante, apenas 50% dos sobreviventes de AVC estão propensos a recuperar algum uso funcional da mesma (Chan et al., 2009). Uma das limitações encontradas para induzir mudanças na neuroplasticidade e na recuperação funcional de déficits motores pós-AVC é o elevado número de repetições. Dados neurofisiológicos sugere ser necessária uma quantidade considerável de repetições de movimentos para induzir tais mudanças (Lohse et al., 2014). Entretanto, esse elevado número de repetições é um requisito problemático: demanda um tempo elevado, profissionais especializados e vagas nos centros de reabilitação. Além disso, dados observacionais mostram que as intervenções que exigem movimentos simples e repetitivos podem causar monotonia e tédio, reduzindo a atenção e motivação dos pacientes para completar o treinamento (Lang et al., 2009). Recentemente, exercícios e jogos em ambientes de Realidade Virtual (RV) têm sido usados na área de reabilitação. Esses podem proporcionar um variado e agradável ambiente para motivar a prática de movimentos necessários na reabilitação, provocar altos níveis de envolvimento e prender a atenção por longos períodos de tempo (Krakauer, 2006), podendo servir como um fator de motivação em termos de diversão, desafio e feedback. Nos últimos anos, jogos interativos em ambientes de RV têm sido amplamente aceitos, uma vez que a motivação do paciente mostra ser altamente importante no resultado terapêutico. Neste sentido, alguns estudos têm se dedicado ao desenvolvimento de dispositivos que integrem a RV no processo de reabilitação de pacientes pós-AVC (Lange et al., 2011; Baranyi et al., 2013; Erazo Orlando et al., 2014), mostrando que a RV pode ser uma potencial ferramenta para auxiliar pacientes e profissionais de reabilitação durante o processo de recuperação após a ocorrência do AVC. Assim, este trabalho tem como objetivo o desenvolvimento de um ambiente virtual utilizando o Kinect da Microsoft, construído para auxiliar nos exercícios fisioterapêuticos de pacientes pós-AVC, além de mostrar para o terapeuta a atividade muscular na extremidade estudada. O sistema de reabilitação permite ao paciente pós-AVC ter uma ferramenta de análise de movimento e de ativação muscular, enquanto joga alcançando asteroides em um ambiente espacial (Figura 1). 2.1 Atividades físicas propostas No membro superior de pacientes pós-AVC, é comum que haja espasticidade nos músculos flexores do cotovelo, prejudicando movimentos de extensão e flexão do cotovelo, limitando assim sua funcionalidade (O'Sullivan; Schmitz, 2006). Esses movimentos proporcionam um meio para ajustar o alongamento funcional geral do membro superior, função que é usada para muitas atividades importantes, como alimentação, alcance, arremesso e higiene pessoal. Para manter a integridade e mobilidade das articulações e prevenir contraturas, são indicados exercícios de amplitude de movimento e alongamentos (O'Sullivan; Schmitz, 2006). A amplitude máxima do movimento passivo do cotovelo vai de 5 graus de hiperextensão até 145 graus de flexão. Contudo, diversas atividades comuns do dia-a-dia usam apenas um arco limitado de movimento, ou seja, um arco funcional normalmente entre 30 a 130 graus (Neumann, 2013). Assim, para que um dispositivo seja útil na reabilitação de membros superiores de indivíduos pós-AVC, é necessário que uma de suas características seja a recuperação destes movimentos. Neste estudo, os objetivos virtuais foram posicionados no nível do arco de movimento descrito (0o a 180o) durante a flexão e extensão do cotovelo e antebraço (Figura 2) para realizar movimentos de pronação. Figura 1. Ambiente Virtual para recuperação dos movimentos no braço esquerdo (espelhado). 2. Métodos O sistema desenvolvido mostra um humanoide em um ambiente virtual, copiando os movimentos do paciente, por meio do qual se pode especificar, monitorar e avaliar as tarefas de reabilitação e produzir um feedback útil para o paciente e para o profissional de reabilitação. Através da imersão proporcionada pela RV é possível motivar o paciente a realizar uma maior quantidade de movimentos de forma correta e com segurança. Este sistema foi baseado em paradigmas de aprendizagem motora e concebido a partir das necessidades dos fisioterapeutas em ter uma ferramenta de análise dos movimentos durante a recuperação motora em pessoas com hemiparesia (Krakauer, 2006). Com base nas características da câmera Kinect, o sistema foi construído com a capacidade de detectar movimentos corporais envolvidos na extensão e flexão do cotovelo. Figura 2. Amplitude de movimento do cotovelo (Plano sagital). Arco funcional descrito pela posição de cada um dos objetivos. 2.2 Aquisição e processamento de sinais A instrumentação necessária para o funcionamento do sistema é composta por um computador pessoal (com periféricos básicos), o Kinect para Windows v2 (Microsoft 2015) e o sistema de aquisição EMG 830, desenvolvido por EMG System do Brasil Ltda.. Esta seleção foi feita com base na facilidade de consecução, uso e preço relativamente baixo em comparação com outras tecnologias de rastreamento do corpo e processamento de sinais mioelétricos. 2.2.1. Processamento de imagens 2.2.2. Processamento de sEMG Com a finalidade de obter dados do sensor Kinect, foi utilizado o programa Microsoft® SDK (Software Development Kit) para o Kinect ™ V2, o qual fornece um fluxo de 30 FPS (quadros por segundo) nas imagens coloridas e de profundidade, e até 6 segmentações de esqueletos de 25 articulações por pessoa para 6 pessoas diferentes (Microsoft, 2015). A Figura 3 mostra um diagrama de blocos que descreve diferentes partes identificáveis da aplicação escrita em linguagem C#. FSM implica “Finite State Machine” ou Maquina de Estados Finitos. A fim de obter dados do sistema de aquisição EMG 830, é feito um processamento dos sinais mioelétricos no software Matlab, no qual o terapeuta pode conhecer os movimentos feitos pelo paciente e ter uma medida específica da atuação de cada grupo muscular no movimento atingido. O sistema mostra diferentes níveis de ativação muscular e a tarefa do músculo (flexão ou extensão). Na Figura 5, é apresentado um diagrama de blocos que descreve o processamento dos sinais mioelétricos. Figura 3. Diagrama de blocos que descreve a utilidade do Kinect V2. O Kinect utiliza as funções desenvolvidas pelo fabricante, agrupadas no SDK 2.0, e então as imagens são processadas para transformar os movimentos feitos pela pessoa em um sistema 3D coordenado. A transformação espacial implementada é usada para inserir cada movimento da pessoa no ambiente virtual em tempo real (Figura 9, FSM do jogo), gerando um feedback para o paciente. O movimento é captado pela câmera para realizar o ciclo repetidamente até alcançar todos os objetivos flutuantes. O Kinect infere a posição do corpo em um processo de duas etapas: 1) calcula um mapa de profundidade por meio do sensor infravermelho; 2) infere uma posição do corpo usando uma máquina de aprendizagem. Com a informação do corpo no ambiente virtual, é feita uma filtragem para definir uma zona ativa onde o paciente vai desenvolver sua terapia (Figura 4). Figura 4. Zona ativa definida para detecção do paciente. Vista lateral e superior. Figura 5. Diagrama de blocos que descreve a utilidade do sistema de aquisição EMG 830. Foram utilizados dois canais de Eletromiografia de superfície (sEMG) em cada um dos braços do voluntário, especificamente no bíceps braquial e tríceps braquial, músculos encarregados dos movimentos solicitados pelo sistema de reabilitação. Os dados foram processados para verificar o instante da contração muscular, de acordo com o movimento solicitado para alcançar o alvo. Com isso, pode ser estudado o nível de ativação muscular, verificando o grau de esforço feito pelo paciente. As informações são mostradas graficamente ao terapeuta, quem avalia cada parâmetro gerado pelo sistema. O sinal mioelétrico é processado digitalmente para gerar um estímulo de realimentação sensorial (biofeedback). Um filtro passa-banda IIR tipo Chevyshev com frequências de corte de 10Hz e 250Hz, é utilizado para remover artefatos do ambiente. Adicionalmente, as interferências da rede elétrica, de 60Hz e o harmônico de 180Hz, são removidos mediante filtros Notch, ambos do tipo IIR Elliptic. Posteriormente, o sinal é retificado para analisar o comportamento do sinal com valores positivos. Cada sinal é normalizado usando a mediana escalada por um fator de 20 vezes. A Figura 6 descreve um exemplo do sinal no domínio do tempo e o seu correspondente espectro de frequência mediante a transformada rápida de Fourier. Figura 6. Sinal correspondente aos movimentos gerados pelo paciente em um instante do tempo. O biofeedback é proporcionado a partir da retroalimentação visual ao paciente, mediante um processo de detecção da atividade muscular. Para isso são calculadas a envoltória do sinal obtido para cada canal e o valor da raiz média quadrática, sendo o sinal segmentado mediante uma janela deslizante de 500 amostras consecutivas. Em seguida, o sinal da envoltória é transformado em um conjunto de valores discretos usando o algoritmo de agrupamento de kmeans clustering. A finalidade deste algoritmo é encontrar similaridades entre os dados e conformar grupos a partir dessa semelhança. Cada amostra é associada a um dos “k” clusters, minimizando a distância relativa aos centroides usando a distância euclidiana quadrática. No presente trabalho, o valor de k utilizado foi de cinco. A Figura 7 descreve esse processo, com o sinal mioelétrico filtrado e retificado (cor azul) e a envoltória (linha preta). Finalmente, o agrupamento de cada amostra é representado mediante um gráfico de barras, o qual representa os cinco níveis aos quais são associadas cada uma das amostras. Figura 8. Ambiente Virtual Interativo desenvolvido para o primeiro jogo. O segundo jogo mostra cada um dos sete asteroides de maneira independente flutuando, aparecendo em sequência. No primeiro instante aparece o asteroide flutuando na posição 0°. Quando o paciente o atinge, aparece o segundo objetivo a 30° do primeiro. A sequência continua até que a pessoa consiga alcançar os sete objetivos. Figura 7. Sinal filtrado mostrando os diferentes níveis de ativação muscular. 2.3. Ambiente Virtual Interativo O protótipo deste ambiente foi desenvolvido no software Unity®, o qual consiste em um personagem no estilo “homem espacial”, cujo propósito é coletar o maior número possível de asteroides a partir do movimento do braço afetado pelo AVC (Figura 8). Foram desenvolvidos três jogos diferentes no mesmo ambiente virtual. O primeiro jogo mostra o humanoide tentando alcançar sete objetivos fixos flutuando em ângulos específicos vistos desde o plano sagital (Figura 2). Figura 9. FSM do Jogo. No terceiro jogo, os objetivos aparecem da mesma forma que no segundo, mas nesta etapa os movimentos de ambos os braços são intercalados, tentando comparar os movimentos realizados pelo braço saudável e braço afetado do corpo. Na Figura 9, mostra-se a Máquina de Estados Finitos (FSM) do jogo, no qual se inicia o sistema perguntando se há um usuário frente ao Kinect. Com o usuário usando o sistema, utiliza-se o processamento do Kinect para seguir os movimentos feitos pela pessoa. A ideia é que a pessoa alcance cada um dos objetivos que estão flutuando na posição específica. Quando a pessoa alcança todos os asteroides, surge uma mensagem informando que o voluntário ganhou o jogo. Vale a pena destacar que cada um dos asteroides gira constantemente, chamando a atenção do usuário. De igual forma, eles estouram cada vez que são atingidos, gerando um feedback sonoro e visual. Scale) (Krasny-Pacini, 2013) para avaliar os objetivos esperados durante o uso do sistema de reabilitação (quantidade de acertos e quantidade de acertos realizados utilizando somente o movimento de extensão do cotovelo). 3. Resultados e Discussões Cinco indivíduos saudáveis participaram dos experimentos, sendo dois do sexo masculino (± 28 anos de idade) e três do sexo feminino (± 30 anos de idade) com desvio padrão de 4,7. Para inclusão no estudo, o voluntário deveria ter habilidades cognitivas e motoras suficientes para compreender e realizar as instruções do experimento. Todos os voluntários assinaram o termo de consentimento livre e esclarecido. O estudo teve a aprovação dada pelo Comitê de Ética da UFES, CAAE 41291314.0.0000.5060. Três jogos foram propostos. Cada voluntário realizou duas repetições com o braço direito e duas com o braço esquerdo em cada jogo, totalizando 12 movimentos de extensão do cotovelo. O voluntário tinha 20 segundos para alcançar os sete objetivos virtuais propostos em cada jogo. O total de objetivos virtuais a serem alcançados eram 84. A Tabela 1 mostra a quantidade de acertos de objetivos virtuais por voluntário. Tabela 1: Quantidade total de acertos. Quantidade de Porcentagem de Voluntário acertos acertos 1 80,00 95,00% 2 3 4 5 Média Desvio padrão 77,00 77,00 74,00 80,00 81,50 ±2,51 92,00% 92,00% 88,00% 95,00% 92,00% ±2,99 Vale ressaltar que, para induzir mudanças na neuroplasticidade e na recuperação funcional de déficits motores pós-AVC, é necessário realizar uma grande quantidade de movimentos (Lohse et al., 2014). Assim, um dos objetivos do sistema proposto é aumentar a quantidade de movimentos realizados durante o processo de reabilitação, sendo que nosso sistema foi capaz de proporcionar 12 movimentos completos de extensão e flexão do cotovelo em um intervalo de 4 minutos. Após o teste, cada voluntário respondeu ao questionário SUS (System Usability Scale), com o objetivo de avaliar o sistema de reabilitação nas seguintes características: facilidade de uso e necessidade de auxílio profissional ao utilizá-lo (Brooke, 2013). Por fim, foi utilizada a escala GAS (Goal Attainment Figura 10. Usuário utilizando o sistema de reabilitação. A Tabela 2 apresenta os valores obtidos pelos métodos de avaliação SUS e GAS. O SUS foi calculado pelo método tradicional (Brooke, 2013), sendo que o voluntário pontuou cada um dos dez itens com valores entre 1 e 5. O GAS foi calculado usando a equação simplificada (Equação 1) pelo fato de todos os objetivos usados terem o mesmo peso em importância (Krasny-Pacini, 2013). A pontuação de cada objetivo é dada da seguinte forma: -2 quando o resultado é muito pior que o esperado; -1 quando pior que o esperado; 0 quando igual ao esperado; +1 quando melhor que o esperado e; +2 quando muito melhor que o esperado. T = 50 + C ∗ ∑ Xi , (1) onde Xi = soma dos valores para cada objetivo, e o valor de C varia conforme o número de objetivos. No caso, C tem valor 6,2, pois são usados dois objetivos. Tabela 2: Valores dos métodos de avaliação. Voluntário SUS GAS (valor de T) 1 92,50 74,80 2 3 4 5 Média Desvio padrão 80,00 87,70 67,50 82,50 81,50 ±9,42 74,80 74,80 68,60 74,80 73,56 ±2,77 Para a escala SUS, valores acima de 68 são considerados acima da média, e abaixo de 68 são abaixo da média (Brooke, 2013). O valor do SUS dado pelo voluntário 4 foi abaixo da média. Para os outros voluntários, o valor foi acima de 80, indicando que o ambiente de realidade virtual foi classificado como útil. Por outro lado, quando o valor do GAS é T = 50, significa que os objetivos foram atingidos como esperado; T < 50 indica que o resultado foi pior que o esperado e T > 50 que o resultado foi melhor do que o esperado (Krasny-Pacini, 2013). Assim, como todos os valores de T foram acima de 50 (Tabela 2), os resultados obtidos após avaliação do desempenho dos voluntários no ambiente de realidade virtual mostraram que os objetivos pré-determinados tiveram resultados melhores do que os esperados para todos os voluntários. De uma forma geral, os métodos de avaliação usados (SUS e GAS) mostraram um resultado positivo em relação ao sistema de reabilitação desenvolvido. A aceitação do sistema, avaliado pelo questionário SUS, se mostrou adequada, e os resultados do GAS foram muito satisfatórios, mostrando uma quantidade de acertos melhor do que o esperado. 4. Conclusões e Trabalhos futuros Os resultados deste estudo podem colaborar para o desenvolvimento de um de sistema de reabilitação que pode ser usado de forma complementar à terapia convencional de membros superiores de pacientes pós-AVC, em clinicas e centros de reabilitação. Um sistema que integre sEMG e RV pode, através do miofeedback, fornecer uma estimativa quantitativa da ativação muscular e do membro parético do paciente, permitindo que ele possa regular e controlar a atividade muscular voluntária referente à flexão e extensão desta articulação, fornecendo uma estimativa quantitativa da ativação muscular dos músculos bíceps braquial, tríceps braquial e baquirradial do paciente. O sistema também permite que o profissional de reabilitação possa acompanhar todo o processo e, com base nos resultados, decidir a próxima intervenção. Com o software desenvolvido é possível monitorar o processo de reabilitação através de dados como: ativação muscular, duração da sessão, frequência e execução dos exercícios. Além do desenvolvimento de um jogo complexo para o tratamento pós-AVC, as expectativas futuras para este trabalho incluem, entre outros aspectos: (i) uso de sinais mioelétricos como parte do jogo, acrescentando um biofeedback diretamente na tela, mostrando um indicador dos diferentes níveis de ativação muscular gerados nos seus movimentos; (ii) a utilização de outros tipos de sensores que possam gerar uma maior quantidade de parâmetros aos terapeutas e ao paciente; (iii) o uso da Computação Afetiva para manter motivado o paciente, visando diminuir o histórico de abandono nesse tipo de reabilitação e monitorando seus avanços e adaptando melhores estratégias de tratamento vinculadas às etapas mais complexas do jogo. Referências Bibliográficas Baranyi, R. et al. Chances for Serious Games in Rehabilitation of Stroke Patients on the Example of Utilizing the Wii Fit Balance Board. 2013 IEEE 2nd International Conference on Serious Games and Applications for Health (Segah), p. 7, 2013. Brooke. SUS: a retrospective. Journal of Usability Studies, vol. 8, issue 2, 2013. Chan, M. K. L.; Tong, R. K. Y.; Chung, K. Y. K. Bilateral Upper Limb Training With Functional Electric Stimulation in Patients With Chronic Stroke. Neurorehabilitation and Neural Repair, v. 23, n. 4, p. 357-365, May 2009. ISSN 15459683. Erazo Orlando et al. Magic Mirror for Neurorehabilitation of People with Upper Limb Dysfunction Using Kinect 47th Hawaii International Conference on System Science. Hawaii: IEEE: 26072615 p. 2014. Krakauer, J. W. Motor learning: its relevance to stroke recovery and neurorehabilitation. Current opinion in neurology, v. 19, n. 1, p. 84--90, 2006. ISSN 1350-7540. Krasny-Pacini A.; J. Hiebel; F. Pauly; S. Godon; M. Chevignard. Goal Attainment Scaling in rehabilitation: A literature-based update. Annals of Physical and Rehabilitation Medicine 56 (2013) p. 212–230 Lang, C. E. et al. Observation of Amounts of Movement Practice Provided During Stroke Rehabilitation. Archives of Physical Medicine and Rehabilitation, v. 90, n. 10, p. 1692-1698, Oct 2009. ISSN 0003-9993. Lange, B. et al. Development and Evaluation of Low Cost Game-Based Balance Rehabilitation Tool Using the Microsoft Kinect Sensor. 33rd Annual International Conference of the IEEE Engineering-in-Medicine-and-Biology-Society (EMBS), 2011, Boston, MA. IEEE, Aug 30-Sep 03. p.1831-1834. Lohse, K. R. et al. Virtual Reality Therapy for Adults Post-Stroke: A Systematic Review and Meta-Analysis Exploring Virtual Environments and Commercial Games in Therapy. Plos One, v. 9, n. 3, Mar 28 2014. ISSN 1932-6203. Neumann, D. A. Kinesiology of the musculoskeletal system: foundations for rehabilitation. Elsevier Health Sciences, 2013. ISBN 0323266320. O'Sullivan, S. B.; Schmitz, T. J. — Physical Rehabilitation. Philadelphia: F.A. Davis Company; 5th edition: 1383 p. 2006. Popovic, M. D. et al. Feedback-Mediated Upper Extremities Exercise: Increasing Patient Motivation in Poststroke Rehabilitation. Biomed Research International, p. 11, 2014. ISSN 23146133. Sin, H.; Lee, G. Additional Virtual Reality Training Using Xbox Kinect in Stroke Survivors with Hemiplegia. American Journal of Physical Medicine & Rehabilitation, v. 92, n. 10, p. 871-880, Oct 2013. ISSN 0894-9115. WHO: World Health Organization. The top 10 causes of death, 2014. Disponível em: <http://www.who.int/mediacentre/factsheets/fs3 10/en/>. Acesso em: 03/04/2015. Microsoft, 2015. Kinect for Windows. Available at: https://www.microsoft.com/enus/kinectforwindows/default.aspx