Marcos Antônio Abdalla Júnior
Controle de um braço mecânico utilizando
técnica de Interface Cérebro Máquina.
Dissertação apresentada à banca examinadora designada pelo Colegiado do Programa de Pós-Graduação em Engenharia
Elétrica, associação ampla entre a Universidade Federal de São João del-Rei e o
Centro Federal de Educação Tecnológica
de Minas Gerais, como parte dos requisitos necessários à obtenção do grau de Mestre em Engenharia Elétrica.
Orientador: Prof. Dr. Márcio Falcão Santos Barroso
Co-orientador: Prof. Dr. Leonardo Bonato Félix
São João del-Rei
2012
iii
Dedicatória
Aos meus pais Marcos e Maria Luı́za, por todo o esforço, pelo carinho e
pelo amor.
A toda minha famı́lia com um carinho especial aos meus tios Manoel,
Cornélia e Flora.
v
Agradecimentos
A Deus!
Aos meus pais, tios e tias!
Ao meu amor, Tatiana! Pela amizade, carinho e por estar ao meu lado
sempre que precisei.
Aos meus grandes mestres Erivelton, Barroso e Bonato! Muito obrigado,
senhores, pela paciência!
Aos eternos amigos da faculdade, Tadeu, Malu, João, Lucas, Suzanne,
Alipio e a todos os outros que participaram desta caminhada!
Ao Jim Jones companheiro de congresso!
Aos amigos do GCoM e do NIAS.
À CAPES, FAPEMIG e CNPq, pelo apoio financeiro ao longo de anos.
vii
Epı́grafe
”(· · · ) Gather ye rosebuds while ye may,
Old Time is still a-flying;
And this same flower that smiles today,
Tomorrow will be dying”. Robert Herrick 1591 − 1674
ix
Sumário
Resumo
xv
Abstract
xvii
Lista de Tabelas
xix
Lista de Figuras
xxvii
Lista de Sı́mbolos
xxix
Lista de Siglas
xxxi
1 Introdução
1
1.1
1.2
Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.1.1
Interface Cérebro Máquina . . . . . . . . . . . . . . . .
1
1.1.2
Sinais Eletroencefalográficos (EEG) . . . . . . . . . . .
4
1.1.3
Potenciais Evocados por estı́mulo Visual . . . . . . . . 10
Fisiologia do Olho . . . . . . . . . . . . . . . . . . . . . . . . . 13
2 Materiais e Métodos
17
2.1
Relação Sinal Ruı́do - SNR . . . . . . . . . . . . . . . . . . . . 18
2.2
Função de Coerência . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1
Magnitude quadrática da coerência (MSC) . . . . . . . 20
xi
xii
2.2.2
Valores crı́ticos para K̂y2 (f ) . . . . . . . . . . . . . . . 21
2.2.3
Extensão da MSC para o caso multivariável (MMSC). . 23
2.2.4
Valores Crı́ticos para a MMSC . . . . . . . . . . . . . . 25
2.2.5
Coerência Múltipla em Tempo Real . . . . . . . . . . . 26
2.3
Resumo do Ferramental Matemático . . . . . . . . . . . . . . 26
2.4
Potencial Evocado por Foto-Estimulação Intermitente. . . . . 28
2.5
2.4.1
Estimuladores . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.2
Frequência de Estimulação . . . . . . . . . . . . . . . . 30
2.4.3
Harmônicos . . . . . . . . . . . . . . . . . . . . . . . . 31
Eletroencefalógrafo . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.1
Comunicação dos Dados . . . . . . . . . . . . . . . . . 33
2.5.2
Eletrodos . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.5.3
Sistema Internacional 10-20 . . . . . . . . . . . . . . . 35
2.5.4
Protocolo de Exames . . . . . . . . . . . . . . . . . . . 35
2.5.5
Filtros . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5.6
Parâmetros para a Coerência Múltipla . . . . . . . . . 38
2.6
Decisor HSD (Harmonic Sum Decision) . . . . . . . . . . . . . 40
2.7
Braço Robótico . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.8
Acionamento dos Motores . . . . . . . . . . . . . . . . . . . . 43
2.8.1
2.9
Acionamento do Braço por meio do Labview . . . . . . 43
Interface do Usuário para Operação em Tempo Real da ICC . 46
2.10 Resumo do Capı́tulo . . . . . . . . . . . . . . . . . . . . . . . 47
3 Resultados
49
3.1
Resultados do Protocolo de Simulações . . . . . . . . . . . . . 49
3.2
Resultados do Protocolo de Análise dos Sinais de EEG Off-Line 52
3.3
Resultados do Protocolo de Análise dos Sinais em Tempo Real
(On-Line) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
xiii
3.4
Resumo do Capı́tulo . . . . . . . . . . . . . . . . . . . . . . . 62
4 Discussão e Conclusão
65
5 Trabalhos futuros
69
Bibliografia
74
Resumo
Este trabalho apresenta o desenvolvimento de uma Interface entre Cérebro e Máquina (ICM) desenvolvida com o objetivo de controlar um braço
mecânico. Para tanto foi realizado o estudo das principais técnicas de ICM
que utilizam potenciais evocados, levando a escolha dos sinais evocados por
foto estimulação intermitente. Os sinais do Eletroencefalograma (EEG) que
continham as respostas evocadas foram coletados utilizando-se aparelho próprio para esta finalidade e operando a uma frequência de 600 Hz. Os sinais
coletados pelo aparelho de EEG foram classificados utilizando a Magnitude
Quadrática da Coerência (MSC) e de sua expansão para o caso múlti variável
a Magnitude Quadrática da Coerência Múltipla (MMSC). Após a classificação dos sinais, as amplitudes da MSC foram incorporadas a um decisor do
tipo Harmonic Sum Decision (HSD), responsável pelo envio de comandos
quanto ao sentido de giros dos motores do braço mecânico. O acionamento
do braço foi realizado em ambiente Labview. A eficiência do sistema foi dada
por intermédio da similaridade, valor quantificado utilizando a correlação,
entre os dados do encoder acoplado ao motor do braço, quando o mesmo era
acionado manualmente e quando era acionado utilizando a Interface Cérebro
Maquina proposta. Como resultados principais, foram obtidas correlações
acima de 0,89.
Palavras-chave: Interface Cérebro Máquina, Magnitude Quadrática da Coerência, Foto Estimulação Intermitente.
xv
Abstract
This work presents the development of a Brain Computer Interface (BCI)
system developed in order to control a mechanical arm. For this purpose a
study of the main techniques on BCI that use evoked potencial was conducted
leading to choose the Stady State Visual Evoked Potencial. The electroencephalogram (EEG) that contained the evoked responses was collected using
apparatus for this purpose and operating frequency of 600 Hz. The collected
signal was classified using de Mean Squared Corehence and it’s expantion
to the multivable case the Multiple Mean Squared Corehence. After the
classification the MSC and MMSC were incorporated to the Harmonic Sum
Decision (HSD) which was responsible for sending commands to the direction
of spin of mechanical arm engine. The arm drive was performed in Labview
environment. The system efficiency is given by the similarity quantitated
using the correlation value between data of the encoder coupled to the motor
arm and the BCI response. As main results, correlations were above 0.89.
Keywords: Brain Computer Interface, Stady State Visual Evoked Potencial,
Mean Squared Corehence and Multiple Mean Squared Corehence.
xvii
Lista de Tabelas
1.1
Principais frequências componentes do EEG. . . . . . . . . . .
6
2.1
Mensagem enviada pelo BrainNet BNT-36. . . . . . . . . . . . 34
3.1
Parâmetros das Simulações, Frequência de Amostragem 600Hz,
Janelas com 600 pontos, Nı́vel de Significância (α = 0,05),
Número de Janelas antes do re inicio da MMSC (M),Total de
Pontos (P), Pontos Certos (C), Pontos Errados (E), Porcentagem de acerto (%), Tempo de Simulação em segundos. . . . 51
3.2
Análise do Exame TesteM01. Intervalos com estimulação de
5Hz: 1 e 2. Intervalos com estimulação de 7Hz: 3 e 4. Intervalos sem estimulação: 5,6 e 7. Os intervalos 5f n , 6f n e
7f n , referem-se aos sinais de n = 7 e n = 7 encontrados
quando não deveriam ou seja seriam falsos positivos. Respectivamente cada canal deveria ter 61,31,61,11,0,0,0,0 pontos.
P
P
Σ=
certos − erros . . . . . . . . . . . . . . . . . . . . . 54
3.3
Correlação entre o perfil e a resposta pelo controle da ICC. . . 57
3.4
Média e desvio padrão das correlação de cada voluntário. . . . 62
xix
Lista de Figuras
1.1
Retirado de Ernst Niedermeyer e Fernando Lopes da Silva,
Electroencephalography Basic Principles, Clinical Application
and Related Fields, Editora Lippincott Williams & Wilkins,
5a edição, 2005. . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2
5
Gráfico da publicação de pesquisas sobre ICC e EEG ao longo
do tempo. Foi realizada uma pesquisa na Science Direct para
atigos contendo as palavras ”BCI”e ”EEG”(sendo BCI BrainComputer Inteface ou ICC) entre os anos de 1950 e 2011.
Consulta realizada em junho de 2011. . . . . . . . . . . . . . .
1.3
rı́tmos presentes em um sinal de EEG. Modificado de Lotte
(2009). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4
5
7
Sinal de P300. Um sinal raro e relevante ao usuário é percebido
entre outro sinal qualquer com maior frequência. Modificado
de (Wolpaw et al., 2002). . . . . . . . . . . . . . . . . . . . . .
1.5
9
Os gráficos a esquerda apresentam a corrente que correspondem ao estı́mulos (gráficos da direita) com frequências de 0,2,
0,5, 1, 2 e 5Hz. Modificado de (Demontis et al., 2005). . . . . 10
xxi
xxii
1.6
Exemplo de estı́mulos usados para gerar VEPs e SSVEP. (A)
Luz piscando, montada em óculos, (B) Diodo Emissor de Luz
Piscando, (C) Imagens piscando em monitores de computador
ou televisores. Modificado de (Vialatte et al., 2010).
1.7
. . . . . 11
Diferença entre VEP e SSVEP. A diferença é melhor observada utilizando-se a transformada de Fourier, porém caso seja
levado em consideração que o tamanho da janela da transformada é menor que o perı́odo, a resposta obtida será semelhante
a F1 e não a F2. Modificado de (Vialatte et al., 2010). . . . . 12
1.8
Fisiologia do olho humano.
. . . . . . . . . . . . . . . . . . . 13
1.9
Modificado de (Guyton and Hall, 2006). . . . . . . . . . . . . 14
1.10 Principais caminhos da visão e a transmissão dos sinais visuais
do córtex visual primário para as demais regiões. Modificado
de (Guyton and Hall, 2006).
2.1
. . . . . . . . . . . . . . . . . . 15
Diagrama simplificado da ICM. O computador 1 gera o sinal
com a frequência desejada de estimulo e o sinal do trigger.
O sinal desejado é enviado para o acionamento dos LED′ s.
As respostas evocadas pelo brilho intermitente dos LED′ s são
captados pelo BrainN et e enviados via cabo de rede para o
computador 2 onde os dados serão processados no M atLab.
Após o processamento dos dados o M atlab envia os comandos
para o Labview que aciona os motores do braço. . . . . . . . . 18
2.2
Modelo linear para representar a relação dos sinais de estimulação e a resposta cerebral. . . . . . . . . . . . . . . . . . . . . 20
xxiii
2.3
Modelo linear multivariável para representar a relação dos sinais de estimulação e a resposta cerebral. x[n] é o sinal formado a partir da estimulação por dois sinais diferentes e simultâneos. Esse sinal é filtrado por Hi [n], representando as
respostas evocadas em locais diferentes do cérebro. O EEG
de fundo é representado por um ruı́do ni [n] e a com soma de
vi [n], geram as respostas coletadas yi [n]. . . . . . . . . . . . . 23
2.4
Valor da MSC (a),c)) e MMSC (b),d)) com 30 janelas. Em
vermelho o valor de K̂y2 crit. Observa-se um claro aumento no
valor da amplitude do sinal utilizando a MMSC, bem como o
aumento do valor crı́tico. Isto leva um sistema onde o sinal
foi melhor separado do ruı́do tendo em vista que é a mesma
forma de onda logo tem-se a mesma NSR. . . . . . . . . . . . 27
2.5
Foto estimuladores. . . . . . . . . . . . . . . . . . . . . . . . . 29
2.6
Conjunto de foto-estimulação. No centro da figura observa-se
o LED RGB com encapsulamento branco, nas laterais tem-se
os foto estimuladores. . . . . . . . . . . . . . . . . . . . . . . . 29
2.7
Ondas quadradas utilizadas no acionamento dos estimuladores
e sinal de trigger enviada ao aparelho de Eletroencefalografia.
2.8
30
Presença dos harmônicos nos sinais coletados e no uso da detecção para frequência de estimulação de 5Hz. a) Frequência fundamental com maior amplitude em relação aos demais
harmônicos. b) Segundo harmônico com maior amplitude em
relação à fundamental e presença do terceiro harmônico. Dados da simulação: Taxa de amostragem de 600Hz, Canais
P 3P 4, Janelas de 600 pontos, Re inı́cio da mmsc a cada 15
janelas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
xxiv
2.9
Aparelho para Eletroencefalografia, modelo BrainNet BNT 36
33
2.10 Eletrodos de Ag/AgCl para Eletroencefalografia. . . . . . . . . 34
2.11 Posicionamento dos sensores de acordo com o sistema internacional 10-20. Modificado de Sharbrough et al. (1991) . . . . . 35
2.12 Voluntário posicionado dentro da cabine audiométrica. . . . . 37
2.13 Efeito dos filtros nos sinais. Em destaque o sinal coletado no
ponto P3, com frequência de amostragem de 600Hz e janela
de 600 pontos. . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.14 a) 4 Senoides de diferentes frequências somadas. b) Sinal resultante da soma das senoides. c) Inserção do ruı́do com SNR
de −22dB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.15 A figura mostra uma simulação utilizando o protocolo descrito.
No intervalo onde a amplitude da primeira forma de onda foi
amplificada, o decisor deveria ter como saı́da o valor 1. No
intervalo onde a segunda forma de ontem teve sua amplitude
modificada, o classificador deveria ter saı́da -1. Nos intervalos
onde a terceira e a quarta formas de ondas foram modificadas,
o decisor deveria atribuir os valores de 2 e -2 respectivamente.
40
xxv
2.16 As figuras mostram as análises de dois sinais reais de um
mesmo indivı́duo. Os sinais foram evocados por foto estimulação intermitente com frequência de estimulação em 5Hz e
7Hz. A figura a) apresenta uma resposta onde o segundo
harmônico teve uma amplitude maior do que a resposta da
componente principal. No entanto a figura b) apresenta uma
maior amplitude na frequência fundamental. Dados da rotina:
frequência de amostragem em 600Hz, janelas de 600 pontos,
re-inı́cio da MMSC a cada 15 janelas e canais observados P3
e P4.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.17 Vista frontal e lateral do braço mecânico desenvolvido com
peças do Lego M indstorms. . . . . . . . . . . . . . . . . . . . 42
2.18 Ambiente de Labview para a execução do movimento. . . . . . 43
2.19 Programação dos possı́veis comandos via Labview. . . . . . . . 45
2.20 Interface de operação do sistema em tempo real. . . . . . . . . 46
2.21 a) Representação geral de uma ICC apresentada por Wolpaw
et al. (2002). b) ICC proposta neste trabalho. Nota-se que a
semelhança da arquitetura da interface foi mantida. Porem a
forma da realização do projeto foi alterado de acordo com a
necessidade e aplicação.
3.1
. . . . . . . . . . . . . . . . . . . . . 47
Fluxograma para a simulação e testes com a coerência múltipla. Af n é a amplitude do valor da MMSC e Kcrit o valor
critico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
xxvi
3.2
Cinco possı́veis respostas para a simulação do sistema. O marcador verde representa a frequência detectada ou onde existe
uma concentração da atenção. Os marcadores vermelhos são
as demais frequências e a linha vermelha mostra o valor critico
naquele momento. Qualquer valor abaixo da linha vermelha é
estatisticamente nulo. . . . . . . . . . . . . . . . . . . . . . . . 51
3.3
Protocolo para a aquisição dos sinais reais de EEG. Faixa vermelha indica não concentrar em nenhum estı́mulo, faixa verde,
representa atenção ao estimulo da esquerda e faixa azul, atenção ao estimulo da direita. . . . . . . . . . . . . . . . . . . . . 52
3.4
Sinais de trigger coletados pelo EEG em suas portas auxiliares.
a) trigger da MMSC, constituı́do por pequenos pulsos com
frequência de 1Hz. b) Trigger da luz vermelha. c) Trigger da
luz azul. d) Trigger da luz verde. . . . . . . . . . . . . . . . . 53
3.5
Análise off-line do exame testeM02 Fs 601,5. Taxa de aquisição de 600Hz, janelas de 600 pontos, MMSC re-iniciada a
cada 15 janelas. Valores basais 0,3292 0,2977 0,1085 0,0557
para as frequências de 5, 7, 10 e 14 Hz, respectivamente. . . . 55
3.6
Dados do encoder acoplado ao motor da Garra do braço robótico. O maior ângulo registrado foi de 3294o o que indica que
no perı́odo de um minuto o motor realizou 9 voltas completas
mais 54o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.7
Exemplo do funcionamento completo da ICM. Em detalhe as
partes principais da ICM. . . . . . . . . . . . . . . . . . . . . 57
3.8
Correlação entre o perfil e a resposta pelo controle da ICC.
Observa-se um melhor desempenho nos exames 3 e 4 com uma
queda de resultados após este intervalo. . . . . . . . . . . . . . 59
xxvii
3.9
Curvas referentes às melhores respostas de cada voluntário. . . 60
3.10 Detalhe do inı́cio do segundo minuto, onde as respostam tendem a iniciar depois de 10s. . . . . . . . . . . . . . . . . . . . 61
3.11 Detalhe do inı́cio do segundo minuto, onde o tempo de resposta
da ICC não é suficientemente rápida para gerar a resposta
desejada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.12 Exemplo de funcionamento da ICC. Em detalhe a detecção de
um sinal de 5Hz. . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.13 Exemplo de funcionamento da ICC. Em detalhe a detecção de
um sinal de 7Hz. . . . . . . . . . . . . . . . . . . . . . . . . . 63
Lista de Sı́mbolos
x(t)
Sinal contı́nuo no domı́nio do tempo.
x[n]
Sinal discretizado no tempo discreto.
X(f,T )
Transformada Rápida de Fourier de
um sinal dividido em M janelas de tamanho T.
γ(f )
Coerência.
Sxy
Espectro Cruzado de x(t) e y(t).
Sxx
Auto-espectro.
M
Número de janelas.
N
Número de sinais.
K̂y2
Magnitude Quadrática da Coerência
entre um sinal periódico e um aleatório.
F2,2(M −1)
Distribuição F central com 2 e 2(M-1)
graus de liberdade.
K̂N2
Magnitude Quadrática da Coerência
Múltipla entre um sinal periódico e um aleatório.
K̂N2 crit
Valor crı́tico para K̂N2 .
xxix
Lista de Siglas
ICM
MSC
MMSC
ELA
TC
MEG
PET
MRI
fMRI
PE
PCL
EEG
AR
IM
ERS
ERS
PERP
VEP
SSVEP
SNR
Interface Cérebro Máquina;
Magnitude Quadrática da Coerência
Magnitude Quadrática da Coerência Múltipla
Esclerose Lateral Amiotrófica
Tomografia Computadorizada
Magnetoencefalografia
Tomografia por Emissão de Pósitrons
Imagem por Ressonância Magnética
Imagem por Ressonância Magnética Funcional
Potenciais Evocados
Potenciais Corticais Lentos
Eletroencefalograma
Modelos AutoRegressivos
Imagem Motora
Eventos Relacionados à Sincronização
Eventos Relacionados à Dessincronização
Potenciais Evocados em Regime Permanente
Potencial Evocado por Estimulo Visual
Potencial Evocado por Foto-Estimulação Intermitente
Relação Sinal-Ruı́do
xxxi
Capı́tulo 1
Introdução
1.1
Introdução
No Brasil, o Comitê de Ajudas Técnicas (CAT), instituı́do pela Portaria no 142, de 16 de novembro de 2006 do Ministério da Saúde, propõe o
seguinte conceito para a Tecnologia Assistiva: ”Tecnologia Assistiva é uma
área do conhecimento, de caracterı́stica interdisciplinar, que engloba produtos, recursos, metodologias, estratégias, práticas e serviços que objetivam
promover a funcionalidade, relacionada à atividade e participação de pessoas
com deficiências, incapacidades ou mobilidade reduzida, visando sua autonomia, independência, qualidade de vida e inclusão social”. Com base nesta
ideia de Tecnologia Assistiva, o presente trabalho apresenta o desenvolvimento de um sistema que pode ser usado como base para auxilio de pessoas
com baixa ou nenhuma capacidade de se movimentar.
1.1.1
Interface Cérebro Máquina
Os potenciais elétricos advindos das atividades cerebrais podem ser medidos, na superfı́cie do córtex cerebral ou no escalpo, por meio de eletrodos. A
Interface Cérebro Máquina (ICM) é uma abordagem que almeja traduzir tais
potenciais em sinais de saı́da que visem representar a intenção do usuário em
se comunicar com o meio externo sem o uso de nervos periféricos ou músculos (McFarland and Wolpaw, 2008; Wolpaw et al., 2003; Galán et al., 2008).
Estima-se que hoje nos Estados Unidos existam mais de 200.000 pacientes
com lesões na medula espinhal que acarretam em deficiências motoras. Metade destes pacientes estão paralisados do pescoço para baixo. Há também
2
1 Introdução
mais de 5.000.000 de sobreviventes de ataques do coração e 400.000 amputados (Kim et al., 2009). Nestes e em outros casos onde pacientes sofrem
de doenças, como a Esclerose Lateral Amiotrófica (ELA), derrames, danos
cerebrais ou na espinha dorsal, paralisia cerebral, distrofia muscular, esclerose múltipla dentre outras doenças que podem afetar os caminhos neurais
que comandam os músculos ou afetam diretamente os músculos (Curran and
Stokes, 2003; Neuper et al., 2003; Patil and Turner, 2008). A ICC tem demostrado ser uma ferramenta tecnológica capaz de reabilitar e reintroduzir
estes pacientes a seu ambiente familiar e profissional.
Uma parte significativa dos estudos no desenvolvimento de ICM envolve
o registro dos sinais eletroencefalográficos utilizando eletrodos colocados na
superfı́cie do escalpo ou pela inserção eletrodos intracranianos (Hsu, 2010;
Pfurtscheller et al., 2003; Babajani-Feremi and Soltanian-Zadeh, 2010). Existem outras tecnologias capazes de servirem de bases para uma ICM como:
Tomografia Computadorizada (TC), Magnetoencefalografia (MEG), Tomografia por Emissão de Pósitron (PET), Imagem por Ressonância Magnética
(MRI) e Magnética Funcional (fMRI) porém são de alto custo e complexas
de operar. Segundo (Wolpaw et al., 2002), os métodos baseados em EEG,
possuem uma constante de tempo pequena, podem funcionar em diversos
lugares e são equipamentos simples de serem utilizados e mais baratos.
Estado da Arte em ICM
As ICMs podem ser divididas em grupos dependendo do tipo de sinal
cerebral que são processados ou o modo de operação no qual a ICM está
inserida. No caso dos sinais cerebrais, temos, por exemplo, grupos como Potenciais Evocados (PE), Potenciais Corticais Lentos (PCL) e componentes
oscilatórias do eletroencefalograma (EEG). Nos modos de operação têm-se
duas categorias principais, as ICMs Sı́ncronas e as Assı́ncronas. Na categoria
de ICMs Sı́ncronas, o experimento é realizado em janelas de tempo definido
e controlado por comandos temporizados. As análises, neste caso, são realizadas observando-se as mudanças nos PEs e nos PCs ou quantificando as
oscilações do EEG. A segunda categoria de ICMs Assı́ncronas consiste na
analise contı́nua dos sinais cerebrais, detectando prováveis potenciais relacionados a eventos ou mudanças nas oscilações do EEG (Pfurtscheller et al.,
2003).
Tendo como base os dados do paragrafo anterior, relata-se de forma su-
1.1 Introdução
3
cinta alguns dos principais grupos de pesquisa em ICM do mundo e seus
trabalhos:
• ICM Albany:
Grupo de pesquisa em ICM do Wadsworth Center em Nova Iorque,
Estados Unidos, trabalham com sinais de PCLs no controle de cursores de computadores. Os projetos são desenvolvidos por comandos
(ICM sı́ncrona) e por parâmetros de modelos Autorregressivos (AR).
O controle do cursor é feito por uma equação linear para a seleção dos
caracteres de movimento. Um dos principais membros deste grupo é o
Dr. Jonathan R. Wolpaw. Wolpaw e colaboradores utilizam os sinais
de P300 para o controle do cursor. Com o uso de um monitor e um
teclado virtual, no qual linhas e colunas piscam de forma alternada. O
usuário ao fixar o olhar em uma letra, fixa automaticamente a atenção
em uma linha e uma coluna que ao ser acesa dispara a resposta ou sinal
P300 utilizado como detector pela ICM do grupo (Wolpaw et al., 2000).
• ICM Tüebingen:
Grupo da Universidade de Tübingen, Alemanha, utilizam os sinais de
PCLs em um interpretador de pensamentos. Os PCLs são medidos
em janelas de 2 segundo com base de tempo de 2 segundos. Pacientes
são capazes de movimentar um objeto com forma arredondada em um
monitor (e assim são capazes de) escrever palavras após algum treinamento no sistema. Um dos pesquisadores de destaque deste grupo é
Niels Birbaumer. Birbaumer e colegas desenvolveram uma ICM que
utiliza dois tons sonoros de comprimentos distintos, com intervalos de
dois segundos. A fase de 2s entre o tom mais baixo e o tom mais alto
era usado como fase ativa na qual o indivı́duo tentaria movimentar o
cursor. A fase entre o tom mais alto e o tom mais baixo era usada como
fase basal na qual o cursor permaneceria parado (Hinterberger et al.,
2003).
• ICC Graz:
Grupo da Universidade de Graz, Austria, usa um sistema sı́ncrono de
ICM, baseado em comando com imaginação motora como estratégia
mental e classificação de oscilações em frequências de 10Hz a 20Hz. O
grupo de Graz foi capaz de fazer um paciente caminhar em um ambiente
virtual utilizando o pensamento (imaginação motora). Deste grupo
4
1 Introdução
destaca-se o Professor Gert Pfurtscheller e o Dra. Christa Neupe. Na
ICM do grupo, o indivı́duo é solicitado a escolher um paradigma da
imaginação motora (e.g. mover braço direito ou esquerdo, mover perna
direita ou esquerda) enquanto que os sinais de EEG da área do córtex
sensorimotor são coletados. Estes dados são então avaliados no domı́nio
da frequência para a retirada de caracterı́sticas (e.g. amplitudes da
faixa de 5Hz a 30Hz). Assim para cada ação imaginada é criado um
vetor de caracterı́sticas, o conjunto destes vetores gera um classificador
particular (de cada indivı́duo), linear ou não linear. Posteriormente este
classificador gera uma saı́da contı́nua ou discreta que é realimentada
no sistema (indivı́duo) por um monitor conectado ao computador que
executa os processos.
1.1.2
Sinais Eletroencefalográficos (EEG)
Contexto Histórico
Foi atribuı́do a Richard Caton (1842 − 1926), Figura 1.1, os primeiros
trabalhos com relação à medição das atividades cerebrais. Caton, médico na
cidade de Liverpool, era um entusiasta dos fenômenos eletrofisiológicos. Mais
adiante recebeu da Associação Britânica de Medicina a autorização para fazer
pesquisas sobre a atividade elétrica no cérebro de ratos e macacos. Para seus
estudos Caton usou um Galvanômetro e um raio de luz que refletido no espelho dentro do aparelho, direcionado para uma escala grande presa na parede
(Niedermeyer and da Silva, 2005). Com este experimento Caton observou
que correntes com diferentes direções passam pelo multiplicador quando os
eletrodos eram colocados na superfı́cie do cérebro ou quando um eletrodo
era colocado na matéria cinzenta e outro na superfı́cie do cranio. Assim é
reservado a Caton os créditos pela descoberta, dos potenciais flutuantes de
que consiste o EEG.
Caton desenvolveu seus trabalhos em, macacos, gatos, ratos e cachorros,
mas foi Hans Berger (1873 − 1941), Figura 1.1 quem iniciou os trabalhos com
pacientes humanos. Berger, um Neuropsiquiatra alemão, segundo relatos, era
um medico meticuloso, uma pessoa bem consciente, porém indiferente com
seus pacientes. Nos trabalhos a partir de 1926 Berger utilizou um poderoso
galvanômetro da Siemens com núcleo duplo. Com este instrumento e eletrodos não polarizados, fez as primeiras gravações de EEG humano em papel
fotográfico, com duração de 1 a 3 minutos.
1.1 Introdução
5
(a) Richard Caton
(b) Hans Berger
Figura 1.1: Retirado de Ernst Niedermeyer e Fernando Lopes da Silva, Electroencephalography Basic Principles, Clinical Application and Related
Fields, Editora Lippincott Williams & Wilkins, 5a edição, 2005.
O estudo do EEG passou por várias fases, nas quais observou-se aumentos
e quedas nas pesquisas. Até a década de 1960, os trabalham desenvolvidos
foram mantidos de forma constante, vindo a aumentar a partir da década
de 1970 aos dias atuais. A Figura 1.2 mostra a evolução do número de
publicações nas áreas de ICM e EEG, a partir dos anos de 1950.
Figura 1.2: Gráfico da publicação de pesquisas sobre ICC e EEG ao longo do
tempo. Foi realizada uma pesquisa na Science Direct para atigos contendo as palavras ”BCI”e ”EEG”(sendo BCI Brain-Computer Inteface
ou ICC) entre os anos de 1950 e 2011. Consulta realizada em junho
de 2011.
6
1 Introdução
Sinal de EEG
O sinal de EEG é constituı́do por várias ondas de diferentes frequências.
Dentre estas, existem as frequências dominantes que estão relacionadas a
fatores tais como estado de vigı́lia, idade, posição dos eletrodos, uso de medicamentos, presença ou ausência de doenças. Um adulto normal, relaxado e
com olhos fechados, apresenta um frequência dominante nos lobos parietal e
ocipital na faixa de 8Hz a 13Hz, chamado rı́tmo alfa (α). Ao abrir os olhos,
o rı́tmo do EEG se torna menos sincronizado e a frequência aumenta para
a faixa de 13Hz a 30Hz, chamado rı́tmo beta (β). Durante o sono surgem
dois outros rı́tmos, o rı́tmo delta (δ) na faixa de 0,5Hz a 4Hz e o rı́tmo teta
(θ) 4hz a 7Hz. Observando a região do córtex motor tem-se a presença do
rı́tmo mu (µ) na faixa de 8Hz a 13Hz com variações nas amplitudes quando
o indivı́duo realiza algum movimento. Acima dos 30Hz tem-se o rı́tmo gama
(γ) que se estende até a frequência de 100Hz e está ligada às funções motoras
e cognitivas (Niedermeyer and da Silva, 2005). Um resumo das frequências
pode ser visto na Tabela 1.1 e de forma gráfica na Figura 1.3.
Tabela 1.1: Principais frequências componentes do EEG.
rı́tmo Faixa de frequência em Hz
Estado do indivı́duo
α
8 − 13
Relaxado, olho fechado.
β
13 − 30
Olho aberto.
δ
0,5 − 4
Durante sono
θ
4−7
Durante sono
µ
8 − 13
Realização de movimento
γ
30 − 100
Realização de tarefas cognitivas
1.1 Introdução
7
Figura 1.3: rı́tmos presentes em um sinal de EEG. Modificado de Lotte (2009).
Tipos de Sinais de EEG
Como foi mostrado na subseção 1.1.1, exitem diferentes tipos de sinais de
EEG para diferentes aplicações.
1. Sinais Espontâneos (SE):
São os sinais que correspondem a rı́tmos relacionados a ações motoras,
localizados nas bandas de frequências µ e β sobre o córtex motor. Estes
rı́tmos podem ser controlados pelo usuário. Este controle no entanto é
adquirido com longos treinamentos.
2. Imaginação Motora (IM):
8
1 Introdução
A energia de uma banda de frequência de EEG pode ser classificada
como sendo sincronizada ou dessincronizada. Caso ocorra um aumento
desta energia, caracterizar-se-á um estado de sincronização (do inglês,
Event Related Synchronization - ERS), ao contrario, a redução desta
energia caracterizará uma dessincronização (do inglês, Event Related
Desynchronization - ERD). Tais fenômenos são especı́ficos de cada
banda de frequência de modo que uma mesma região do escalpo pode
apresentar ERS e ERD ao mesmo tempo. A imaginação motora de
membros, como braços, mãos, pés e dedos são exemplos de como gerar
tais padrões.
3. Potenciais Evocados:
Estes sinais são gerados de forma inconsciente pelo indivı́duo ao receber certo estı́mulo externo. Estes sinais também são conhecidos como
Potenciais Evocados (PE) (do inglês, Evoked Potencials - EP).
Nesta categoria tem-se dois principais grupos: os Potenciais Evocados em Regime Permanente (PERP) (do inglês, Steady State Evoked
Potencial - SSEP) e o P300. A maior vantagem dos PEs, é que ao
contrário dos SEs, não é necessário nenhum treinamento especı́fico do
usuário, pois os sinais são gerados automaticamente pelo cérebro dado
um estı́mulo externo.
• P300:
O P300 consiste de uma forma de onda positiva, que surge aproximadamente 300ms após um determinado estı́mulo (Pfurtscheller
et al., 2008; Donchin et al., 2000; Lotte, 2009; Wolpaw et al., 2002).
Este fenômeno é melhor observado nas regiões parietais. A Figura
1.4 mostra o uso do P300 no instante em que um estı́mulo raro e
relevante é apresentado.
1.1 Introdução
9
Figura 1.4: Sinal de P300. Um sinal raro e relevante ao usuário é percebido entre
outro sinal qualquer com maior frequência. Modificado de (Wolpaw
et al., 2002).
• Potenciais Evocados em Regime Permanente (PERP):
São potenciais cerebrais que surgem quando um indivı́duo recebe
um estı́mulo periódico como uma luz piscando ou um som modulado em amplitude. Os PERPs são definidos pelo aumento da
amplitude da frequência que é a mesma do estimulador ou igual a
suas harmônicas e/ou sub-harmônicas Figura 1.5.
10
1 Introdução
Figura 1.5: Os gráficos a esquerda apresentam a corrente que correspondem ao
estı́mulos (gráficos da direita) com frequências de 0,2, 0,5, 1, 2 e 5Hz.
Modificado de (Demontis et al., 2005).
1.1.3
Potenciais Evocados por estı́mulo Visual
Os sinais de Potenciais Evocados por estı́mulo Visual (do inglês, Visual
Evoked Potential (VEP)) podem ser observados nas regiões relacionadas com
a visão (por exemplo, região ocipital do cérebro). Existem vários tipos de
estı́mulos que podem gerar um VEP, os mais comuns são estimulação por
flash (lampejos de luz) ou estimulação por padrões (Figura 1.6). Considerase como VEP aquele estı́mulo visual de baixa frequência que geram respostas
transitórias. Com o aumento da frequência de estimulação visual surgiu
o termo Steady-State Visually Evoked Potential (SSVEP) traduzido para o
português Potencial Evocado por Foto Estimulação Intermitente, que por sua
vez gera uma resposta em regime permanente de maior amplitude (Vialatte
et al., 2010).
1.1 Introdução
11
Figura 1.6: Exemplo de estı́mulos usados para gerar VEPs e SSVEP. (A) Luz
piscando, montada em óculos, (B) Diodo Emissor de Luz Piscando,
(C) Imagens piscando em monitores de computador ou televisores.
Modificado de (Vialatte et al., 2010).
A diferença entre uma VEP e SSVEP pode ser observada de forma mais
simples na Figura 1.7. O formato da onda de resposta ao estı́mulo seja
VEP ou SSVEP no domı́nio do tempo nem sempre é simples de se perceber.
Porém quando observado pelo domı́nio da frequência, as respostas são mais
distintas, em especial, pelo aparecimento de picos de energia nos SSVEP e a
falta destes nos VEP.
12
1 Introdução
Figura 1.7: Diferença entre VEP e SSVEP. A diferença é melhor observada
utilizando-se a transformada de Fourier, porém caso seja levado em
consideração que o tamanho da janela da transformada é menor que o
perı́odo, a resposta obtida será semelhante a F1 e não a F2. Modificado
de (Vialatte et al., 2010).
Pelo fato de gerar uma resposta em regime permanente o SSVET se torna
mais robusto com relação à contaminação do sinal por artefatos (ex. movimento dos olhos e piscadas). No trabalho de Herrmann (2001), o autor,
apresenta três formas de classificar as oscilações do estı́mulo produzido pela
SSVEP: em espontâneas, evocadas ou induzidas. As oscilações espontâneas,
são assim chamadas pois não estão relacionadas ao estı́mulo. Também são
conhecidas como atividades de fundo ou linha de basal. As oscilações evocadas, surgem após o estı́mulo e estão em fase com o mesmo, ao contrário das
induzidas que apesar de ocorrer após o estı́mulo, não estão em fase com este.
Segundo (Cheng et al., 2002) a SSVEP pode ser usada para detectar a
vontade de indivı́duo ao focar a atenção em um determinado estı́mulo dentro de um grupo de estı́mulos. Este fato ocorre, segundo os autores, devido
a SSVEP ser fortemente dependente da atenção espacial, sendo a resposta
amplificada quando foca-se a atenção a um estı́mulo que pisca. Ao contrá-
1.2 Fisiologia do Olho
13
rio, a resposta diminui se o indivı́duo não prestar atenção. Por exemplo, em
um sistema com quatro luzes, piscando em diferentes frequências, um indivı́duo focando a atenção em uma dessas luzes, produz um sinal de SSVEP
proporcional ao sinal ao qual está focado.
1.2
Fisiologia do Olho
Este capı́tulo é dedicado a uma breve introdução sobre a formação da
imagem e o processamento da mesma no cérebro humano.
A percepção visual, começa na retina e ocorre em dois estágios. A luz que
atravessa a córnea é projetada na parte posterior do olho, onde é convertida
em sinal elétrico por um órgão sensorial especializado, a retina. Esses sinais
são então enviados por meio do nervo óptico à região superiores no encéfalo
para um processamento posterior, necessário à percepção.
O olho está organizado para focalizar a imagem visual na retina com
mı́nima distorção. A luz é focalizada pela córnea e pelo cristalino e então
atravessa o humor vı́treo que preenche a cavidade do olho antes de alcançar
os foto-receptores na retina (Figura 1.8). A retina localiza-se à frente do
epitélio pigmentado que delineia a parte posterior do olho. As células do
epitélio pigmentado são preenchidas com um pigmento preto, a melanina,
que absorve qualquer luz não capturada pela retina, impedindo que a luz
seja refletida dentro do olho.
!
Figura 1.8: Fisiologia do olho humano.
Uma vez que os foto receptores localizam-se na parte posterior do olho,
imediatamente à frente do epitélio pigmentado, todas as outras células da
retina estão à frente dos foto receptores e mais próximas do cristalino. Por-
14
1 Introdução
tanto, a luz deve atravessar camadas de outros neurônios retinianos antes de
atingir os foto receptores.
A retina humana (Figura 1.9) contém dois tipos de foto receptores: os
bastonetes e os cones Figura 1.9. Os cones são responsáveis pela visão diurna,
os bastonetes medeiam a visão noturna. Os bastonetes contêm mais pigmento
visual fotossensı́vel do que os cones, o que lhes permite captar mais luz. Mais
ainda importante, os bastonetes amplificam os sinais luminosos mais do que
os cones. Quanto aos cones existem três tipo, cada um contendo um pigmento
visual que é sensı́vel a uma faixa diferente do espectro luminoso. O cérebro
obtém informação sobre a cor por comparar as respostas dos três tipos de
cones. Os bastonetes respondem mais lentamente, de modo que os efeitos de
todos os fótons absorvidos durante um intervalo de 100 ms são somados. Isso
ajuda os bastonetes a detectar pequenas quantidades de luz, mas impede de
analisar a luz que oscila mais rapidamente que 12 Hz. A resposta dos cones
é muito mais rápida, eles são capazes de detectar oscilações de pelo menos
até 55 Hz.
(a) Representação da Retina
(b) Bastonete e Cone
Figura 1.9: Modificado de (Guyton and Hall, 2006).
A informação visual é então transferida dos receptores para as células
ganglionares por meio das células bipolares. As células ganglionares por sua
vez se projetam para o encéfalo; seus axônios formam o nervo óptico. O nervo
óptico de cada olho projeta-se para o quiasma óptico, onde as fibras de cada
olho destinadas para um ou outro lado do encéfalo são separadas e reagrupadas em tratos ópticos bilaterais, que se projetam para três alvos subcorticais
principais: o pré-teto, o colı́co superior e o núcleo geniculado lateral. As células ganglionares da retina projetam-se para o núcleo geniculado lateral no
1.2 Fisiologia do Olho
15
tálamo de uma maneira ordenada, criando no núcleo um mapa retinotópico
do campo visual para cada olho. Daı́ duas vias independentes (vias M e P)
estendem-se da retina até o córtex visual primário (Figura 1.10).
!"
)
'
#
$
%
%
(#
&
Figura 1.10: Principais caminhos da visão e a transmissão dos sinais visuais do
córtex visual primário para as demais regiões. Modificado de (Guyton
and Hall, 2006).
Capı́tulo 2
Materiais e Métodos
Neste capı́tulo, serão apresentados os materiais e métodos utilizados no
desenvolvimento matemático, com base nos trabalhos de Felix (2004); Felix
et al. (2006); de Sá and Felix (2002); de Sá et al. (2009); Semmlow (2004), bem
como o desenvolvimento da Interface Cérebro Máquina, seguindo o diagrama
da Figura 2.1.
18
2 Materiais e Métodos
!
"
#
$
Figura 2.1: Diagrama simplificado da ICM. O computador 1 gera o sinal com a
frequência desejada de estimulo e o sinal do trigger. O sinal desejado
é enviado para o acionamento dos LED′ s. As respostas evocadas pelo
brilho intermitente dos LED′ s são captados pelo BrainN et e enviados
via cabo de rede para o computador 2 onde os dados serão processados no M atLab. Após o processamento dos dados o M atlab envia os
comandos para o Labview que aciona os motores do braço.
2.1
Relação Sinal Ruı́do - SNR
Grande parte das formas de ondas são formadas pelo sinal a ser observado
e ruı́do. Definindo-se sinal como a parte de interesse na forma de onda observada enquanto ruı́do é definido como os demais constituintes dessa forma
de onda. Daı́ o objetivo de processar um sinal é separar o sinal do ruı́do,
identificar o sinal imerso no ruı́do ou identificar as caracterı́sticas do sinal
imerso em ruı́do. Uma forma de quantificar a quantidade de sinal e ruı́do em
uma forma de onda é por meio da Relação Sinal/Ruı́do (do inglês - Signal
to Noise Ratio - SNR ) (Semmlow, 2004). Como o proprio nome diz SNR
é a relação entre sinal e ruı́do, ambos medidos em RMS (valor quadrático
médio). Normalmente a SNR é dada em dB (decibel) como:
SN R = 20 log
Sinal
,
Ruido
(2.1)
2.2 Função de Coerência
19
para converter o sinal em dB para uma escala linear, basta aplicar:
dB
SN Rlinear = 10 20 ,
(2.2)
Por exemplo, uma SN R = 20dB significa que o sinal é 10 vezes maior que
o ruı́do. Uma SN R = 0dB significa que o sinal e o ruı́do possuem em RMS
a mesma amplitude e por fim uma SN R = −20dB, significa que o ruı́do é
10 vezes menor que o sinal (em RMS).
2.2
Função de Coerência
A Coerência é uma ferramenta matemática bastante usada para quantificar a similaridade entre sinais como sinais de EEG. A Coerência se diferencia
da Correlação pois é uma ferramenta que trabalha com os dados no domı́nio
da frequência (ao contrario da correlação que trabalha no tempo). A Coerência, é obtida pela normalização do espectro cruzado, que é o resultado
da divisão do espectro cruzado pelo produto dos auto espectros (Benignus,
1969). Por exemplo, dados os sinais x(t) e y(t):
γ(f ) = p
Sxy (f )
,
Sxx (f )Syy (f )
(2.3)
sendo que Sxy (f ) é o espectro cruzado entre os sinais x(t) e y(t) dado por:
1
E [X ∗ (f,T )Y (f,T )] ,
T →∞ T
Sxy (f ) = lim
(2.4)
onde X ∗ (f,T ) e Y (f,T ) são, respectivamente, as transformadas de Fourier
dos sinais x(t) e y(t) em trechos de T segundos, (·)∗ denota o conjugado
complexo e T é o intervalo dos sinais em analise. No caso onde T é finito, a
estimativa do espectro cruzado é:
M
1 X ∗
Ŝxy (f ) =
X (f,T )Y (f,T ),
M T i=1 i
(2.5)
onde (ˆ·) indica estimativa, M é o número de segmentos utilizados na
promediação.
Sxx (f ) e Syy (f ) são os auto espectros e são dados por:
20
2 Materiais e Métodos
M
1 X
|Xi (f,T )|2 ,
Ŝxx (f ) =
M T i=1
(2.6)
O módulo ao quadrado da Equação 2.3, recebe o nome coerência e está
restrita a uma faixa de valores de 0 a 1. Logo a coerência é dada por:
2
γxy (f ) =
2.2.1
|Sx y(f )|2
Sxx (f )Syy (f )
(2.7)
Magnitude quadrática da coerência (MSC)
A princı́pio o processamento do sinal enviado ao cérebro, será modelado
pelo sistema linear apresentado na Figura 2.2. Nessa figura, um sinal de
estimulação x(t) passa por um filtro com função de H(t) simulando o processamento da imagem pelo cérebro gerando um sinal v(t). A esse sinal é
adicionado um ruı́do n(t) não relacionado a x(t) que modela o sinal de EEG
de fundo, essa soma gera então a saı́da y(t).
Figura 2.2: Modelo linear para representar a relação dos sinais de estimulação e a
resposta cerebral.
Dividindo-se os sinais discretos x[n] e y[n] (relacionados de acordo com a
Figura 2.2) em M segmentos, pode se obter a estimativa da coerência entre
esses sinais por meio das equações 2.4 e 2.5 da seguinte forma (de Sá and
Felix, 2002):
P
2
M
∗
i=1 Xi (f )Yi (f )
2
,
γ̂xy
(f ) = PM
2 PM
2
i=1 |Xi (f )|
i=1 |Yi (f )|
(2.8)
2.2 Função de Coerência
21
onde Xi (f ) e Yi (f ) são as transformadas de Fourier da i-ésima janela e M
é o número de janelas utilizada na estimação.
Para um caso particular em que x[n] é um sinal determinı́stico e periódico,
Xi (f ) tem o mesmo valor em cada janela na promediação, então Xi (f ) =
X(f ), assim a Equação 2.8 pode ser simplificada:
2
P
P
2
P
2
M
M
Y
(f
)
|X(f )|2 M
Y
(f
)
i=1 Xi∗ (f )Yi (f )
i
i
i=1
i=1
2
=
=
γ̂xy
(f ) = PM
P
P
P
2
2
2
M
2
M |X(f )|2 M
M M
i=1 |Yi (f )|
i=1 |Yi (f )|
i=1 |Xi (f )|
i=1 |Yi (f )|
(2.9)
A fim de se distinguir da Equação 2.8, a coerência entre um sinal aleatório
e um sinal determinı́stico será denotado por K̂y2 :
P
2
M
i=1 Yi (f )
2
K̂y (f ) =
P
2
M M
i=1 |Yi (f )|
(2.10)
Desta forma, a coerência entre um sinal determinı́stico e periódico e um
sinal aleatório, pode ser estimada utilizando apenas o sinal aleatório y[n]
desde que se garanta que o estı́mulo x[n] seja periódico.
2.2.2
Valores crı́ticos para K̂y2 (f )
Para uma análise quantitativa de resposta do sinal de EEG, é importante a
obtenção de valores para os quais pode-se dizer que não há resposta detectada
(limiar estatı́stico). Assim para a hipótese nula (H0) de ausência de resposta,
considerando-se y[n] com distribuição gaussiana, a distribuição amostral de
K̂y2 (f ) é dada por (de Sá and Felix, 2002):
(M − 1)
K̂y2 (f )
1 − K̂y2 (f )
∼ F2,2(M −1) ,
(2.11)
onde ∼ denota ”é distribuı́do segundo”, F2,2(M −1) é a distribuição F de
Fisher com 2 e 2(M-1) graus de liberdade. Por meio da Equação 2.11, os
valores crı́ticos podem ser calculados como:
K̂ycrit =
Fcritα,2,2(M −1)
M − 1 + Fcritα,2,2(M −1)
(2.12)
Mais recentemente de Sá et al. (2009) e colaboradores demonstraram uma
22
2 Materiais e Métodos
formulação mais simplificada para o calculo do valor critico, dado por:
1
K̂y2 crit = 1 − α M −1 ,
onde α é nı́vel de significância.
(2.13)
2.2 Função de Coerência
2.2.3
23
Extensão da MSC para o caso multivariável (MMSC).
Neste trabalho, será observada a relação espectral para um sistema com
duas entradas simultâneas que se somam e múltiplas saı́das conforma a Figura
2.3.
Figura 2.3: Modelo linear multivariável para representar a relação dos sinais de
estimulação e a resposta cerebral. x[n] é o sinal formado a partir
da estimulação por dois sinais diferentes e simultâneos. Esse sinal
é filtrado por Hi [n], representando as respostas evocadas em locais
diferentes do cérebro. O EEG de fundo é representado por um ruı́do
ni [n] e a com soma de vi [n], geram as respostas coletadas yi [n].
A estimativa da coerência múltipla para o sistema da Figura 2.3, é deno-
24
2 Materiais e Métodos
tado por (Otnes and Enochson, 1978):
2
γ̂x:y1,y2,...,yN
(f ) =
−1
ŜH
yx (f )Ŝyy (f )Ŝyx (f )
Ŝxx (f )
(2.14)
,
onde (·)H significa o hermitiano da matriz, f é a frequência e Ŝxx (f ) é a
estimativa do espectro de potência de x[n]. As matrizes de auto-espectro e
espectro cruzados são dadas por:

Ŝy1y2 (f ) . . . Ŝy1yN (f )



Ŝy2y2 (f ) . . . Ŝy2yN (f ) 




Ŝyx (f ) = 
 Ŝyy (f ) = 
.
..
..
..




.
.
.
ŜyN x (f )
ŜyN y1 (f ) ŜyN y2 (f ) . . . ŜyN yN (f )
(2.15)
Os termos de espectro cruzado da Equação 2.15 podem ser calculados
como:

Ŝy1x (f )
Ŝy2x (f )
..
.


Ŝypyq (f ) =
Ŝy1y1 (f )
Ŝy2y1 (f )
..
.
M
X
∗
Ypi
(f )Yqi (f ),
(2.16)
i=1
∗
onde Ypi
(f ) é a transformada de Fourier da i-ésima janela do sinal yp [n].
Os termos do auto espectro Ŝyy (f ) são obtidos como um caso especial onde
p = q. O vetor de espectro cruzado Ŝyx (f ) é dado por:
Ŝypx (f ) =
M
X
∗
Ypi
(f )Xi (f ),
(2.17)
i=1
Semelhante ao caso monovariável, no caso de x[n] for um sinal periódico
e determinı́stico, e as janelas serem sincronizadas (cada janela deverá ter o
mesmo número de oscilações), a sua transformada de Fourier terá sempre o
mesmo valor em todos os segmentos de X(f ). Logo a seguinte simplificação
pode ser feita a Ŝyx (f ):
 PM
∗
i=1 Y1i (f )X(f )
P
M
∗


i=1 Y2i (f )X(f )
Ŝyx (f ) = 
..

.
PM
∗
i=1 YN i (f )X(f )
 PM
∗
i=1 Y1i (f )
P
M
∗




i=1 Y2i (f )
 = X(f ) 
..


.
PM
∗
i=1 YN i (f )




.

(2.18)
2.2 Função de Coerência
25
Aplicando-se o resultado de 2.18 na equação 2.14 e lembrando que Ŝxx (f ) =
M |X(f )|2 , tem-se que:
2
γ̂x:y1,y2,...,yN
(f ) =
 PM
∗
i=1 Y1i (f )
P
M
∗


i=1 Y2i (f )
X(f ) 
..

.
PM
∗
i=1 YN i (f )
−1
ŜH
yx (f )Ŝyy (f )Ŝyx (f )
Ŝxx (f )
H




=
 PM
∗
i=1 Y1i (f )
P
M
∗


i=1 Y2i (f )
(f
)
·
X(f
)
· Ŝ−1

..
yy

.
PM
∗
i=1 YN i (f )
M |X(f )|2





(2.19)
Logo a MMSC pode ser escrita como
K̂N2 =
YH (f )S−1
yy (f )Y(f )
,
M
(2.20)
onde
 PM
∗
i=1 Y1i (f )
P
M
∗


i=1 Y2i (f )
Y(f ) = 
..

.
PM
∗
i=1 YN i (f )
2.2.4



.

(2.21)
Valores Crı́ticos para a MMSC
Considerando-se o modelo linear da Figura 2.3 e levando em conta que
o número de canais de saı́da (N) é menor que o número de janelas (M)
observadas. De acordo com (Felix, 2004), a distribuição amostral teórica de
K̂N2 (f ) sob a hipótese H0 é dada por
M − N K̂N2 (f )
∼ F2N,2(M −N ) ,
N 1 − K̂N2 (f )
(2.22)
onde F2N,2(M −N ) é a distribuição F com 2N e 2(M −N ) graus de liberdade.
Logo com base na Equação 2.22, os valores crı́ticos teóricos para K̂N2 (f )
podem ser obtidos por (Felix, 2004):
26
2 Materiais e Métodos
Fcritα,2N,2(M −N )
K̂N2 crit = $ M −N .
+ Fcritα,2N,2(M −N )
N
2.2.5
(2.23)
Coerência Múltipla em Tempo Real
A Equação 2.20 apresenta o valor da coerência múltipla utilizada em
análises posteriores à coleta. Porém, com o intuito de se analisar a resposta
do EEG em tempo real, a Equação 2.20 precisou ser modificada para uma
forma recursiva conforme a Equação 2.24 a seguir:
V(f,M ) =
"M −1
X
Y1i (f )
i=1
M
−1
X
i=1
Y2i (f ) · · ·
M
−1
X
i=1
#
Y1N (f ) +
(2.24)
[Y1M (f ) Y2M (f ) . . . YN M (f )]
Ŝypyq (f,M ) =
M
−1
X
∗
(f )YqM (f )
Ypi∗ (f )Yqi (f ) + YpM
i=1
Nesta formulação o MMSC trabalha com dados da janela atual (M) e das
janelas passadas (M-1) assim como os valores de Ŝypyq (f ) também contam
com o os valores das janelas atuais e passadas.
2.3
Resumo do Ferramental Matemático
Nas últimas seções foram apresentadas as ferramentas matemáticas utilizadas no decorrer deste trabalho. A Figura 2.4 mostra a aplicação da MSC
e da MMSC respectivamente. Nesta figura, os mesmo sinais foram utilizados
para comparar a resposta do classificador. A simulação foi realizada com
o mesmo número de janelas (30) e a diferença entre as duas avaliações dos
sinais pode ser percebida observando-se o valor MSC e da MMSC que atingiram 0.82 e 0.94 respectivamente. Assim com o valor de K̂y2 crit que foi 0.1
e 0.2, respectivamente.
2.3 Resumo do Ferramental Matemático
27
28
2.4
2.4.1
2 Materiais e Métodos
Potencial Evocado por Foto-Estimulação
Intermitente.
Estimuladores
Uma luz piscando de forma intermitente pode gerar potenciais evocados
de alta amplitude utilizando-se bandas de baixas frequências (5 − 12Hz),
frequências médias (12 − 25Hz) e altas (25 − 50Hz) Wu et al. (2008). Com o
uso de Diodos Emissores de Luz (LED - Light-Emitting Diodes), os potenciais
evocados podem variar nas frequências de 1 − 90Hz Herrmann (2001). Por
sua vez os LED’s são dispositivos de baixo custo, não geram muito calor e não
irradiam muito ruı́do sonoro Demontis et al. (2005), outra caracterı́stica dos
LED’s é a possibilidade de controlar, por meio de corrente de alimentação,
a intensidade luminosa do dispositivo Vialatte et al. (2010). Dadas estas
caracterı́sticas optou-se por usar estimuladores com LED’s. Neste projeto foi
escolhido o T ELU X T M , modelo V LW W 9900, da Vishay Semiconductors
Figura 2.5 de cor branca com fluxo total de 2200 mililumens, intensidade
luminosa de 0.8 milicandela por mililumens, tensão de operação na faixa
TTL (Transistor-Transistor Logic) de 5 Volts. A corrente no dispositivo foi
limitada por meio de um resistor de 33 ohms obtendo uma corrente de 0,15
ampers por LED.
O conjunto de estimuladores foi então formado por dois LED’s modelo
V LW W 9900. A fim de evitar a dissipação de luz, os dispositivos foram
envolvidos por um material preto fosco na base e de forma cônica ao redor
do LED. A base onde os dispositivos foram fixados, recebeu uma camada de
tinta fosca na cor preta, também com intuito de minimizar a dissipação de
luz Figura 2.5.
2.4 Potencial Evocado por Foto-Estimulação Intermitente.
29
(a) T ELU X T M modelo V LW W 9900 (b) LED encapsulado,
minimizar dispersão de luz.
Figura 2.5: Foto estimuladores.
Os comandos de concentração, ou seja, onde o indivı́duo deveria concentrar a visão, foi feito por meio de um LED tricolor (vermelho, verde e azul)
ou RGB. Para os comandos, foi escolhido o LED P LCC − 6 da Avago Technologies. Utilizando este mecanismo, é possı́vel entregar ao usuário três
comandos diferentes sendo quando a luz vermelha estiver acesa, o usuário
não deve prestar atenção em nenhum dos estimuladores, caso a luz verde ou
azul acenda o usuário deve concentrar o olhar no estimulador da esquerda ou
da direita respectivamente. Na Figura 2.6, observa-se ao centro o LED RGB
e os dois estimuladores.
Figura 2.6: Conjunto de foto-estimulação. No centro da figura observa-se o LED
RGB com encapsulamento branco, nas laterais tem-se os foto estimuladores.
30
2.4.2
2 Materiais e Métodos
Frequência de Estimulação
Neste trabalho, foram adotadas duas frequências de estimulação da banda
Teta. Devido ao uso em diversos trabalhos Gao et al. (2003); Zhang et al.
(2011); Zhu et al. (2010), optou-se por usar as frequências de 5Hz e 7Hz.
R
Os sinais foram criados no ambiente M atLab
utilizando onda quadrada
com ciclo de operação de 50% ou seja metade do perı́odo a onda fica em
nı́vel alto e na outra metade em nı́vel baixo conforme Figura 2.7. Na mesma
rotina responsável por gerar o sinal de acionamento dos LED’s, foi criado
também o sinal de trigger responsável por determinar o instante no qual o
estı́mulo é dado. O trigger foi criado com uma frequência de 1Hz. Desta
forma coincide-se o inı́cio e o fim de cada perı́odo dos sinais de estimulação.
Figura 2.7: Ondas quadradas utilizadas no acionamento dos estimuladores e sinal
de trigger enviada ao aparelho de Eletroencefalografia.
O acionamento dos LED’s e o envio do sinal do trigger foi feito por meio
do sistema multifuncional para aquisição de dados modelo NI USB-6221 da
National Instruments. Um dos motivos de se usar este instrumento foi a
R
facilidade de seu controle junto ao M atLab
, ter alimentação externa, ou
seja independente da USB, a USB-6221 pode entregar correntes de até 24mA,
valor este suficiente para a alimentação dos LED’s de estimulação e também
por trabalhar em uma velocidade de até 250 mil amostras por segundo, o
dispositivo é capaz de acionar e desligar o LED de forma mais rápida e
eficiente de acordo com o comando dado pela onda de estimulação.
2.4 Potencial Evocado por Foto-Estimulação Intermitente.
2.4.3
31
Harmônicos
Os sinais evocados por meio da estimulação intermitente, apresentam a
mesma frequência fundamental que presente no sinal de estimulação. No entanto este sinal, também apresenta os harmônicos de ordem superior (MullerPutz et al., 2005; Muller-Putz and Pfurtscheller, 2008). Como pode ser visto
na Figura 2.8, em alguns casos a amplitude do sinal harmônico em especial
o segundo, e em alguns casos o terceiro, harmônico é encontrado maior que
a amplitude da fundamental. Esta variação foi observada para diferentes
frequências e em diferentes pessoas.
Figura 2.8: Presença dos harmônicos nos sinais coletados e no uso da detecção
para frequência de estimulação de 5Hz. a) Frequência fundamental
com maior amplitude em relação aos demais harmônicos. b) Segundo
harmônico com maior amplitude em relação à fundamental e presença
do terceiro harmônico. Dados da simulação: Taxa de amostragem de
600Hz, Canais P 3P 4, Janelas de 600 pontos, Re inı́cio da mmsc a
cada 15 janelas.
32
2 Materiais e Métodos
Levando-se em conta este fato, optou-se por incluir (como será visto mais
a frente), o sinal do segundo harmônico no sistema de decisão e assim não
observar somente a frequência do primeiro harmônico.
2.5
Eletroencefalógrafo
Para a aquisição dos sinais do eletroencefalograma, o Núcleo Interdisciplinar de análise e Sinais ou NIAS, laboratório do departamento de Engenharia
Elétrica da Universidade Federal de Viçosa no qual a parte prática do trabalho foi desenvolvido, dispõe de um eletroencefalógrafo modelo BrainNet
BNT 36, produzido pela LYNX Tecnologia Eletrônica Ltda. e distribuı́do
pela EMSA Equipamentos Médicos S.A. Figura 2.9. Este aparelho é microprocessado, utilizando tecnologia DSP (Processamento de Sinal Digital) com
resolução de 16 bits. O dispositivo conta com 36 canais configuráveis e os filtros de cada canal podem ser configurados via software entre 0,1 e 100Hz. Os
canais que vão de Fp1 ao 22, são todos monopolares com referência comum,
neste trabalho, adotou-se referência em Cz. Em todos os canais, independente de serem monopolares ou bipolares, a entrada dos bornes é feita por
plugues do tipo Pino de Segurança, de 4,5mm, onde não há contato entre o
operador e o pino ”macho”do borne. Os canais de 33 a 36 foram utilizados
como canais de trigger, sendo os canais 33, 34 e 36 os triggers de comando
e 35 referente a foto estimulação.
O BNT-36 possui ainda uma saı́da do tipo RJ45 para comunicação com
computador, via rede Ethernet. O condicionamento do sinal é feito por meio
de amplificadores de instrumentação, com entrada diferencial e rejeição de
modo comum superior a 90dB. Para cada canal o aparelho pode filtrar sinais
nas faixas de 0,1; 0,5; 1; 2; 5; 10; 20 e 50Hz por meio de filtro passa-altas e
sinais nas faixas de 20,35,70,100Hz por meio de filtro passa-baixas. Além da
opção de utilizar o filtro notch centralizado na frequência de 60Hz. Os sinais
após filtrados podem ser amostrados em taxas de 100, 200, 240, 300, 400, 600
amostras por segundo, neste trabalho optou-se por uma taxa de amostragem
de 600Hz.
2.5 Eletroencefalógrafo
33
Figura 2.9: Aparelho para Eletroencefalografia, modelo BrainNet BNT 36
2.5.1
Comunicação dos Dados
Segundo o fabricante, a mensagem enviada pelo BrainNet é composta por
1472 bytes sendo 1440 de dados e 32 bytes de protocolo de comunicação. A
Tabela 2.1, mostra a distribuição dos bytes enviados pelo aparelho.
34
2 Materiais e Métodos
Tabela 2.1: Mensagem enviada pelo BrainNet BNT-36.
Nome
Caracterı́stica
Cod
Código do pacote
R
Reservado do fabricante
# Pacote
Número do pacote de dados
Temp Grav
Instante de gravação
Freq Am
Frequência de amostragem em Hz
Burst
Número de pacotes por transmissão
# Canais
Número de canais do equipamento
IP
IP do equipamento na rede
Porta
Número da porta
Status Host Estado do elemento atual na rede
R
Reservado do fabricante
Dados
Conjuntos de dados
Dados
Conjuntos de dados
2.5.2
Número de bytes
2
2
4
4
4
4
2
4
2
4
4
720
720
Eletrodos
Em conjunto com o BrainNet, optou-se por usar eletrodos de prata, mais
precisamente de cloreto de prata Ag/AgCl. Estes, por sua vez, possuem uma
melhor condução quando comparados aos eletrodos de Alpaca também conhecido como prata alemã. Os eletrodos de Ag/AgCl têm aproximadamente
8mm de diâmetro e fio condutor de 1,5m Figura 2.10.
Figura 2.10: Eletrodos de Ag/AgCl para Eletroencefalografia.
2.5 Eletroencefalógrafo
2.5.3
35
Sistema Internacional 10-20
Em 1958, H.H. Jasper desenvolveu um método para o posicionamento
dos eletrodos para eletroencefalografia de modo que fossem utilizados pontos
de referência no crânio de cada indivı́duo. Este sistema de posicionamento
ficou conhecido com sistema 10-20 (Oostenveld and Praamstra, 2001). O
método consiste em utilizar quatro pontos de referência: nasium (raiz do
nariz), inium (protuberância ocipital), depressão na raiz do zigoma anterior
ao tragus (ponto pré auricular). As medidas ântero-posterior são obtidas
a partir da distância entre o nasium e o inium. Seguindo uma linha reta
entre estes dois pontos encontra-se (a partir do nasium) a 10% da distância o
pólo frontal (Fpz),20% depois, encontra-se o ponto frontal (F), 20% depois, o
ponto central (Cz), mais 20% após o Cz, encontra-se o ponto pariental (Pz),
20% a frente encontra-se o ponto occipital (Oz), 10% após Oz tem-se o inium.
As medidas laterais são obtidas a partir do ponto pré auricular, 10%
acima deste ponto, encontra-se o ponto temporal médio (T3), 20% acima
deste, encontra-se o ponto central médio (C3) e 20% acima deste encontra-se
o Cz. O restante dos pontos é obtido de forma semelhante e podem ser vistos
na Figura 2.11.
Figura 2.11: Posicionamento dos sensores de acordo com o sistema internacional
10-20. Modificado de Sharbrough et al. (1991)
2.5.4
Protocolo de Exames
O protocolo deve ser seguido em cada exame sendo importante para tentar
ajustar as condições nas quais o usuário deve operar o sistema. Parâmetros
36
2 Materiais e Métodos
como frequência do estı́mulo, taxa de aquisição, comandos aos usuários, distância mı́nima entre a fonte de estı́mulo e o usuário devem ser observados
antes do inı́cio dos exames e definidos em forma de protocolo.
Neste trabalho, adotaram-se os seguintes parâmetros:
• Frequência de amostragem: 600Hz, a fim de trabalhar com uma janela
fixa de 600 pontos;
• Canais utilizados para o cálculo da coerência múltipla: P3 e P4;
• Janelas de 600 pontos;
• Distância mı́nima do estimulo ao usuário de 30cm e máxima de 60cm;
• Tempo de estimulação de 10 segundos a 60 segundo.
A cada exame o voluntário é convidado a ficar sentado dentro de uma
cabine acústica onde o estimulador é colocado em sua frente (Figura 2.12).
O painel de estimulação conta com dois LED’s de estimulação na cor branca
e um LED de comando que podem ser acionado nas cores verde, vermelha e
azul. Durante o primeiro minuto o voluntário é instruı́do a não prestar atenção a nenhuma das luzes que piscam de forma intermitente nas frequências
de 5 e 7Hz. Durante o perı́odo no qual não se deve prestar atenção a luz
vermelha é apresentada ao indivı́duo. Após o primeiro minuto a luz verde se
acende e apaga-se a luz vermelha. Isto indica que o voluntário deve focar sua
atenção no sinal de 5Hz ou seja no LED à sua esquerda. Esta estimulação
tem duração de 60 segundos. Após este intervalo de tempo a luz verde se
apaga e a vermelha é novamente acesa e o voluntário deve parar de prestar
atenção a qualquer estı́mulo. Depois de 60 segundos a luz vermelha é apagada e é acesa a luz azul, indicando que o voluntário deve focar sua atenção
na frequência de 7Hz pelo perı́odo de um minuto. Após isto, a luz vermelha
é acesa novamente. Este ciclo se repete mais uma vez porem com tempos de
estı́mulos de 30 segundos para a frequência de 5Hz e de 10 segundos para
frequência de 7Hz. Este exame foi repetido no mı́nimo 5 vezes para observar
a resposta referente à fadiga e acomodação ao estı́mulo.
2.5 Eletroencefalógrafo
37
Figura 2.12: Voluntário posicionado dentro da cabine audiométrica.
2.5.5
Filtros
Apesar do BNT-36 possuir uma grande quantidade de filtros programáveis, estes filtros foram implementados em seu interior de forma fı́sica,
utilizando-se circuitos integrados. Após a análise dos dados utilizando estes
filtros, observou-se que estes filtros não eram capazes de trabalhar em uma
região mais estreita, fazendo com que dados de interesse fossem perdidos.
Devido a isto, decidiu-se implementar o filtro de forma digital. Uma rotina
em Matlab foi criada com quatro filtros do tipo Butterworth de quarta ordem a fim de rejeitar as faixas de frequências em torno de 60Hz (filtrando
os sinais de 58 a 62Hz), 120Hz (filtrando os sinais de 118 a 122Hz), 180Hz
(filtrando os sinais de 178 a 182Hz) e 240Hz (filtrando os sinais de 238 a
242Hz), ou seja sua função era filtrar a frequência fundamental em 60Hz e
os três subsequentes harmônicos Figura 2.13.
38
2 Materiais e Métodos
Figura 2.13: Efeito dos filtros nos sinais. Em destaque o sinal coletado no ponto
P3, com frequência de amostragem de 600Hz e janela de 600 pontos.
2.5.6
Parâmetros para a Coerência Múltipla
Os dados coletados, independentes de serem em tempo real ou não, foram
divididos em janelas de mesmo intervalo de tempo, logo com mesmo número
de pontos, estas janelas foram fixadas em 1s com 600 pontos devido à taxa
de aquisição utilizada pelo aparelho que foi fixado em 600Hz. Por utilizar
uma equação de formato recursivo, observou-se a necessidade de re-iniciar
os dados que já foram processados e assim inicia-se o cálculo a partir de um
valor inicial. Esta valor inicial foi fixado em 0 (zero) e o re-inicio dos cálculos
ocorria a cada 25 segundos.
Por se tratar de uma equação que trabalha com mais de um canal,
estudou-se uma forma de melhorar as respostas da Equação 2.20, variando
as combinações entre os canais. Como este trabalho foi desenvolvido a partir
das respostas evocadas por foto estimulação, escolheram-se os canais próxi-
2.5 Eletroencefalógrafo
39
mos às regiões responsáveis pela visão e processamento da imagem no cérebro
humano. Utilizando-se o sistema internacional 10-20 os canais observados foram: O1, O2, Oz, P 3, P 4, P z. Além de observar as repostas individuais,
observou-se também as combinações com 2 dois canais. Devido ao número
de repetições necessárias neste estudo, ele foi realizado na forma simulada.
A simulação do sistema consistiu na criação de um sinal que representasse a resposta do cérebro a um estimula luminoso de forma intermitente.
Este sinal então foi constituı́do pela soma de quatro sinais senoidais de diferentes frequências e somado a este, um ruı́do gaussiano branco com Relação
Sinal/ruı́do (em inglês, signal to noise ratio ou SNR) de −22dB para simular
o EEG de fundo conforme Figura 2.14.
Figura 2.14: a) 4 Senoides de diferentes frequências somadas. b) Sinal resultante
da soma das senoides. c) Inserção do ruı́do com SNR de −22dB.
Um protocolo para esta simulação foi desenvolvido para garantir que sua
reprodutibilidade fosse garantida. A simulação foi então desenvolvida da
seguinte forma: Ensaio total é constituı́do por 9000 pontos. Nos intervalos
de 0−1000, 2000−3000, 4000−5000, 6000−7000, 8000−9000, as amplitudes
das frequências seria mantida a mesma para cada uma delas. No intervalo
de 1001 − 1999 a amplitude do primeiro sinal é duplicado em relação aos
demais, desta forma simula-se a ação da concentração em um dos estı́mulos.
No intervalo 3001 − 3999 modifica-se a amplitude do segundo sinal e assim
por diante para os demais sinais. A decisão de comando nesta simulação teria
saı́da 1 para a primeira frequência, −1 para a segunda, 2 para a terceira e
por fim −2 para a quarta.
Desta forma a escolha do canal ou conjunto de canais deu-se por observar
a relação do número de pontos certos em relação ao número de pontos errados.
A Figura 2.15 mostra uma destas simulações. Nesta figura, a linha azul pode
ser vista como uma curva de tendência. Os pontos fora da linha azul são
40
2 Materiais e Métodos
considerados falsos positivos, ou seja, erros de simulação.
Figura 2.15: A figura mostra uma simulação utilizando o protocolo descrito. No
intervalo onde a amplitude da primeira forma de onda foi amplificada,
o decisor deveria ter como saı́da o valor 1. No intervalo onde a segunda forma de ontem teve sua amplitude modificada, o classificador
deveria ter saı́da -1. Nos intervalos onde a terceira e a quarta formas
de ondas foram modificadas, o decisor deveria atribuir os valores de
2 e -2 respectivamente.
2.6
Decisor HSD (Harmonic Sum Decision)
Após os dados serem processados por meio da Coerência Múltipla, as decisões foram tomadas utilizando-se o critério de Decisão de Soma de Harmônicos HSD (do inglês Harmonic Sum Decision). Este critério utiliza não apenas
o valor da componente fundamental mas também dos harmônicos provenientes destas frequências (Muller-Putz et al., 2005). O uso deste tipo de decisor
advém do fato que o sinal evocado gerar resposta que se difere entre indivı́duos. Por conta disto em alguns casos a resposta obtida pelo classificador
se mostrava mais acentuada no segundo harmônico e não no primeiro. Outro motivo é que as respostas de diferentes frequências também variam a
amplitude da coerência i.e. a resposta de um estı́mulo de 5Hz possui uma
amplitude maior que de um sinal de 13Hz. Por isto optou-se por utilizar
a HSD que normalizava as respostas com base em um valor basal, medido
quando o usuário não estava prestando atenção em nenhuma das estimulações. Neste trabalho, foi utilizado o valor do primeiro e segundo harmônico.
2.7 Braço Robótico
HSD = argmax
41
n
X
Hi F1 × blF1−1 ,
i=1
n
X
i=1
Hi F2 × blF2−1 ,
n
X
Hi F3 × blF3−1 . . .
i=1
(2.25)
Nesta equação n é o número de harmônicos, Hn F1 é o enésimo harmônico
da frequência F1 e blF1 é o valor basal da frequência F1 . A Figura 2.16, exemplifica a presença de um sinal de amplitude mais alto no segundo harmônico
e outro sinal onde o segundo harmônico é menor. Nesta figura, é possı́vel
observar as frequências fundamentais dos estı́mulos (5Hz e 7Hz) bem como
as suas harmônicas em 10Hz e 14Hz respectivamente.
Figura 2.16: As figuras mostram as análises de dois sinais reais de um mesmo
indivı́duo. Os sinais foram evocados por foto estimulação intermitente
com frequência de estimulação em 5Hz e 7Hz. A figura a) apresenta
uma resposta onde o segundo harmônico teve uma amplitude maior
do que a resposta da componente principal. No entanto a figura b)
apresenta uma maior amplitude na frequência fundamental. Dados da
rotina: frequência de amostragem em 600Hz, janelas de 600 pontos,
re-inı́cio da MMSC a cada 15 janelas e canais observados P3 e P4.
2.7
Braço Robótico
O Braço Robótico utilizado neste experimento, foi construı́do utilizandose as partes do Lego M indstorms modelo N XT 2.0. Com uma polı́tica de
desenvolvimento cientı́fico e educacional, a Lego desenvolveu conjuntos de
peças para a criação de robôs. Estes conjuntos, além de conter as clássicas
peças de encaixe também apresentam um bloco de processamento onde têmse inserido um microcontrolador e várias portas de comunicação. Algumas
!
42
2 Materiais e Métodos
destas portas são dedicadas exclusivamente para o acionamento de motores
e as demais portas para a comunicação com sensores, infra-vermelho, ultrasom, sensor de cor, sensor de contato, som e outros que podem ser comprados
separadamente como o sensor laser de distância ou de temperatura. Sendo
assim com este conjunto foi montado o braço mecânico da Figura 2.17.
Figura 2.17: Vista frontal e lateral do braço mecânico desenvolvido com peças do
Lego M indstorms.
Na Figura 2.17 é possı́vel identificar o bloco de comando da Lego e os
três motores responsáveis pela movimentação dos eixos horizontal, vertical e
pelo movimento de abrir e fechar a garra de três dedos. A comunicação entre
o bloco de comando e o computador é feita por meio de cabo USB. Se necessário, a comunicação também poderá ser feita por meio de uma comunicação
sem fio via Bluetooth, e se necessário, acionar mais de um bloco de comando.
Todos os três motores são de corrente contı́nua e possuem encoders com precisão satisfatória para o projeto aqui proposto. Vale salientar que, apesar
deste braço não ter torque suficiente para realizar tarefas mais complexas,
seu movimento pode executar tarefas simples tais como segurar pequenos
objetos, mover-los de um ponto a outro, pressionar teclas de um teclado e
servir-se de base para testes de outros sistemas robóticos mais robustos e
complexos.
2.8 Acionamento dos Motores
2.8
43
Acionamento dos Motores
Até o presente momento toda a computação necessária para a aquisição
e processamento dos dados fui realizada em ambiente Matlab. No entanto
os comandos de acionamento dos motores do braço foram realizados em ambiente Labview. Neste ambiente, a programação é desenvolvida por meio
de blocos interconectados seguindo uma sequência pré determinada de ação.
A esta sequência é dada o nome de Máquina de Estados, que organiza a
sequência dos eventos.
2.8.1
Acionamento do Braço por meio do Labview
Dentro do ambiente do Labview, o programador é apresentado a duas
áreas de programação: a interface do usuário e a interface de programação
(Figura 2.18 a) e b)) respectivamente. A interface do usuário é a parte
que será utilizada na operação do programa desenvolvido e dependendo do
caso o operador não tem acesso à interface de programação. Neste trabalho
a interface com o usuário foi desenvolvida apenas para mostrar onde está
sendo o comando que o braço irá executar e caso queiram o local onde os
dados serão salvos (Figura2.18 a)).
Figura 2.18: Ambiente de Labview para a execução do movimento.
A máquina de estados foi então desenvolvida com a seguinte sequência de
operação:
44
2 Materiais e Métodos
1. Aquisição de Dados: O Labview observa se algum dados de comando
foi enviado pelo M atlab. Esta etapa tem duração média de 1ms;
• Em caso afirmativo o programa aciona um indicador luminoso e
passa para o estado seguinte;
• Em caso negativo passa para o estado seguinte;
2. Acionamento dos motores: Com os comandos provenientes da aquisição
o programa envia o comando de acionamento aos motores de acordo
com o sentido de rotação indicado pelo M atlab. Após a execução do
movimento, a rotina passa para o estado seguinte. Esta etapa tem
duração média de 100ms
3. O último estado refere-se para o caso dos dados serem salvos: Caso o
usuário deseje salvar os dados, estes o serão neste momento no local
indicado pelo operador. Esta etapa tem duração média de 1ms;
2.8 Acionamento dos Motores
45
!"
# $
$ $
( $
) *
%&
'
!"
+
,-
$
"
&
# $
$
.$
* $
#
$ %
.
* $ $ %
/
$%
0
$
&$
%
$
,
#$
#
$
$
$
$
.
1 .
$
2
$
Figura 2.19: Programação dos possı́veis comandos via Labview.
#
$
%
46
2 Materiais e Métodos
2.9
Interface do Usuário para Operação em
Tempo Real da ICC
A fim de se ter uma interface fácil para o usuário operar o sistema em
tempo real, foi desenvolvido no ambiente GU I (sigla em inglês Graphical
User Interface) do M atLab Figura 2.20, com todos os comandos necessários
para realizar a aquisição dos dados do aparelho de EEG sem a necessidade de
se utilizar o programa fornecido pelo fabricante. Nesta interface o operador
indica: a frequência de amostragem (100, 150, 200, 240, 300, 400, 600) em
hertz, o número de pontos por janelas (deve ser observado em conjunto
com a frequência de amostragem), o canal a ser utilizado como referência
(o terra foi adotado no ponto médio entre F p1 e F p2 ), se os dados serão
ou não salvos e o nome do arquivo (extenção .txt), o tempo de reinı́cio da
MMSC, o conjunto de canais a serem usados e ı́ndice de significância (α). E
como saı́da para o operador o sistema indica: se esta calibrado (se os valores
basais foram calculados), o número da iteração (corresponde ao número total
de janelas caso seja usada uma janela por segundo), a frequência detectada
(que corresponde também ao valor enviado ao LabV iew), os valores basais
calculados e os canais em uso.
! "
! "
(
#
3
3
4** 5 )
)
$
%
(
&
&&
' (
"
)*+,*
1
22'
-
(
.
/0
Figura 2.20: Interface de operação do sistema em tempo real.
2.10 Resumo do Capı́tulo
2.10
47
Resumo do Capı́tulo
Este capı́tulo apresentou os passos para a criação e operação da Interface
Cérebro Computador utilizada neste experimento. A Figura 2.21 a), mostra
a figura original apresentada no trabalho de Wolpaw et al. (2002), este diagrama apresenta de forma genal as partes de uma ICC. Comparando então
com a ICC desenvolvida neste trabalho Figura 2.21 b) observa-se que os mesmos passos foram tomados, porém de diferentes formas mas com o mesmo
intuito.
%
!
"
#
$
&%
Figura 2.21: a) Representação geral de uma ICC apresentada por Wolpaw et al.
(2002). b) ICC proposta neste trabalho. Nota-se que a semelhança
da arquitetura da interface foi mantida. Porem a forma da realização
do projeto foi alterado de acordo com a necessidade e aplicação.
Capı́tulo 3
Resultados
Este capı́tulo é dedicado a apresentar os resultados obtidos pelo sistema
desenvolvido neste trabalho e detalhado no capitulo de desenvolvimento.
3.1
Resultados do Protocolo de Simulações
Estes resultados são referentes às simulações do protocolo descrito na
Seção 2.5.6 do capı́tulo anterior. O decisor neste caso foi desenvolvido da
seguinte forma: o valor da MSC é observado por três janelas seguidas, é
caracterizado como decisão se nestas três janelas o valor se manter acima
do valor critico e ao mesmo tempo maior que o valor (em amplitude) das
demais frequências observadas. A Figura 3.1 apresenta o fluxograma para
a rotina desenvolvida. Os erros e acertos foram calculados de acordo com
cada intervalo da simulação conforme a Figura 2.15 do capı́tulo anterior se
o gráfico for dividido em partes iguai, então seriam 9 partes separadas por
intervalos de atenção ou de relaxamento. Dessa forma, os intervalos (1,3,5,7 e
9) são intervalos onde deveria haver relaxamento e nenhuma das frequências
de estimulação deveria ser observada. Logo caso haja detecção de alguma
frequência nestes perı́odos, os mesmos foram tratados como erros. Nos intervalos 2 e 6, deveriam apresentar somente respostas em uma frequência, assim
qualquer ponto seja em zero ou em outra frequência é dado como erro. O
mesmo acontece para os intervalos 4 e 8.
50
3 Resultados
Figura 3.1: Fluxograma para a simulação e testes com a coerência múltipla. Af n
é a amplitude do valor da MMSC e Kcrit o valor critico.
A Tabela 3.1 apresenta uma sequência de simulações onde a quantidade
de janelas usadas pela MMSC foi variada. Nestes dados é possı́vel observar
uma variação com relação ao número de janelas e a precisão do sistema, bem
como a relação com o tempo de simulação. Esta simulação demostrou a funcionalidade da MMSC e demonstrou de ante mão alguns problemas que seriam
encontrados com as simulações com dados reais ”off-line”e durante a realização dos testes em tempo real (on-line). Assim, chegou-se na situação onde é
necessário um balanço entre número de acertos e tempo de processamento.
A Figura 3.2 mostra as possı́veis situações propostas para esta simulação:
todas as amplitudes são semelhantes e não há concentração em nenhum sinal,
concentração no primeiro sinal, concentração no segundo sinal, concentração
no terceiro sinal e por fim concentração no quarto sinal. Antevendo que este
sistema seria usado para movimentar um braço robótico real assumiu-se, que
quando for detectado um erro pelo sistema, este erro será tratado como a não
realização de movimento, assim é dado o comando de permanecer parado ou
seja nı́vel 0 (zero) para os motores.
3.1 Resultados do Protocolo de Simulações
51
Tabela 3.1: Parâmetros das Simulações, Frequência de Amostragem 600Hz, Janelas com 600 pontos, Nı́vel de Significância (α = 0,05), Número de
Janelas antes do re inicio da MMSC (M),Total de Pontos (P), Pontos
Certos (C), Pontos Errados (E), Porcentagem de acerto (%), Tempo
de Simulação em segundos.
Simulação
M
Simulação 1 1000
Simulação 2 500
Simulação 3 200
Simulação 4 100
Simulação 5
90
Simulação 6
80
Simulação 7
70
Simulação 8
60
Simulação 9
50
Simulação 10 30
P
C
E
%
Tsim (s)
7415
7693
7804
7792
7732
7740
7725
7810
7744
7658
4278
4708
4278
4868
4760
4771
4768
4867
4788
4647
2985
2985
2908
2924
2972
2969
2957
2943
2956
3011
61,19
61,19
62,73
62.47
61,56
61,64
61,72
62,31
61,82
60,68
175,25
177,55
177,22
175,19
183,48
174,91
174,62
171,02
173,58
173,42
Figura 3.2: Cinco possı́veis respostas para a simulação do sistema. O marcador
verde representa a frequência detectada ou onde existe uma concentração da atenção. Os marcadores vermelhos são as demais frequências
e a linha vermelha mostra o valor critico naquele momento. Qualquer
valor abaixo da linha vermelha é estatisticamente nulo.
52
3.2
3 Resultados
Resultados do Protocolo de Análise dos
Sinais de EEG Off-Line
O protocolo para a aquisição dos dados reais é mostrado na Figura 3.3.
Neste protocolo, o indivı́duo é solicitado a ficar sentado de forma relaxada
em uma cabine audiométrica fechada e com a iluminação reduzida. Durante
a primeira fase do exame, o indivı́duo é solicitado a não prestar atenção a
nenhuma das luzes que piscam de forma intermitente. Durante esse momento
uma luz vermelha indica o estado de não atenção. Esse estado tem duração
de um minuto e nos primeiros 12 segundos é calculado o valor basal referente
a aquela pessoa. No segundo minuto, a luz vermelha se apaga e é acesa uma
luz verde. Esse comando significa que o indivı́duo deve se concentrar na luz
que está piscando a sua esquerda. Depois deste minuto, a luz vermelha se
acende e a pessoa pode parar de se concentrar na frequência e pode relaxar.
No quarto minuto a luz vermelha volta a se apagar e uma luz azul é acesa,
assim a pessoa recebe o comando de se concentrar na frequência da luz a
sua direita por mais um minuto, seguido disso a luz vermelha é novamente
acesa. Após este quinto minuto, o sistema se comporta da mesma forma
porém agora o tempo de concentração na frequência da esquerda passa a ser
de meio minuto e o da direita de apenas dez segundo.
Figura 3.3: Protocolo para a aquisição dos sinais reais de EEG. Faixa vermelha
indica não concentrar em nenhum estı́mulo, faixa verde, representa
atenção ao estimulo da esquerda e faixa azul, atenção ao estimulo da
direita.
Os sinais de acionamento dos LED’s foram criados por um segundo computador, dedicado a gerar os sinais de estimulação e os sinais de trigger. Esses
mesmos sinais foram coletados pelo aparelho de EEG para a realização da
MMSC, Figura 3.4.
3.2 Resultados do Protocolo de Análise dos Sinais de EEG Off-Line
53
Figura 3.4: Sinais de trigger coletados pelo EEG em suas portas auxiliares. a)
trigger da MMSC, constituı́do por pequenos pulsos com frequência de
1Hz. b) Trigger da luz vermelha. c) Trigger da luz azul. d) Trigger
da luz verde.
Por trabalhar com múltiplos sinais, investigou-se qual canal ou conjunto
de canais iria produzir uma melhor resposta. Para isto, utilizou-se um conjunto de dados coletados e foi observado onde era apresentado o maior número
de acertos variando as combinações de 1 a 2 canais. Por se tratar de uma
foto-estimulação, procurou-se utilizar os canais mais próximos da região de
processamento de imagem do cérebro (canais O1, O2, Oz, P3, P4 e Pz). A
Tabela 3.2, mostra uma destas análises onde os intervalos de estimulação ou
de ausência de estı́mulo foram analisados de acordo com o número de pontos
possı́veis e o número de pontos certos de acordo com cada combinação de
canais. Para a escolha dos melhores canais, somou-se o número de acertos e
subtraiu o dos erros.
Em todos os 5 exames, foram realizadas análises semelhantes às feitas na
Tabela 3.2 e os resultados indicaram que a melhor relação entre conjunto de
canais observados e número acertos, foi obtido na união dos sinais coletados
em P 3 e P 4. Porém, isso de forma algum implica que não houve resposta
nos demais canais.
54
3 Resultados
Tabela 3.2: Análise do Exame TesteM01. Intervalos com estimulação de 5Hz: 1 e
2. Intervalos com estimulação de 7Hz: 3 e 4. Intervalos sem estimulação: 5,6 e 7. Os intervalos 5f n , 6f n e 7f n , referem-se aos sinais de
n = 7 e n = 7 encontrados quando não deveriam ou seja seriam falsos
positivos. Respectivamente
P
P cada canal deveria ter 61,31,61,11,0,0,0,0
pontos. Σ =
certos − erros
Cana(l/is)
1
2
3
4
.
Intervalos
5f 5 5f 7 6f 5
O1
O2
Oz
P3
P4
Pz
O1O2
O1Oz
O2Oz
P3P4
P3Pz
P4Pz
P3O1
P3O2
P3Oz
P4O1
P4O2
P4Oz
58
56
45
47
23
0
58
57
55
41
40
5
58
55
42
57
48
39
26
21
18
27
27
20
19
17
13
28
17
25
20
19
16
26
23
25
54
41
54
58
0
28
44
45
53
58
55
24
52
55
53
49
37
56
7
7
4
8
2
6
4
5
2
7
8
5
8
7
7
4
2
1
0
0
0
0
0
0
6
0
12
6
0
0
0
0
0
3
0
0
25
2
14
25
25
49
4
13
0
4
47
45
46
11
9
45
5
12
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
6f 7
7f 5
7f 7
8f 5
8f 7
Σ
0
0
3
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
0
0
1
1
0
0
9
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
0
0
0
0
123
123
104
114
25
2
115
110
109
124
72
14
92
115
109
88
105
108
Para a análise de sinais reais, assumiu-se como decisor o HSD descrito na
Seção 2.6. Como sinais a serem enviados para o acionamento dos motores,
tem-se como saı́das do decisor: −1 para atenção na frequência de 5Hz, +1
para atenção na frequência de 7Hz e 0 no caso de nenhuma atenção ou caso
fosse detectado algum erro. Como citado anteriormente, a saı́da 0 representa
a não movimentação do braço. A Figura 3.5 apresenta um dos exames analisado off-line utilizando-se o MMSC como classificador e o HSD como decisor.
Os valores basais foram calculados utilizando-se as janelas 9,10,11 e 12. A
frequência de amostragem do sistema foi de 600Hz e cada janela continha
600 pontos e a MMSC era re iniciada a cada 15 janelas, ou seja a cada 15
3.3 Resultados do Protocolo de Análise dos Sinais em Tempo Real
(On-Line)
55
janelas as matrizes de dados eram zeradas.
Figura 3.5: Análise off-line do exame testeM02 Fs 601,5. Taxa de aquisição de
600Hz, janelas de 600 pontos, MMSC re-iniciada a cada 15 janelas.
Valores basais 0,3292 0,2977 0,1085 0,0557 para as frequências de 5, 7,
10 e 14 Hz, respectivamente.
3.3
Resultados do Protocolo de Análise dos
Sinais em Tempo Real (On-Line)
Nas seções anteriores, foram demonstrados os passos para obter um conjunto de parâmetros necessários para a realização deste trabalho. Com os
dados da simulação observou-se a eficiência e o correto funcionamento da
MMSC como detector de sinais do eletroencefalograma. Com as simulações,
utilizando dados reais, foi possı́vel obter um conjunto favorável de canais
para melhorar a resposta do sistema. Bem como obter um valor satisfatório
para o tamanho de cada janela de dados. De posse destes dados estipulou-se
como principais parâmetros:
1. Frequência de Amostragem (Fs) : 600Hz;
2. Tamanho da Janela: 600 pontos;
3. Canais Observados: P3 e P4 (segundo sistema internacional 10-20);
4. Tolerância: 5%.
56
3 Resultados
A fim de se observar a resposta dos motores do braço robótico, criouse a Figura 3.6 que mostra um perfil da variação do angulo de rotação do
braço mecânico (garra) em relação ao tempo, como resposta aos comandos
luminosos seguindo a Figura 3.3. O comando foi dado ao motor por de forma
manual e os ângulos coletados pelo encoder acoplado ao motor.
Figura 3.6: Dados do encoder acoplado ao motor da Garra do braço robótico. O
maior ângulo registrado foi de 3294o o que indica que no perı́odo de
um minuto o motor realizou 9 voltas completas mais 54o .
Com base neste perfil, os voluntários foram submetidos ao protocolo descrito na Seção 3.2 com o braço mecânico em funcionamento. A Figura
3.7, mostra o conjunto que corresponde a ICM desenvolvida neste trabalho
quando em funcionamento.
3.3 Resultados do Protocolo de Análise dos Sinais em Tempo Real
(On-Line)
57
Figura 3.7: Exemplo do funcionamento completo da ICM. Em detalhe as partes
principais da ICM.
Os exames contaram com 8 voluntários com idades entre 19 e 28 anos,
com visão normal ou com lentes corretivas e declaram não ter nenhum tipo
de epilepsia. Para analisar a eficiência da ICC utilizou-se a correlação entre o
perfil gerado e a resposta obtida pelo controle da ICC. A Tabela 3.3 apresenta
a análise destes dados.
Tabela 3.3: Correlação entre o perfil e a resposta pelo controle da ICC.
Voluntário/Exame
1
2
3
4
5
6
7
1
2
3
4
5
6
7
8
0,4900
0,3755
0,5594
0,2191
0,3264
0,1928
0,5058
0,2909
0,5481
0,4950
0,5613
0,5613
0,4839
0,3193
0,7792
0,5781
0,6945
0,5188
0,8431
0,8114
0,8630
0,3334
0,6546
0,8045
0,8529
0,8743
0,7515
0,7126
0,4240
0,7260
0,5059
0,8975
0,8252
0,7587
0,6879
0,3455
0,3021
0,6192
0,7873
0,7197
0,3745
-
0,7667
0,6113
-
A Figura 3.8, apresenta graficamente os resultados presentes na Tabela
3.3. Observa-se que existe um melhor desempenho individual por volta do 3o
ou 4o exame. Uma conjectura sobre esse fato é que existe um momento de
58
3 Resultados
treinamento nos primeiros exames que vai culminar nas melhores respostas
(exames 3 ou 4). Após esse intervalo de melhores resultados, verificou-se uma
queda no desempenho, que pode estar relacionada com algum tipo de fadiga
visual ou mental. Nesta figura os exames foram divididos em três gráficos
para melhor observação dos resultado. O gráfico a) apresenta as correlações
dos indivı́duos 1 e 2. Nesse gráfico fica bastante evidente o intervalo de treino
(ou adaptação), seguido dos melhores resultados e, por fim, uma queda na
qualidade das respostas. O gráfico b) apresenta uma resposta semelhante ao
encontrado no a), porém com o surgimento de alguns picos no 3o exame. Por
fim, o gráfico c) foi pouco conclusivo devido ao baixo número de repetições
nos exames.
3.3 Resultados do Protocolo de Análise dos Sinais em Tempo Real
(On-Line)
59
Figura 3.8: Correlação entre o perfil e a resposta pelo controle da ICC. Observa-se
um melhor desempenho nos exames 3 e 4 com uma queda de resultados
após este intervalo.
Os melhores resultados dos exames foram colocados na Figura 3.9. Ou
seja, ela apresenta as curvas com o maior valor de correlação associado a
cada um dos voluntários. É possı́vel notar que, nenhuma dos exames con-
60
3 Resultados
seguiu seguir exatamente todo o perfil. No entanto é possı́vel notar que a
tendência apresentada no perfil foi seguida. Assim nota-se que os comando
de movimento do motor foram dados no sentido correto.
Figura 3.9: Curvas referentes às melhores respostas de cada voluntário.
Dando um aumento na região onde o sistema começa a responder ao
primeiro comando de concentração (inı́cio do segundo minuto) (Figura 3.10),
é possı́vel observar que esta ICC demora em torno de 10 a 15 segundos para
iniciar a resposta. Outro fato que merece ser mencionado é que cada iteração
da rotina de processamento da ICC demora cerca de 2 segundos. Desta
forma, é necessário pelo menos dois ou mais segundos (1200 pontos ou 2
janelas) para que alguma mudança seja percebida pela ICC. Este serve para
justificar o motivo pela baixa qualidade das respostas no último intervalo
do teste que teve duração de apenas 10 segundos (intervalo de 389 a 399
segundos) (Figura 3.11).
3.3 Resultados do Protocolo de Análise dos Sinais em Tempo Real
(On-Line)
61
Figura 3.10: Detalhe do inı́cio do segundo minuto, onde as respostam tendem a
iniciar depois de 10s.
Figura 3.11: Detalhe do inı́cio do segundo minuto, onde o tempo de resposta da
ICC não é suficientemente rápida para gerar a resposta desejada.
Para uma melhor análise inter-sujeitos, a Tabela 3.4 apresenta os valores das médias entre as correlações de cada indivı́duo bem como seu desvio
padrão.
62
3 Resultados
Tabela 3.4: Média e desvio padrão das correlação de cada voluntário.
3.4
Voluntário
Média
Desvio
1
2
3
4
5
6
7
8
0,7093
0,6219
0,6292
0,5761
0,4886
0,3747
0,6114
0,6379
0,1401
0,1730
0,1664
0,2592
0,2186
0,2040
0,1321
0,2344
Resumo do Capı́tulo
Neste capı́tulo, foram apresentados os resultados obtidos durante as fases
de desenvolvimento deste trabalho ou seja: Avaliação da MMSC como detector de forma puramente computacional, avaliação dos parâmetros do sistema
e.g. número de janelas necessárias, taxa de aquisição, canais de EEG. Avaliação do decisor e do classificador (HSD - MMSC), utilizando-se dados reais
em perı́odo posterior à coleta dos dados (off-line) e a escolha dos canais onde
foi obtida a melhor relação entre sinal e ruı́do. Por fim, a avaliação da ICC,
observando sua resposta para as duas frequências de estimulação e o tempo
de resposta da mesma. Foi definido que a resposta do sistema ocorre em um
perı́odo de 10 a 15 segundos, porém as modificações no sinal do EEG podem
ser percebidas depois de 2 segundo. As Figuras 3.12 e 3.13 mostram a ICC
detectando respectivamente um sinal de estimulação de 5Hz e de 7Hz.
3.4 Resumo do Capı́tulo
63
Figura 3.12: Exemplo de funcionamento da ICC. Em detalhe a detecção de um
sinal de 5Hz.
Figura 3.13: Exemplo de funcionamento da ICC. Em detalhe a detecção de um
sinal de 7Hz.
Capı́tulo 4
Discussão e Conclusão
Neste trabalho, foi realizado o estudo e o desenvolvimento de uma Interface Cérebro Computador que utilizou os sinais evocados por meio da
foto estimulação intermitente. Por sua vez, essa foto estimulação foi feita
utilizando duas fontes de luz que piscavam de forma independente e com
frequências diferentes. Como a potência de cada sinal evocado está relacionado com a sua frequência (Muller-Putz and Pfurtscheller, 2008), optou-se
por frequências classificadas como baixas por (Zhu et al., 2010) (frequências
na faixa de 4 a 12 Hz). Com base nestes estudos, optou-se por trabalhar
com as frequências 5 e 7 Hz que se encontram dentro da faixa de 5 a 16,8 Hz
apontada como ótima Bakardjian et al. (2010).
A coleta dos sinais foi realizada segundo o sistema internacional 10-20
e utilizaram-se para os cálculos os sinais provenientes dos pontos P 3 e P 4.
Esta escolha se deu observando-se os resultados da Tabela 3.2, que mostra o
processamento de um exame, variando a combinação dos sinais referentes aos
canais mais próximos de onde o cérebro processa a visão. Conforme visto na
Tabela 3.2, a combinação destes canais produziram uma resposta superior às
respostas dos canais O1 e O2 bem como da combinação desses (O1 e O2).
O processamento dos sinais coletados, foi feito utilizando-se a Magnitude
Quadrática da Coerência (MSC) nas analise, onde foi utilizado apenas um
canal. Sendo este um caso particular da Magnitude Quadrática da Coerência
Múltipla (MMSC), ou seja quando n = 1. Como foi visto na Figura 2.4 a
MMSC, por trabalhar com mais sinais, apresentou uma resposta melhor no
tratamento dos dados coletados, o que influenciou nos resultados da Tabela
3.2. Logo chega-se à conclusão de que a Magnitude Quadrática da Coerência
Múltipla (MMSC) é melhor quando comparada com a MSC.
66
4 Discussão e Conclusão
Um fato que foi observado durante o processamento dos dados, quer
usando a MMSC ou MSC, foi a presença de harmônicos provenientes das
frequências de estimulação. Como visto nas Figuras 2.8 e 2.16, estes harmônicos em alguns casos possuı́am uma amplitude maior que o sinal fundamental. Esse fato demostrou que a análise destes sinais poderia melhoram o
resultado final da Interface Cérebro Computador proposta. No trabalho de
Muller-Putz and Pfurtscheller (2008) os autores demonstram uma formulação que leva em conta a amplitude do sinal da frequência fundamental e de
seus harmônicos (HSD - Harmonic Sum Decision). No referido trabalho, os
autores utilizaram os dados das primeiras três harmônicas. O método apresentado foi utilizado neste trabalho como decisor e utilizou apenas o segundo
harmônico (no caso, as frequências de 10 e 14Hz).
Neste trabalho, a Interface Cérebro Computador foi desenvolvida com
o intuito de movimentar um pequeno braço mecânico. Tal dispositivo foi
desenvolvido com as peças do Lego MindStorm e contou com três motores
dando a possibilidade de operar o sistema com até seis graus de liberdade.
As análises de acionamento do braço mecânico foram concentradas no movimentação de apenas um dos motores, o responsável por fechar a abrir a garra.
Esse motor tem embutido em si um encoder que registra os giros do motor.
Os dados desse sensor foram então utilizados para testar a funcionalidade
da ICC proposta. Como um padrão para a comparação, foi criada a Figura
3.6 que corresponde às respostas desejadas quando a ICC for operada com
protocole de exames definido na Figura 3.3.
A fim de se observar a eficiência da ICC um grupo de oito voluntários foram solicitados a operar o sistema seguindo os comandos de luz do protocolo
proposto. Para quantificar e comparar as respostas, foi utilizada Correlação
entre a resposta desejada e o dados obtidos nos exames. Tendo em vista
que a Correlação é um ı́ndice de similaridade entre dois sinais e que tem
como resposta um valor entre -1 e 1 onde o pior caso é quando seu valor é
nulo. A ICC proposta apresentou respostas com correlações próximas a 0,9.
Com médias intra indivı́duos de até 0,7 e desvios padrões que chegaram a
0,26. Observando-se tais dados (Tabela 3.3), é possı́vel notar o fator de treinamento que é indicado pelo aumento gradativo das correlações. É possı́vel
observar também o fator cansaço e/ou acomodação. Tomando como exemplo
a primeira linha da Tabela 3.3: (0,4900 ; 0,5481 ; 0,6945 ; 0,8529 : 0,8252 ;
0,7873 ; 0,7667), observa-se o treinamento onde a resposta do sistema passa
de 0,49 para 0,85 o que representa uma melhora de 43%. Esta melhora é
67
seguida de uma queda de aproximadamente 10% que pode ser relacionada à
fadiga do exame ou uma acomodação referente aos esforços durante a execução dos testes. Uma análise mais detalhada dos dados (Figura 3.9) mostrou
o tempo de processamento da ICC. Tal fato foi apoiado observando-se que
a maioria das respostas tiveram inı́cio cerca de 10 segundos após o inı́cio do
estı́mulo. Isso implica dizer que, em média, a ICM demora 10s para perceber
a presença ou desaparecimento de um sinal evocado, classifica-lo e por fim
acionar ou parar o movimento. Este tempo de processamento justifica então
a baixa qualidade das respostas referentes aos últimos 10s do protocolo, no
qual o sistema não teve em média tempo hábil para responder. Vale lembrar
que o objetivo do protocolo foi o de testar a resposta do sistema de várias
formas possı́veis, inclusive nos pontos mais crı́ticos de operação.
Por fim, a Interface Cérebro Computador proposta foi desenvolvida tendo
como principais pontos: a utilização da resposta evocada por meio da foto
estimulação intermitente, a separação do sinal imerso em ruı́do utilizando a
Magnitude Quadrática da Coerência Múltipla e a proposição um conjunto
de sinais capazes melhor traduzir a intenção do usuário. A ICC concluiu seu
propósito de evocar um sinal, coletar o sinal evocado, processar o sinal e traduzir em movimentos os comandos do operador. Com relação às dificuldades
encontrada no decorrer do trabalho, é possı́vel destacar a grande sensibilidade
dos sinais cerebrais a ruı́dos e a grande variabilidade de respostas intra e inter
indivı́duos o que nos obrigou a propor um sistema minimamente robusto que
pode ser operado por todos os voluntários.
Capı́tulo 5
Trabalhos futuros
A interface desenvolvida neste trabalho demonstrou-se capaz de separar
a intenção do usuário em comandar o movimento de um braço mecânico,
utilizando a concentração do indivı́duo em um dado estı́mulo. No entanto
existem condições onde não é possı́vel utilizar a visão como forma de entrada
de estı́mulos. Nestes casos, um estudo dos sinais do córtex motor, referentes
ao planejamento execução ou imaginação de um movimento podem demonstrar resultados bastante interessantes, tendo em vista que os sinais serão
observados de acordo com a vontade do paciente e não mais vai depender de
nenhum outro movimento.
Outro fato que merece um estudo mais detalhado é no caso do uso de
aparelhos de EEG que transmitam os dados sem o uso de fios. Durante o
desenvolvimento do presente trabalho, notou-se que o uso do aparelho tradicional necessita de um cuidado grande do paciente com relação a movimentos
que podem puxar seus fios e assim retirar os eletrodos do seu lugar. Mesmo
em pacientes que estão presos no leito, isso pode ser um problema pois este
indivı́duo é constantemente mudado de posição.
Assim, como proposta de trabalhos futuros, estão os estudos com relação
à Sincronização e Dessincronização Relacionada a Eventos nos quais estão relacionadas as respostas cerebrais nos momentos que antecedem ao movimento
bem como seu planejamento, realização e imaginação.
Referências Bibliográficas
Babajani-Feremi, A. and Soltanian-Zadeh, H. (2010). Multi-area neural mass
modeling of eeg and meg signals. NeuroImage, 52(3):793 – 811.
Bakardjian, H., Tanaka, T., and Cichochi, A. (2010). Optimization of ssvep
brain response with application to eigth-command brain-computer interfece. Neuroscience Letters, (469):34–38.
Benignus, V. (1969). Estimation of the coherence spectrum and its confidence
interval using the fast fourier transform. Audio and Electroacoustics, IEEE
Transactions on, 17(2):145 – 150.
Cheng, A., Gao, X., Gao, S., and Xu, D. (2002). Design and implementation of a brain-computer interface with high transfer rates. Biomedical
Engineering, IEEE Transactions on, 49(10):1181 –1186.
Curran, E. A. and Stokes, M. J. (2003). Learning to control brain activity: A
review of the production and control of eeg components for driving braincomputer interface (bci) systems. Brain and Cognition, 51(3):326 – 336.
de Sá, A. M. F. L. M. and Felix, L. B. (2002). Improving the detection
of evoked responses to periodic stimulation by using multiple coherence–
application to eeg during photic stimulation. Medical Engineering & Physics, 24(4):245 – 252.
de Sá, A. M. F. M., Ferreira, D. D., Dias, E. W., Mendes, E. M., and Felix,
L. B. (2009). Coherence estimate between a random and a periodic signal: Bias, variance, analytical critical values, and normalizing transforms.
Journal of the Franklin Institute, 346(9):841 – 853.
Demontis, C., Sbrana, A., Gargini, C., and Cervetto, L. (2005). A simple
and inexpensive light source for research in visual neuroscience. Journal
of Neuroscience Methods, 146(1):13 – 21.
72
Bibliografia
Donchin, E., Spencer, K., and Wijesinghe, R. (2000). The mental prosthesis:
Assessing the speed of a p300-based brain-computer interface. IEEE Trans.
Rehab. Eng., 8:174–179.
Felix, L. (2004). Detecção objetiva de respostas multivariável aplicado ao
eletroencefalograma e a potenciais evocados. Master’s thesis, Programa de
Pós-Graduação em Engenharia Elétrica, Universidade Federal de Minas
Gerais, Belo Horizonte, Brasil.
Felix, L., de Sa, A., Mendes, E., and Moraes, M. (2006). Statistical aspects
concerning signal coherence applied to randomly modulated periodic signals. Signal Processing Letters, IEEE, 13(2):104 – 107.
Galán, F., Nuttin, M., Lew, E., Ferrez, P., Vanacker, G., Philips, J., and
del R. Millán, J. (2008). A brain-actuated wheelchair: Asynchronous and
non-invasive brain-computer interfaces for continuous control of robots.
Clinical Neurophysiology, 119(9):2159 – 2169.
Gao, X., Xu, D., Cheng, M., and Gao, S. (2003). A bci-based environmental
controller for the motion-disabled. IEEE J. NSRE, 11(2):137–140.
Guyton, A. C. and Hall, J. E. (2006). Textbook of Medical Physiology. Elsevier
Saunders, 11th ed.
Herrmann, C. (2001). Human eeg responses to 1-100 hz flicker: resonance
phenomena in visual cortex and their potential correlation to cognitive
phenomena. Exp Brain Res., 137(3):346–353.
Hinterberger, T., Mellinger, J., and Birbaumer, N. (2003). The thought
translation device: Structure of a multimodal brain-computer communication system. In Neural Engineering, 2003. Conference Proceedings. First
International IEEE EMBS Conference on, pages 603 – 606.
Hsu, W.-Y. (2010). Eeg-based motor imagery classification using neuro-fuzzy
prediction and wavelet fractal features. Journal of Neuroscience Methods,
189(2):295 – 302.
Kim, H. K., Park, S., and Srinivasan, M. A. (2009). Developments in brainmachine interfaces from the perspective of robotics. Human Movement
Science, 28(2):191 – 203.
Bibliografia
73
Lotte, F. (2009). Study of Electroencephalographic Signal Processing and
Classification Techniques towards the use of Brain-Computer Interfaces in
Virtual Reality Applications. PhD thesis, l’Institut National des Sciences
Appliqüees de Rennes.
McFarland, D. J. and Wolpaw, J. R. (2008). Sensorimotor rhythm-based
brain-computer interface (bci): model order selection for autoregressive
spectral analysis. Journal of Neural Engineering, 5(2):155.
Muller-Putz, G. and Pfurtscheller, G. (2008). Control of an electrical prosthesis with an ssvep-based bci. Biomedical Engineering, IEEE Transactions
on, 55(1):361 –364.
Muller-Putz, G. R., Scherer, R., Brauneis, C., and Pfurtscheller, G. (2005).
Steady-state visual evoked potential (ssvep)-based communication: impact of harmonic frequency components. Journal of Neural Engineering,
2(4):123.
Neuper, C., Müller, G. R., Kübler, A., Birbaumer, N., and Pfurtscheller, G.
(2003). Clinical application of an eeg-based brain-computer interface: a
case study in a patient with severe motor impairment. Clinical Neurophysiology, 114(3):399 – 409.
Niedermeyer, E. and da Silva, F. (2005). Electroencephalography, Basic Principles, Clinical Application and Related Fields. Lippincott Williams &
Wilkins.
Oostenveld, R. and Praamstra, P. (2001). The five percent electrode system
for high-resolution eeg and erp measurements. Clinical Neurophysiology,
112(4):713 – 719.
Otnes, R. and Enochson, L. (1978). Applied Time Series Analysis, Basic
Techniques. New York: John Wiley and Sons.
Patil, P. G. and Turner, D. A. (2008). The development of brain-machine interface neuroprosthetic devices. Neurotherapeutics, 5(1):137 – 146. Device
Therapy.
Pfurtscheller, G., Muller-Putz, G., Scherer, R., and Neuper, C. (2008). Rehabilitation with brain-computer interface systems. Computer, 41(10):58 –65.
74
Bibliografia
Pfurtscheller, G., Neuper, C., Muller, G. R., Obermaier, B., Krausz, G.,
Schlogl, A., Scherer, R., Graimann, B., Keinrath, C., Skliris, D., Wortz,
M., Supp, G., and Schrank, C. (2003). Graz-bci: state of the art and
clinical applications. IEEE J. NSRE, 11(2):1–4.
Semmlow, J. L. (2004).
Biosignal and biomedical image processing:
MATLAB-based applications. CRC Press, 4th ed.
Sharbrough, F., Chatrian, G.-E., Lesser, R., Lüders, H., Nuwer, M., and
Picton, T. (1991). American electroencephalographic society guidelines for
standard electrode position nomenclature. J. Clin. Neurophysiol, 8:200–
202.
Vialatte, F., Maurice, M., Dauwels, J., and Cichocki, A. (2010). Steadystate visually evoked potentials: Focus on essential paradigms and future
perspectives. Progress in Neurobiology, 90(4):418 – 438.
Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., and
Vaughan, T. M. (2002). Brain-computer interfaces for communication and
control. Clinical Neurophysiology, 113(6):767 – 791.
Wolpaw, J. R., McFarland, D. J., and Vaughan, T. M. (2000). Braincomputer interface research at the wadsworth center. IEEE J. RE,
8(2):222–226.
Wolpaw, J. R., McFarland, D. J., Vaughan, T. M., and Schalk, G. (2003). The
wadsworth center brain-computer interface (bci) research and development
program. IEEE J. NSRE., 11(2):1–4.
Wu, Z., Lai, Y., Xia, Y., Wu, D., and Yao, D. (2008). Stimulator selection
in ssvep-based bci. Medical Engineering & Physics, 30(8):1079 – 1088.
Special Issue (part): Bioengineering in Taiwan.
Zhang, Y., Jin, J., Qing, X., Wang, B., and Wang, X. (2011). Lasso based
stimulus frequency recognition model for ssvep bcis. Biomedical Signal
Processing and Control, pages –.
Zhu, D., Bieger, J., Molina, G. G., and Aarts, R. M. (2010). A survey of
stimulation methods used in ssvep-based bcis. Computational Intelligence
and Neuroscience, page 12.