Realidade
Aumentada
Na
Engenharia
Biomédica
Um Estado da Arte
• José Braz - EST/DSI
• MEEC / IST
RA na EB
Uma Apresentação em 3 Actos
e um epílogo
• I - Enquadramento
– O que é a Engenharia Biomédica todos sabemos!
Falta saber o que entendemos por Realidade
Aumentada.
• II - Onde e como se aplica na EB
– Na cirurgia guiada por imagem
– Na telemedicina
• III - O estado actual
• Epílogo - E o prevísivel futuro
RA na EB - I
Enquadramento
Uma definição de RA
• A RA é uma “subárea de investigação”
da Realidade Virtual que pretende
– Desenvolver mundos que combinem
– O mundo real observado pelo utilizador
– Com uma cena virtual gerada por
computador e que aumente o mundo real
com informação adicional.
• E com os quais o utilizador possa
interagir em Tempo Real
I ACTO: Enquadramento
RA na EB - I
Enquadramento
A RA é multidisciplinar e integradora
– Componentes de um Sistema Típico
– Tecnologias de Seguimento
• Sistemas Magnéticos
• Sistemas Ópticos
• Sistemas Gráficos
• Sistemas Híbridos
– Tecnologias de Apresentação
• Janela Sobre o Mundo (JSM)
• Video See-through (VST)
• Optical See-through (OST)
RA na EB - I
Enquadramento
Um Sistema Típico
Mundo
Real
Realidade
Aumentada
Sistema de Seguimento
( Para alinhar a
Câmara Virtual
com a Câmara Real )
Objecto
Virtual
Câmara
Virtual
Sistema
Gráfico
Imagem
Real
Imagem
Virtual
RA na EB - I
Tecnologias de Seguimento
• Tecnologias de Radiolocação / GPS
• Fraca precisão… mas aplicáveis em grandes espaços
• Tecnologias Magnéticas
• Objectos metálicos introduzem erros...(abandonada...)
• Tecnologias Ópticas
• Diodos sensíveis à luz no tecto- emissores luminosos no
HMD - algoritmo calcula deslocamentos.
• Metodologias Gráficas (Visão Computacional)
• Cálculos e transformações geométricas com base na
imagem. Só para Video See Through.
• Tecnologias Híbridas
• Tecnologia Óptica (rude) - Métodos Gráficos (fino)
• Tecnologias de radiolocação - Ópticas e Gráficas (para
grandes espaços)
RA na EB - I
Tecnologias de Apresentação
Tipo Janela Sobre o Mundo (JSM)
Realidade
Aumentada
Mundo
Real
Posição da
Câmara
Sistema
Gráfico
Imagem
Video
Objectos
Virtuais
Misturadora
de Video
Video
Aumentado
RA na EB - I
Tecnologias de Apresentação
Tipo Video See Through (VST)
Capacete de RA
Mundo
Real
Imagem
Video
Monitores
Posição da
Cabeça
Visão
do
Utilizador
Video
Aumentado
Misturadora
de Video
Objectos
Virtuais
Sistema
Gráfico
RA na EB - I
Tecnologias de Apresentação
Tipo Optical See Through (OST)
Capacete de RA
Monitores
Objectos
Virtuais
Posição da Cabeça
Mundo
Real
Lente
(Mistura Óptica)
Visão
do
Utilizador
Sistema
Gráfico
Realidade Aumentada
Mas para quê
tudo isto
RA na EB
II Acto: Onde e como se usa
• Foram identificados 8 projectos que
aplicam técnicas de RA na EB
• As areas cobertas englobam:
– Cirúrgia guiada por imagem
– Telemedicina
– Treino e planeamento cirúrgico
• Vamos ver dois dos projectos mais
detalhadamente
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
Remoção de tumores cerebrais
Uma
colaboração
entre o
Laboratório de
IA do MIT e o
Laboratório de
Planeamento
Cirúrgico
Feminino de
Brigham
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
• Objectivo:
– Suportar cirurgia guiada por imagem
• Vamos ver:
– Construção de modelos tridimensionais
– A sala de operações
– Determinação da posição do paciente
– Alinhamento espacial
– Visualização da Realidade Aumentada
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
Construção de Modelos Tridimensionais
As estruturas
anatómicas que
aparecem na RM ou
na TC são
explicitamente
extraídas ou
segmentadas antes
de serem aplicadas
no alinhamento de
superficie para
visualização 3D
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
A sala de operações
Video camera
fixa no braço
robótico e
calibrada por
laser
Controlador do
dispositivo de
seguimento
Hardware do
scanner lazer
Scanner
Laser para
determinaçã
o da posição
do paciente
Dispositivo de
seguimento
dos
instrumentos
cirúrgicos
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
Determinação da posição do paciente
A posição do
paciente na mesa de
operações é
determinada através
de triangulação por
um sistema laser.
RA na EB - II
Cirurgia Guiada por Imagem
Alinhamento espacial
O modelo 3D
obtido a partir da
RM é “projectado”
no cérebro do
paciente deitado
na sala de
operações
(MIT/Brigham Hospital)
RA na EB - II
Cirurgia Guiada por Imagem
(MIT/Brigham Hospital)
Visualização da realidade Aumentada
“Removendo a pele” do modelo tridimensional
obtido a partir da RM o cirurgião passa a dispor de
visão de raio X sobre a estrutura interna
relativamente á posição da camera de video
RA na EB - II
Telemedicina
(EURODOC / ARTMA)
Um projecto
europeu
(EURODOC)
recentemente
privatizado
(ARTMA)
sobre aplicação
de RA na
telemedicina
RA na EB - II
Telemedicina
(EURODOC / ARTMA)
• Objectivo:
– Suportar cirurgia guiada por imagem e
– Teleconsulta durante a cirúrgia
• Vamos ver:
– 2 formas de visualização da RA
– Comunicação da sala de operações com
o perito remoto
RA na EB - II
Telemedicina
(EURODOC / ARTMA)
2 formas de visualização da RA
• Com modelos 3D segmentados:
– Os modelos são construídos a partir de
RM, TAC e IVT.
– Visualizados em ecran 2D ou HMD VST
• Sobreposição directa de fatias:
– As fatias são sobrepostas directamente
no campo de visão do HMD VST
– Ou apresentadas ao lado da visão
aumentada no ecran 2D.
RA na EB - II
Telemedicina
(EURODOC / ARTMA)
Comunicação com o perito remoto
• Troca de informação pela rede (internet):
– O campo operatório é filmado por uma
camera de video
– A imagem de video é transmitida
– Os instrumentos cirúrgicos são seguidos por
sensores
– A informação de posição dos sensores é
transmitida
– O mundo aumentado é construído
remotamente.
RA na EB
III Acto - O estado actual
• Construção de modelos virtuais
– Modelos volumétricos segmentados / Modelos
pseudo-volumétricos / Modelos 2D
• Tecnologias de Seguimento
– Sistemas Magnéticos/ Sistemas Ópticos /
Sistemas Gráficos / Sistemas Híbridos
• Tecnologias de Apresentação
– Janela Sobre o Mundo (JSM) / Video See-through
(VST) / Optical See-through (OST) / em
Biomocroscópio
RA na EB - III
O estado actual
Modelos virtuais
• Modelos volumétricos segmentados
– MIT/Brigham (cirurgia guiada por imagem)
– EURODOC / ARTMA (telemedicina)
– EPIDAURE / INRIA (laparoscopia)
• Modelos pseudo-volumétricos
– UNC Ultrasound Research (biópsia dos seios):
projectando várias fatias translúcidas da ecografia
num orificio virtual conseguem uma sensação de
volumetria
• Modelos 2D
– MIT/Brigham (Ambiente de RA oftalmológico)
RA na EB - III
O estado actual
Tecnologias de seguimento
• Sistemas Magnéticos
– Nenhum
• Sistemas Ópticos
– Nenhum
• Sistemas Gráficos
– MIT/Brigham (Ambiente de RA oftalmológico)
• Sistemas Híbridos
– MIT/Brigham (CGI): ópticos/gráficos
– EURODOC / ARTMA (telemedicina): ópticos/gráficos
– EPIDAURE / INRIA (laparoscopia): ópticos/gráficos
– UNC (biópsia dos seios): magnéticos/gráficos
RA na EB - III
O estado actual
Tecnologias de apresentação
• Janela Sobre o Mundo (JSM)
– MIT/Brigham (cirurgia guiada por imagem)
– EPIDAURE / INRIA (laparoscopia)
• Biomocroscópio (JSM)
– MIT/Brigham (Ambiente de RA oftalmológico)
• Video See-through (VST)
– EURODOC / ARTMA (telemedicina)
– UNC (biópsia dos seios)
• Optical See-through (OST)
– Nenhum
RA na EB
IV Acto - Previsiveis futuros
• “A nossa visão é que todo o tipo de
informação médica será visualizada
directamente sobre o paciente, como uma
sobreposição de estruturas geradas por
computador ao mundo real”.
» Michael Truppe in EURODOC
RA na EB - IV
Previsiveis futuros
• As principais dificuldades actuais prendem-se com:
– A precisão da sincronização espacial e
temporal da imagem virtual com a real.
– O seguimento do utilizador e de objectos
que se movam na cena real.
– Construção de modelos virtuais semielásticos.
– Actualização do modelo virtual durante a
cirúrgia.
A Realidade Aumentada
Na Engenharia Biomédica:
um estado da arte
• E pronto…
• Obrigado pela vossa atenção
• Caso tenham questões a colocar
terei o maior prazer em tentar
responder.
Agradecimentos