Exame de Proposta de Dissertação de Mestrado
Implementação de um dispositivo de
rastreamento Óptico com 6 graus de
liberdades
Implementation of Optical Tracking Device
with 6 Degree of Freedom
Manuel Eduardo Loaiza Fernández
Orientador: Prof. Marcelo Gattass
Co - Orientador: Prof. Alberto Barbosa Raposo
Exame de Proposta de Dissertação de Mestrado
Motivação
Tem se dispositivos usados para
permitir ao usuário uma interação
com um cenário virtual.
Os dispositivos baseados em
diferentes tecnologias: sonoras,
magnéticas, mecânicas, ópticas.
Procura se um dispositivo que
permita melhorar flexibilidade em
referencia aos movimentos naturais
que o usuário quisera fazer.
Exame de Proposta de Dissertação de Mestrado
Objetivo
A Implementação de um dispositivo de
rastreamento óptico para a detecção do
movimento de um grupo de marcadores
em seus 6 graus de liberdade.
A Implementação deve detectar e mostrar na tela as translações
(3 graus de liberdade ) e rotações (3 graus de liberdade) feitas
pelo grupo de marcadores.
Exame de Proposta de Dissertação de Mestrado
Tópicos Chave
Captura e processamento da Imagem.
Calibração de câmeras.
Reconhecimento de formas.
Correlação entre marcadores.
Reconstrução da posição 3D de cada marcador.
Exame de Proposta de Dissertação de Mestrado
Equipamento Utilizado
Para a
implementação se
utilizara 3 câmeras
web, CCD e CMOS.
E marcadores
esféricos.
Exame de Proposta de Dissertação de Mestrado
Pipeline (Seqüência de Trabalho)
Captura da Imagem.
Processamento da imagem.
Reconhecimento e identificação de pontos de
referencia para calibração das câmeras.
Calibração das câmeras.
Detecção dos marcadores dentro das imagens
capturadas.
Exame de Proposta de Dissertação de Mestrado
Pipeline (Seqüência de Trabalho)
Correlação entre os marcadores detectados nas
diferentes imagens capturadas.
Reconstrução 3D dos marcadores detectados.
Seguimento e detecção dos movimentos do
grupo de marcadores.
Exame de Proposta de Dissertação de Mestrado
Captura das Imagens
O primeiro passo é a captura das imagens de
vídeo dos dispositivos.
Exame de Proposta de Dissertação de Mestrado
Processamento das imagens
Aplicação de filtros sobre as imagens com a
finalidade de deixar só a informação relevante
para nossa implementação.
Grey Scale
Inversão
Gaussiano
Threshold
Exame de Proposta de Dissertação de Mestrado
Reconhecimento de Pontos para
Calibração
A partir de pontos de referencia se faz a
calibração das 3 câmeras web em relação a
um único mundo de referencia.
Exame de Proposta de Dissertação de Mestrado
Calibração da Câmeras
Se calibrara as câmeras a partir dos pontos de
referencia.
Para a calibração das câmeras se utilizara o
método TSAI 3D noncoplanar.
v
Yw(mm)
Xw(mm)
Zw(mm)
Pixels
u
Exame de Proposta de Dissertação de Mestrado
Detecção de Marcadores
Aqui aplicaremos filtros sobre as imagens para
extrair a informação que precisamos sobre os
marcadores.
Se utilizo a extração de contornos para a
detecção dos marcadores.
Exame de Proposta de Dissertação de Mestrado
Correlação dos Marcadores
Uma vez detectados os marcadores , se fará a
correlação dos mesmos entre as 3 imagens
capturadas.
Se utilizara a geometria epipolar para
implementação desta etapa.
?
2
1
2
1
3
4
Intuitivo
3
4
Precisa se criar estratégias
de correlação
Exame de Proposta de Dissertação de Mestrado
Reconstrução dos Marcadores
A partir da correlação dos marcadores , se
utilizará esta informação para obter a posição
3D de cada marcador.
Exame de Proposta de Dissertação de Mestrado
Reconstrução
A reconstrução será feita em relação as
coordenadas câmera, duma das 3 três utilizadas
na implementação.(Câmera Pivô)
Pl
Câmera Pivô
Pr
l
xcl
zcl
r
ycl ycr pl
xcr
Ol
zcr
R
pr
T
Pl  R(Pr  T)
ycr
xcr
Or
zcr
Exame de Proposta de Dissertação de Mestrado
Estado Atual
Aqui mostramos um vídeo onde se faz
a reconstrução de um marcador e se
mostra os movimentos de translação
que faz.
Exame de Proposta de Dissertação de Mestrado
Estrutura da Dissertação
Introdução
Trabalhos relacionados
Sistema de captura




Extração de marcadores
Calibração de câmeras
Correlação entre marcadores
Reconstrução 3D
Uma aplicação típica e resultados
Conclusões e trabalhos futuros
Exame de Proposta de Dissertação de Mestrado
Cronograma
Tarefa
Agosto
Implementação Captura e
Processamento da Imagem
Implementação Reconhecimento
dos Marcadores e Pontos de
Calibração
Implementação Correlação de
Marcadores
(Calculo Matrizes Fundamentais,
Linhas Epipolares )
Implementação Algoritmo de
Reconstrução
Implementação Heurísticas para os
movimentos de Translação e
Rotação dos marcadores
Testes e correções
Documentação
Setembro
Outubro
Novembro
Dezembro
Janeiro
Fevereiro
Exame de Proposta de Dissertação de Mestrado
Finalização da Proposta
Como se mostro até agora, se fez a
reconstrução de um marcador podendo
definir o movimento de translação que ele
faz.
Para a defesa da dissertação de mestrado
se implementará o seguimento das
rotações feitas pelo grupo de marcadores
mostrando numa aplicação mais completa
esta tarefa.
Exame de Proposta de Dissertação de Mestrado
Definição do método de Reconstrução
 f l
s lx
w l u l  
w v    0
 l l 
 w l   0


 f r
srx
 wr ur  
w v    0
 r r 
 wr   0


0
 fl
o lx
s ly
o ly
0
1
0
ox
 fr
0
sry
oy
1
0  X l 
 
Y 
0  l 
  Zl 
0  1 
 
 Xl 
1


 wl ul  p l   
 w v   p 2   Yl 
l
Z 
 l l 
3
 wl  p l   l 
1
0  X r 
 
Y 
0  r 
  Zr 
0  1 
 
 f r
0
o x 0
 Xr 
s


 
w
u
rx
 r r

 Yr 
 fr
w v    0
o 0 R T 
 r r 
sry y 
Zr



 wr   0
0
1
0




1
 


 Xl 
1


 wr ur  p r   
 w v    p 2   Yl 
r
Z 
 r r 
3
 wr  p r   l 
 1
Exame de Proposta de Dissertação de Mestrado
Definição do método de Reconstrução
 Xl 
1
 wl ul  p    wl ul  p l  Pl  0
 w v   p   Yl  w v  p 2  P  0
l
l
Z  l l
 l l 
 wl  p   l  wl  p 3l  Pl  0
1
p  P u  p  P  0 p u  p  P  0
p  P v  p  P  0 p v  p  P  0
 Xl 
1
1


 wr ur  p r    wr ur  p r  Pl  0
 w v   p 2   Yl  w v  p 2  P  0
 r r  r Z  r r r l
 wr  p 3r   l  wr  p 3r  Pl  0
1
p  P u  p  P  0 p u  p  P  0
p  P v  p  P  0 p v  p  P  0
1
l
2
l
3
l








p
p
p
p
1
l
2
l
1
r
r
2
 ul
 vl
 ur
 vr

l  X l 
0
3 
  

Y
0
l  l 

3 
 Zl   0 
  
r 

 0
3  1 
 

r 

p
p
p
p
3
l
l
3
l
l
3
r
l
3
r
l
l
1
l
l
2
l
r
1
r
r
2
r
3
B
4x4








l
l
3
l l
1
l
l
3
l l
2
l
l
l
3
r r
1
r
l
l
3
r r
2
r
l
p
p
p
p
1
l
2
l
1
r
r
2
 ul
 vl
 ur
 vr

l 
3

l 
3

r 
3

r 
 4x4
p
p
p
p
3