Abordagem Híbrida para Rastreamento 3D Monocular em
Tempo Real de Objetos Planares Especulares
Projeto de Computação Gráfica
João Paulo Lima
Grupo de Pesquisa em Realidade Virtual e Multimídia
Universidade Federal de Pernambuco, Centro de Informática
www.cin.ufpe.br/~jpsml/cg
Agenda
Motivação
Metodologia
Resultados Parciais
Próximos Passos
www.cin.ufpe.br/~jpsml/cg
Motivação
Determinar posição e orientação de um
objeto em tempo real
Perda de informação devido à reflexão
www.cin.ufpe.br/~jpsml/cg
Metodologia
Rastreamento baseado em modelo
Abordagem híbrida
Por detecção + Recursivo
Textura + Aresta
Em objetos especulares:
Rastreamento baseado em textura
Se falhar, rastreamento baseado em aresta
Última pose como estimativa
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Texture Based
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Edge Based
Determinar partes visíveis das arestas do
modelo projetado com pose anterior
Extensão de OpenGL
GL_ARB_occlusion_query
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Edge Based
Amostragem das arestas visíveis
projetadas
Pontos de controle
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Edge Based
Para cada ponto de controle
Ponto correspondente no gradiente da
imagem
Algoritmo Moving Edges (ME)
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Edge Based
Cálculo da pose
Minimização do erro de reprojeção
Levenberg-Marquardt
err   Tuk (( pi , qi ))
i
( pi , qi )  (qi  pi )  (ni )
www.cin.ufpe.br/~jpsml/cg
Metodologia :: Bibliotecas
VXL (Vision-something-Libraries)
ViSP (Visual Servoing Platform)
OpenGL
www.cin.ufpe.br/~jpsml/cg
Resultados Parciais
www.cin.ufpe.br/~jpsml/cg
Próximos Passos
Melhorar técnica baseada em aresta
Aplicação de RA baseada em aresta
Integrar com rastreamento por detecção
Aplicação de RA com técnica híbrida
www.cin.ufpe.br/~jpsml/cg
Referências
I. Gordon e D. G. Lowe, “What and Where: 3D Object Recognition
with Accurate Pose”, University of British Columbia
A. Comport, E. Marchand, M. Pressigout, and F. Chaumette.
“Realtime markerless tracking for augmented reality: the virtual
visual servoing framework”. LAGADIC.
V. Lepetit e P. Fua, “Monocular Model-Based 3D Tracking of Rigid
Objects: A Survey”, CVLAB
VXL, http://vxl.sourceforge.net/
ViSP, http://www.irisa.fr/lagadic/visp
OpenGL, http://www.khronos.org/opengl/
www.cin.ufpe.br/~jpsml/cg