Exame de Proposta de Dissertação de Mestrado Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades Implementation of Optical Tracking Device with 6 Degree of Freedom Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo Exame de Proposta de Dissertação de Mestrado Motivação Tem se dispositivos usados para permitir ao usuário uma interação com um cenário virtual. Os dispositivos baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas. Procura se um dispositivo que permita melhorar flexibilidade em referencia aos movimentos naturais que o usuário quisera fazer. Exame de Proposta de Dissertação de Mestrado Objetivo A Implementação de um dispositivo de rastreamento óptico para a detecção do movimento de um grupo de marcadores em seus 6 graus de liberdade. A Implementação deve detectar e mostrar na tela as translações (3 graus de liberdade ) e rotações (3 graus de liberdade) feitas pelo grupo de marcadores. Exame de Proposta de Dissertação de Mestrado Tópicos Chave Captura e processamento da Imagem. Calibração de câmeras. Reconhecimento de formas. Correlação entre marcadores. Reconstrução da posição 3D de cada marcador. Exame de Proposta de Dissertação de Mestrado Equipamento Utilizado Para a implementação se utilizara 3 câmeras web, CCD e CMOS. E marcadores esféricos. Exame de Proposta de Dissertação de Mestrado Pipeline (Seqüência de Trabalho) Captura da Imagem. Processamento da imagem. Reconhecimento e identificação de pontos de referencia para calibração das câmeras. Calibração das câmeras. Detecção dos marcadores dentro das imagens capturadas. Exame de Proposta de Dissertação de Mestrado Pipeline (Seqüência de Trabalho) Correlação entre os marcadores detectados nas diferentes imagens capturadas. Reconstrução 3D dos marcadores detectados. Seguimento e detecção dos movimentos do grupo de marcadores. Exame de Proposta de Dissertação de Mestrado Captura das Imagens O primeiro passo é a captura das imagens de vídeo dos dispositivos. Exame de Proposta de Dissertação de Mestrado Processamento das imagens Aplicação de filtros sobre as imagens com a finalidade de deixar só a informação relevante para nossa implementação. Grey Scale Inversão Gaussiano Threshold Exame de Proposta de Dissertação de Mestrado Reconhecimento de Pontos para Calibração A partir de pontos de referencia se faz a calibração das 3 câmeras web em relação a um único mundo de referencia. Exame de Proposta de Dissertação de Mestrado Calibração da Câmeras Se calibrara as câmeras a partir dos pontos de referencia. Para a calibração das câmeras se utilizara o método TSAI 3D noncoplanar. v Yw(mm) Xw(mm) Zw(mm) Pixels u Exame de Proposta de Dissertação de Mestrado Detecção de Marcadores Aqui aplicaremos filtros sobre as imagens para extrair a informação que precisamos sobre os marcadores. Se utilizo a extração de contornos para a detecção dos marcadores. Exame de Proposta de Dissertação de Mestrado Correlação dos Marcadores Uma vez detectados os marcadores , se fará a correlação dos mesmos entre as 3 imagens capturadas. Se utilizara a geometria epipolar para implementação desta etapa. ? 2 1 2 1 3 4 Intuitivo 3 4 Precisa se criar estratégias de correlação Exame de Proposta de Dissertação de Mestrado Reconstrução dos Marcadores A partir da correlação dos marcadores , se utilizará esta informação para obter a posição 3D de cada marcador. Exame de Proposta de Dissertação de Mestrado Reconstrução A reconstrução será feita em relação as coordenadas câmera, duma das 3 três utilizadas na implementação.(Câmera Pivô) Pl Câmera Pivô Pr l xcl zcl r ycl ycr pl xcr Ol zcr R pr T Pl R(Pr T) ycr xcr Or zcr Exame de Proposta de Dissertação de Mestrado Estado Atual Aqui mostramos um vídeo onde se faz a reconstrução de um marcador e se mostra os movimentos de translação que faz. Exame de Proposta de Dissertação de Mestrado Estrutura da Dissertação Introdução Trabalhos relacionados Sistema de captura Extração de marcadores Calibração de câmeras Correlação entre marcadores Reconstrução 3D Uma aplicação típica e resultados Conclusões e trabalhos futuros Exame de Proposta de Dissertação de Mestrado Cronograma Tarefa Agosto Implementação Captura e Processamento da Imagem Implementação Reconhecimento dos Marcadores e Pontos de Calibração Implementação Correlação de Marcadores (Calculo Matrizes Fundamentais, Linhas Epipolares ) Implementação Algoritmo de Reconstrução Implementação Heurísticas para os movimentos de Translação e Rotação dos marcadores Testes e correções Documentação Setembro Outubro Novembro Dezembro Janeiro Fevereiro Exame de Proposta de Dissertação de Mestrado Finalização da Proposta Como se mostro até agora, se fez a reconstrução de um marcador podendo definir o movimento de translação que ele faz. Para a defesa da dissertação de mestrado se implementará o seguimento das rotações feitas pelo grupo de marcadores mostrando numa aplicação mais completa esta tarefa. Exame de Proposta de Dissertação de Mestrado Definição do método de Reconstrução f l s lx w l u l w v 0 l l w l 0 f r srx wr ur w v 0 r r wr 0 0 fl o lx s ly o ly 0 1 0 ox fr 0 sry oy 1 0 X l Y 0 l Zl 0 1 Xl 1 wl ul p l w v p 2 Yl l Z l l 3 wl p l l 1 0 X r Y 0 r Zr 0 1 f r 0 o x 0 Xr s w u rx r r Yr fr w v 0 o 0 R T r r sry y Zr wr 0 0 1 0 1 Xl 1 wr ur p r w v p 2 Yl r Z r r 3 wr p r l 1 Exame de Proposta de Dissertação de Mestrado Definição do método de Reconstrução Xl 1 wl ul p wl ul p l Pl 0 w v p Yl w v p 2 P 0 l l Z l l l l wl p l wl p 3l Pl 0 1 p P u p P 0 p u p P 0 p P v p P 0 p v p P 0 Xl 1 1 wr ur p r wr ur p r Pl 0 w v p 2 Yl w v p 2 P 0 r r r Z r r r l wr p 3r l wr p 3r Pl 0 1 p P u p P 0 p u p P 0 p P v p P 0 p v p P 0 1 l 2 l 3 l p p p p 1 l 2 l 1 r r 2 ul vl ur vr l X l 0 3 Y 0 l l 3 Zl 0 r 0 3 1 r p p p p 3 l l 3 l l 3 r l 3 r l l 1 l l 2 l r 1 r r 2 r 3 B 4x4 l l 3 l l 1 l l 3 l l 2 l l l 3 r r 1 r l l 3 r r 2 r l p p p p 1 l 2 l 1 r r 2 ul vl ur vr l 3 l 3 r 3 r 4x4 p p p p 3