Colaboração Móvel com
Realidade Aumentada
Thiago M. Witt
[email protected]
1
Thiago M. Witt - MAC5743 - 2004
Agenda




Augmented Reality
Aplicações
Problemas
Projetos
–
–
–
–
–
2
–
OCAR (Outdoor Collaborative AR)
SignPost 2
MARS
ETALA
Human Pacman
Outros Projetos
Thiago M. Witt - MAC5743 - 2004
Augmented Reality



3
Enriquecimento da visão do mundo real
percebida pelo usuário através da adição de
elementos virtuais à imagem.
Estes elementos virtuais de alguma forma
aumentam a cena real com informações
adicionais
Exemplos famosos: Robocop, Top Gun
Thiago M. Witt - MAC5743 - 2004
Augmented Reality (cont)
4
Thiago M. Witt - MAC5743 - 2004
Augmented Reality (cont)

Equipamento geralmente consiste em um
wearable computer com:
–
–
–
–
5
Capacete com display “see-through” (Head
mounted display, ou HMD), câmera de vídeo e
sensores de movimento e direção.
Mochila com central de processamento e
renderização, sensores de posicionamento,
interface wireless, baterias.
Dispositivo para interação com o sistema
Também existem projetos de AR utilizando
apenas handhelds com câmera
Thiago M. Witt - MAC5743 - 2004
Augmented Reality (cont)
6
Thiago M. Witt - MAC5743 - 2004
Aplicações




7
Navegação em geral
Visualização de informações sobre
elementos sendo observados (Ex:
construções / exposições)
Colaboração entre unidade móvel com AR e
unidade fixa (pesquisa de campo,
campanhas militares)
Jogos e entretenimento
Thiago M. Witt - MAC5743 - 2004
Problemas





8
Sincronização espacial entre o mundo real e
virtual
Rastreamento dos movimentos do usuário
Processamento de imagem
Alto custo do equipamento
Nada bonito de se ver (nem confortável)
Thiago M. Witt - MAC5743 - 2004
OCAR (Outdoor Collaborative AR)



9
Interactive Media Systems Group,
Vienna University of Technology, Austria
Sistema de navegação pela cidade de
Vienna
Investiga como dois ou mais usuários podem
interagir em tarefas como navegação e
acesso a informações em ambientes outdoor
com realidade aumentada.
Thiago M. Witt - MAC5743 - 2004
OCAR (Outdoor Collaborative AR)

10
Ajuda o pedestre a
navegar pela cidade
apresentando pontos
de referência artificiais
conduzindo-o ao
destino desejado.
Thiago M. Witt - MAC5743 - 2004
OCAR (Outdoor Collaborative AR)


11
Algumas construções
possuem informações
associadas que podem
ser acessadas a
qualquer momento.
É possível criar
anotações pessoais
nas construções
Thiago M. Witt - MAC5743 - 2004
OCAR (Outdoor Collaborative AR)

Pesquisas para colaboração entre os
usuários incluem:
–
–
–
12
Possibilidade de seguir outros usuários
Estabelecer e encontrar pontos de encontro
Uso de displays compartilhados para troca de
informações
Thiago M. Witt - MAC5743 - 2004
OCAR (Outdoor Collaborative AR)

Hardware usado
–
–
–
–
–
–
–
–
13
GPS Diferencial
Sensor de inércia
2 sensores InterTrax2 para
monitorar a orientação do
corpo e da cabeça
Um pequeno painel preso
ao pulso, para
apresentação 2D
Display “see-through”
Câmera VGA Firewire
Wireless LAN
Laptop Dell + placa 3D
Thiago M. Witt - MAC5743 - 2004
SignPost 2




14
Desenvolvido pela mesma equipe do OCAR
Sistema de navegação In-Door
Visa facilitar a navegação do usuário por um
prédio desconhecido
Usuário informa a posição atual e o destino e
o sistema o guia pelos corredores
Thiago M. Witt - MAC5743 - 2004
SignPost 2



15
O sistema calcula o menor caminho entre a posição
atual e o destino desejado e orienta o usuário
usando setas e realce das portas a serem usadas.
Um modelo em miniatura do prédio mostrando a
localização do usuário pode ser exibido para facilitar
a navegação
Como neste caso não é possível confiar apenas em
GPS para manter a posição do usuário atualizada,
são utilizados símbolos especiais nas paredes em
todo o prédio a cada 4 metros
Thiago M. Witt - MAC5743 - 2004
SignPost 2

As imagens capturadas pela câmera são
processadas e os símbolos nas paredes são
reconhecidos, possibilitando a identificação da
posição atual do usuário no prédio.
–
–

16
A localização de todos os símbolos naturalmente deve estar
pré-cadastrada no sistema.
Reaproveitamento de símbolos é feito de maneira
semelhante ao reaproveitamento de canais de transmissão
de rádio.
As mudanças bruscas de orientação do usuário são
detectadas com o sensor de inércia
Thiago M. Witt - MAC5743 - 2004
SignPost 2
17
Thiago M. Witt - MAC5743 - 2004
SignPost 2

O sistema é composto por 4 sub-aplicações:
–
BAU (Building AUgmentation)

–
AUG (AUGmentation)

–
Cria o modelo em miniatura do prédio com a posição
atual do usuário
NAV (NAVigation)

18
Aumenta a cena real com o modelo virtual do prédio
WIM (World In Miniature)

–
Rastreamento do usuário, geometria do prédio
Responsável por gerar o percurso e orientar o usuário
com setas e indicações
Thiago M. Witt - MAC5743 - 2004
SignPost 2
BAU


19
Interação usando o PIP (personal interaction panel)
Não detecta sozinho a posição inicial
Thiago M. Witt - MAC5743 - 2004
SignPost 2 - AUG
20
Thiago M. Witt - MAC5743 - 2004
SignPost 2 - WIM
21
Thiago M. Witt - MAC5743 - 2004
SignPost 2 - NAV
22
Thiago M. Witt - MAC5743 - 2004
SignPost 2

Problemas
–
–
23
Para um bom funcionamento, é necessário uma
alta densidade de marcadores nas paredes
O usuário tem que informar sua posição ao iniciar
o uso do sistema
Thiago M. Witt - MAC5743 - 2004
MARS



24
Mobile Augmented Reality Systems
Columbia University Computer Graphics and
User Interfaces Lab
Em desenvolvimento desde 1996
Thiago M. Witt - MAC5743 - 2004
MARS

Objetivos principais
–
–
–
25
Identificar tarefas genéricas que um usuário
móvel gostaria de executar usando um sistema
sensível a contexto
Desenvolver componentes de interface gráfica
reutilizáveis para aplicações de realidade
aumentada
Combinar diferentes tecnologias de display como
palmtops e óculos “see-through”
Thiago M. Witt - MAC5743 - 2004
MARS

Dividido em 4 sub-projetos
–
–
–
–
26
Touring Machine
Mobile Journalist's Workstation
UIs for Indoor/Outdoor Collaboration
The MARS Authoring Tool
Thiago M. Witt - MAC5743 - 2004
MARS

Touring Machine
–
–
–
–
27
Semelhante ao projeto OCAR
Guia usuário pelo campus da universidade
Permite associar conteúdo texto aos
monumentos e construções
Envia URLs para o browser do palmtop
Thiago M. Witt - MAC5743 - 2004
MARS
Touring Machine
28
Thiago M. Witt - MAC5743 - 2004
MARS

Mobile Journalist's Workstation
–
–
–
–
29
Estende o Touring Machine
Permite associar conteúdo multimídia às
construções como imagem, som e vídeo
Conteúdos de diferentes construções podem ser
linkados entre si
Conteúdos podem ser presos ao display ou fixos
no mundo
Thiago M. Witt - MAC5743 - 2004
MARS
30
Thiago M. Witt - MAC5743 - 2004
MARS

UIs for Indoor/Outdoor Collaboration
–
–
–
31
Permite que um usuário móvel seja monitorado
ou guiado por alguém remotamente
Usuário móvel pode relatar suas observações
para os usuários indoor
Todas as interfaces utilizam o mesmo repositório
compartilhado de informações sobre o campus
Thiago M. Witt - MAC5743 - 2004
MARS
32
Thiago M. Witt - MAC5743 - 2004
MARS

The MARS Authoring Tool
–
–
–
33
Ferramenta de criação de conteúdo hypermedia
para o ambiente MARS
Desenvolvido usando Java3D
Permite a criação de uma narrativa envolvendo
múltiplas mídias e hyperlinks para narrativas de
outros elementos do ambiente
Thiago M. Witt - MAC5743 - 2004
MARS
34
Thiago M. Witt - MAC5743 - 2004
MARS

Hardware usado
–
–
–
–
–
–
–
35
Laptop com aceleração 3D
GPS+GLONASS
See-through display
Sensor de orientação
WLAN (802.11a/b)
Handheld com um trackpad
no verso para manipulação
do cursor
Não utiliza câmera
Thiago M. Witt - MAC5743 - 2004
ETALA



36
Helsinki University of Technology, Finland
Provê um meio de comunicação entre um
especialista e uma equipe de manutenção
trabalhando num local remoto.
Unidade móvel no local de manutenção é
controlada pelo especialista através do
mouse, joystick ou sensor de orientação
HMD (Head mounted display)
Thiago M. Witt - MAC5743 - 2004
ETALA

Features
–
–
–
–
–
–
37
–
Comunicação por voz com a equipe
Modelo virtual do sistema ou serviço a ser
reparado
Realidade aumentada do modelo virtual sobre o
sistema real, com informações sobre o modelo
Controle remoto da câmera no local de
manutenção
Visão estéreo do local remoto usando o HMD
Dispositivo apontador laser na unidade remota
Transferência de arquivos
Thiago M. Witt - MAC5743 - 2004
ETALA
38
Thiago M. Witt - MAC5743 - 2004
ETALA

Hardware – Unidade remota
–
–
–

Hardware – Operadores
remotos
–
–
–
39
Duas câmeras + laser
pointer
Suporte para movimento da
câmera
Laptop com WLAN
Computador preso ao cinto
com mouse
Um HMD com microfone e
fones de ouvido
Mini-câmera
Thiago M. Witt - MAC5743 - 2004
ETALA

Hardware – Especialista
–
–
–
–
40
Desktop com 2 placas 3D para visualização
estéreo
HMD com sensor de orientação (opcional)
Joystick (opcional)
Internet
Thiago M. Witt - MAC5743 - 2004
Human Pacman




41
Mixed Reality Lab, National University of
Singapore
Financiado pelos militares
Traz o famoso jogo dos anos 80 para as ruas
do campus
Apenas um dos vários projetos envolvendo
realidade aumentada do grupo
Thiago M. Witt - MAC5743 - 2004
Human Pacman





42
Jogadores incorporam os “personagens”
pacman e fantasma
O mapa das ruas do campus vira o mapa do
jogo
Biscoitos virtuais aparecem nas ruas e são
coletados ao se passar por eles
Power-ups são dispositivos reais que podem
ser coletados ao segurá-los
Fantasmas pegam o pacman segurando seu
ombro
Thiago M. Witt - MAC5743 - 2004
Human Pacman


43
Jogadores podem se comunicar
Ajudantes usando desktops podem ter uma
visão geral do mapa e guiar os jogadores em
tempo real
Thiago M. Witt - MAC5743 - 2004
Human Pacman
44
Thiago M. Witt - MAC5743 - 2004
Human Pacman
45
Thiago M. Witt - MAC5743 - 2004
Human Pacman
46
Thiago M. Witt - MAC5743 - 2004
Human Pacman
47
Thiago M. Witt - MAC5743 - 2004
Outros Projetos

Mixed Reality Lab
–
–
–




48
Magic Cubes
3D Live
Touch-Space
ARQuake
UNC Ultrasound Augmented Reality Research
TransVision
The Invisible Train
Thiago M. Witt - MAC5743 - 2004
ARQuake
49
Thiago M. Witt - MAC5743 - 2004
Magic Cubes
50
Thiago M. Witt - MAC5743 - 2004
Invisible Train
51
Thiago M. Witt - MAC5743 - 2004
Referências

Mixed Research Lab
–

Studierstube Augmented Reality Project
–

http://wearables.unisa.edu.au/projects/ARQuake/www/index.html
Tinmith Project
–
52
http://www.automation.hut.fi/etala/
ARQuake
–

http://www1.cs.columbia.edu/graphics/projects/mars/mars.html
ETALA
–

http://studierstube.org/research_master.php
MARS
–

http://mixedreality.nus.edu.sg/RESEARCH.HTM
http://www.tinmith.net/tinmith.htm
Thiago M. Witt - MAC5743 - 2004