HYBRIDDESK - UMA INTERFACE
HÍBRIDA EM UM SISTEMA SEMIIMERSIVO DE DESKTOP
Felipe Carvalho
PUC-Rio
GUIS – CONVERGÊNCIA DE INTERFACES

WIMPs & 3DUIs ->Desktop
Wimp – 2DUI
DeskTop
3DUIs
Timeline
ESPECTRO DE INTERFACES
MASSO, J. P. M.. A Structured Approach to the Development of 3D User Interfaces. PhD thesis,
ALBACETE, ES, 2008. Adviser-Pascual Gonzalez Lopez.
ARRANJO TECNOLOGICO

WIMP (2DUI)


Mouse, Teclado e Monitor.
3DUI

????
ARRANJO TECNOLOGICO – 3DUI
Arranjo Genérico??
 Definição de Arranjos Direcionados as Tarefas 3D

Estudo da relação das tarefas 3D e as propriedades
dos dispositivos de entrada e saida (displays);
 Identificação de triplas do tipo (Dispositivo de
Entrada, Display, Técnica de Interação 3D) que
estejam de acordo com o arranjo tecnológico;


Congruência Dimensional

“a condição aonde a demanda espacial de uma tarefa
está diretamente de acordo com a técnica de interação
que é usada para executá-la“
DARKEN, R.; DUROST, R.. Mixed-dimension interaction in virtual environments.
In: VRST'05, p. 38{45. ACM, 2005.
PROPRIEDADES

DOS
DISPOSITIVOS
Displays:











Cor, Brilho e Contraste;
Resolução Espacial;
Field of View – FOV;
Field of Regard – FOR;
Geometria;
Refresh Rate;
Opacidade (Real World Occlusion);
Masking;
Light Transfer;
Ergonomia;
Latência Gráfica;
PROPRIEDADES

DOS
DISPOSITIVOS
Input
Graus de Liberdade (Degree of Freedom);
 Tipo de Dado (Discreto/Continuo);
 Affordances;
 Ergonomia;

TAREFAS 3D & DISPLAYS
A maioria das técnicas de interação 3D ( em
ambientes imersivos) foram criadas e desenvolvidas
para HMDs;
 Predominância de avaliações usando HMDs;
 Conclusões relativas as propriedades dos HMDS


Fov pequeno, FOR de 360, obstrução do mundo real,
problemas de ergonomia (peso, presença de cabos, etc);
TAREFAS 3D & DISPLAYS

Dada a redução de custos de equipamentos, a
aquisição principalmente de soluções baseadas
em projeções ficou mais viável. Isto está
resultando em estudos com avaliações mais
diversificadas:
Comparação da realização de uma tarefa de interação
em displays diferentes;
 Impacto na migração de um técnica de interação 3D
do seu display primário para outro;
 HMD x CAVE;
 Monitor x CAVE x HMD
 Projeção Simples X CAVE X Monitor

TAREFAS 3D & DISPLAYS
TAREFAS 3D & DISPLAYS

Conclusões parciais:

Displays fisicamente maiores com FOV e FOR
elevados:
estímulos visuais vindos tanto da visão focal quanto da
periférica
 Inspeção e análise das relações espaciais entre vários
objetos;
 Seleção: maior espaço visual de busca instantaneo;
 Navegação: noção de localização no espaço virtual (spatial
awareness) - ajuda na criação de mapas mentais.
 Manipulação a Distância: Como o espaço visual é maior,
este tipo de tarefa tem beneficios dada a não necessidade de
movimentos precisos (translações grandes sem a nessidade
de posicionamentos exatos).

TAREFAS 3D & DISPLAYS

Conclusões parciais:

FOV pequeno + Nitidez, Resolução e Brilho:


Tamanho do objeto sendo manipulado: preferência por
objetos proporcionamente menores ao corpo do usuário;


Manipulação Local: As tarefas de manipulação local mostraram
uma concentração direcionada a uma área de visão reduzida,
coincidindo com a visão focal, o que fez especular uma
necessidade pequena da visão periférica. Outros aspectos como
nitidez, brilho e resolução passaram a ter importancia
principalmente na avaliação de detalhes nos objetos durante
manipulações;
Objetos ao alcance das mãos? Reaching displays?
Preferência por dispositivos 6-DOF em tarefas de
manipulação. Apesar dos dispositivos ainda não
apresentarem precisão elevada, eles ainda sim
propiciam movimentos que os feitos durante
manipulações com objetos reais;
INTERFACES DE TRANSIÇÃO
Tarefas RV
(Selection, Manipulation,
Navigation)
INTERFACES DE TRANSIÇÃO

Interfaces responsáveis por um caminhar
uniforme ao longo de um espectro de interfaces;

MagicBook
INTERFACES DE TRANSIÇÃO

Iniciativas para a formalização de um modelo
conceitual;
GRASSET, R.; LOOSER, J. ; BILLINGHURST, M.. Transitional interface: concept, issues and framework. In: ISMAR, p.
231{232.IEEE, 2006.
ANOTAÇÃO 3D
O acesso às informações em um ambiente virtual 3D
não necessariamente estão restritas à visualização
dos objetos 3D;
 Uma anotação é uma nota posicionada em algum
lugar do mundo para explicar, questionar, ou revisar
algum aspecto dele.
 Por meio de associações de
arquivos que estão no desktop

Aproveitamento do
conhecimento dos usuários
no ambiente Windows.

ANOTAÇÃO 3D & INTERFACES DE
TRANSIÇÃO

Pode ser interpretada como uma tarefa contendo
tanto elementos simbólicos (informações como
textos) comumente encontradas em intefaces 2D,
e elementos gráficos encontrados em interfaces
3D.

Realização através de diferentes interfaces interligadas;
ANOTAÇÃO 3D & INTERFACES DE
TRANSIÇÃO

Diferentes interfaces com diferentes arranjos
tecnológicos
WIMP + Manipulação + Navegação
 Integração? Hybrid User Interfaces- HUI?


O termo HUI foi inicialmente abordado como
sendo caracterizado por um ambiente
heterogêneo, rico em técnicas de interação, com
dispositivos de diversas modalidades sendo
utilizados de forma complementar.
HYBRID USER INTERFACES
HUI & INTERFACES DE TRANSIÇÃO
Falta de critérios para conduzir a elaboração de
um protótipo;
 Aspectos da Continuidade e Congruência
Dimensional como formas de guiar a fase de
design de uma HUI?

Continuidade??
 Como, aonde e quando uma informação será enviada
para o usuário (Propriedade Perceptiva) refletirá o
nível de compreensão durante o processo de
interpretação dela (Propriedade Cognitiva) e o quão
natural será o processo de interação (Propriedade
Funcional).
ISHII, H.; KOBAYASHI,
M. ; ARITA, K.. Iterative design of seamless collaboration media. Commun. ACM, 37(8):83{97, 1994.

DUBOIS, E.; NIGAY, L. ; TROCCAZ, J.. Consistency in augmented reality systems. In: Little, M. R.; Nigay, L., editors,
CONFERENCE PROCEEDINGS OF EHCI'2001, p. 111{122, Toronto, Canada, 2001.`Springer Verlag.
TREVISAN, D. G.. Designing smooth connections between worlds. In: EXTENDED ABSTRACTS OF THE 2004
CONFERENCE ON HUMAN FACTORS AND COMPUTING SYSTEMS CHI2004, SESSION DOCTORAL
CONSORTIUM, p. 1043{1044. ACM Press, 2004.
HYBRIDDESK

Protótipo Inicial
HYBRIDDESK

Protótipo Atual
HYBRIDDESK

Fase – Design

Arranjo Tecnológico
MiniCave
 LCD Monitor
 Tracker Ótico
 Mouse e Teclado
 Wand
 Head-Tracking

HYBRIDDESK

Ambientes de Interação

VR-Nav : Para Navegação e Seleção 3D;
MiniCave + Wand + Óculos
 Interações: “Grabing the air” + Locomoção por
direcionamento utilizando as teclas de navegação da Wand
+ Seleção por Raycasting;

HYBRIDDESK

Ambientes de Interação

VR-Manip : Para Manipulação Local de Objetos no
sentido de análisa-los (não há alteração da posição do
objeto no cenário 3D) e posicionamento de anotações;
LCD + Wand + Óculos
 Interações: “physical props” (associação direta dos
movimentos da Wand) + Ícone 3D + force feedback;

Ícone 3D
HYBRIDDESK

Ambientes de Interação

WIMP: Windows XP
Mouse+Teclado+LCD+MiniCave;
 Interações convencionais do Windows XP;

HYBRIDDESK

Transições - Condições
HYBRIDDESK

Continuidade
HYBRIDDESK

Modelo de Transições
AVALIAÇÃO

Objetivo
Avaliar Transições entre os ambientes;
 Estudo exploratório sobre a influência das decisões
na fase de design (Continuidade e Congruência);


Cenário Virtual do Experimento


Aparatus


Tarefa de anotação em uma Plataforma Virtual de
Petróleo;
HybridDesk (VR-Nav, VR-Manip e WIMP)
Participantes

Os usuários que realizaram o experimento foram indíviduos entre 20 e
40 anos de idade do sexo masculino, todos com certa experiência em
realidade virtual, totalizando 7 indivíduos. (Paricipação adicional de
um usuário “expert” na avaliação de performance do sistema)
AVALIAÇÃO

Procedimento





Termo de compromisso e questionário de perfil;
Treinamento durante 10 minutos;
Teste – Tempo Livre;
Questionário SUS (System Usability Scale);
Questionário de Usabilidade das transições;
AVALIAÇÃO

Experimento de Teste
AVALIAÇÃO

Vídeo Ilustrativo
AVALIAÇÃO

Resultados
AVALIAÇÃO

Resultados
AVALIAÇÃO

Resultados
Usuário Expert
AVALIAÇÃO

Satisfação do Usuário
CONCLUSÕES
Integração de Interfaces 2D e 3D ainda é um
problema em aberto;
 Integração direcionada para domínios e aplicações
específicas



Identificação de tarefas necessárias, e
consequentemente, quais tecnologias mais apropriadas;
Interligar interfaces levando em consideração as
propriedades da continuidade pode ser vantajoso
pois há uma preocupação em manter um vínculo
contínuo entre as interações em pelo menos algum
aspecto (Perceptivo, Cognitivo e Funcional);
CONCLUSÕES

Muitas vezes uma única ferramenta para vários
problemas não é a solução mais adequada. Mas a
junção adequada de várias ferramentas pode ser
valiosa, mesmo que isto leve à necessidade de
impor restrições e regras para o convívio delas.



Presença de descontinuidades (Perceptiva e
Funcional);
Adaptação de tecnologias de displays para permitir o
uso conjunto do espaço físico de interação (MiniCave
x LCD).
As interfaces de transição ainda são um campo de
estudo recente e trabalhos como este podem
servir como referência para o desenvolvimento de
outras;
TRABALHOS FUTUROS
Adaptação de mais técnicas de interação para o
sistema explorando os recursos de imersão e
manipulação juntos;
 Inclusão de outras tecnologias


Multi-touch (Interações Híbridas)
Avaliações mais detalhadas buscando isolar mais
as váriaveis da Continuidade;
 Substituir os trilhos (LCD) por outros
mecanismos de mobilidade de displays


Braço Articulado
Avaliações Ergonomicas
 Utilizar Estereo do Tipo Passivo Polarizado

OBRIGADO!