RELATÓRIO FINAL
PROTOTIPAGEM MISTA NA AVALIAÇÃO DE INTERAÇÃO HUMANO-PRODUTO:
PROBLEMAS E SOLUÇÕES
Tiago Catecati 1, Sabrina Mendes Machado 2, Ricardo Schwinn Rodrigues 3, Marcelo
Gitirana Gomes Ferreira 4.
Palavras-chave: Realidade aumentada, Design de produto, Prototipagem de produto, Modelamento e simulação.
Resumo
A realidade aumentada tem o potencial de ajudar os designers na avaliação de vários aspectos do
processo de design. Este artigo apresenta as dificuldades encontradas e as soluções que foram
propostas durante a pesquisa sobre o uso de AR na avaliação da usabilidade de produtos eletrônicos.
Algumas das questões analisadas foram provenientes do HMD utilizado nos experimentos (hardware).
Outras questões foram provenientes da biblioteca utilizada AR (software). Outros são intrínsecos à
tecnologia de AR ou o resultado de uma combinação de fatores de hardware e software. A falta de
parcerias nessas primeiras etapas do projeto também contribuiu para o surgimento dos problemas
listados. Este artigo serve como um registro das decisões tomadas e lições aprendidas durante o
projeto, e também como um sinal para o redirecionamento do projeto para a busca de parcerias para o
desenvolvimento e para o uso de tecnologias de AR mais acessíveis.
1. Introdução
Durante o processo de desenvolvimento do produto, este geralmente é avaliado de acordo com vários
aspectos distintos: função, usabilidade, fabricação, e assim por diante (BACK et al, 2008; BAXTER,
2000; ROZENFELD et al, 2006.). Tais avaliações são normalmente realizadas em protótipos
funcionais (físico), têm custos elevados e têm um longo tempo de produção. Pesquisadores têm
estudado o uso de protótipos com realidade aumentada (protótipos virtualmente aumentados ou
mistos) para substituir esses protótipos funcionais físicos (BORDEGONI et al., 2009, Shen et al.,
2010). A tecnologia de realidade aumentada (RA) pode reduzir substancialmente os custos e o leadtime, mantendo ou mesmo melhorando a qualidade das avaliações (YE, 2007). Além de ser mais
barato e mais rápido de fazer, esses protótipos inovadores são mais facilmente reconfigurável: algo
muito importante para as fases iniciais do processo de design, quando várias características de
produtos alternativos precisam ser avaliadas e comparadas. Temos pesquisado o uso de prototipagem
mista para avaliar a interação humano-produto durante o projeto do produto. Este artigo apresenta os
principais problemas encontrados ao longo das etapas desta pesquisa e também discute as soluções
implementadas e vislumbradas.
2. Experimentos
Desde março de 2010, nosso grupo de pesquisa vem investigando o uso de realidade aumentada (RA)
para ajudar na avaliação da interação usuário-produto nos estágios iniciais do processo de design. Com
foco na avaliação da usabilidade do produto, desenvolvemos um protótipo virtualmente aumentado de
um projetor de imagens, modelo Epson x14 + - ver Fig. 1 para o produto real. O produto escolhido
para as experiências foi um projetor, uma vez que é um objecto comum na universidade. Professores e
alunos geralmente estão familiarizados com estes projetores e isso faz com que a seleção de usuários
para testar seja mais fácil.
______________
1
Acadêmico do Curso de Design Industrial – Centro-UDESC, bolsista de iniciação científica PIBITI/CNPq.
Acadêmica do Curso de Design Industrial – Centro-UDESC, bolsista de iniciação científica PIBIC/CNPq.
3
Acadêmico do Curso de Design Industrial – Centro-UDESC, bolsista de iniciação científica PIBIC/CNPq.
4
Orientador, Professor do Departamento de Design do Centro Artes – [email protected].
2
RELATÓRIO FINAL
Fig. 1. Projetor Epson x14 +. (fonte: http://www.epson.com/)
Nas nossas experiências, como mostrado na Fig. 2, o utilizador interage com o protótipo virtualmente
aumentado com o auxílio de um óculos de realidade virtual HMD (Head Mounted Display), adaptado
para realidade aumentada.
Fig. 2. Usuário interagindo com protótipo virtualmente aumentado de um projetor.
Fig. 3 mostra o modelo virtual do projetor como visto pelo usuário através do HMD, e na Fig. 4, a
imagem (virtual) projetada na parede. Na configuração desta experiência, dois marcadores fiduciais
são necessários: um para posicionar o objeto virtual (projetor) sobre o modelo físico, e outro para
posicionar a projeção virtual na parede - ver Fig. 3 e a Fig. 4.
Fig. 3. Projetor Virtual visto através do HMD.
RELATÓRIO FINAL
Fig. 4. Projeção Virtual visto através do HMD.
A avaliação da adequação do uso da RA na avaliação de usabilidade do produto é realizada
comparando o desempenho do usuário em tarefas com o produto real (projetor) e com seu respectivo
protótipo aumentado. Objetivos (tempo para completar a tarefa, número de erros, etc) e métricas
subjetivas (satisfação, por exemplo) são usados para comparar os dois desempenhos. Usamos os testes
de hipóteses para validar estatisticamente os resultados obtidos nas experiências.
3. Problemas e Soluções
Esta seção apresenta uma lista dos problemas (ou limitações) até agora encontradas no projeto, bem
como as soluções implementadas ou vislumbradas. Ambas as tecnologias (hardware e software) e
questões gerenciais são aqui discutidas.
3.1. HMD
Em primeiro lugar, deve notar-se que alguns dos problemas encontrados são relacionados ao HMD
selecionado para o projeto. Para nossa pesquisa, importou um HMD Realidade Virtual (Xsight modelo
3120-2) da empresa Sensics com sede nos Estados Unidos - ver Fig. 5. Este é um HMD estereoscópico
de alta resolução (20 pixels / grau) com base OLED, com 120 ° no campo de visão horizontal e 30° no
vertical (extensível até 45 °).
Fig. 5. HMD Xsight modelo 3120-2 da Sensics (fonte: http://sensics.com/)
A escolha deste modelo de HDM foi influenciada pela necessidade de compartilhar esse equipamento
com o projeto "soluções ergonômicas para o design de simuladores de vôo em ambiente imersivo de
realidade virtual" (REIS et al, 2009.), Já está em andamento em nosso grupo de pesquisa - como Pode
ser visto na Fig. 6. Nesse projeto, a (seis graus de liberdade) 6DOF plataforma para simulação de vôo
estava sendo construída, e um HMD de alta resolução precisava ser comprado.
RELATÓRIO FINAL
FIG. 6. Plataforma de simulação de vôo de realidade virtual (RAMIRES et al., 2012)
Devido a limitações financeiras, o HMD, que foi adquirida, tem um campo de visão vertical limitado a
30 graus (não 45 graus, o valor máximo para o modelo Xsight 3120-2). Em termos de construção
física do equipamento, o que corresponde a dizer que cada um dos olhos do HMD tem apenas uma
linha de três lentes (por fila), ao invés de duas linhas (total de seis lentes). Como resultado, cada um
dos olhos do HMD podem exibir apenas uma metade da imagem horizontal apresentada num monitor
de padrão, tal como mostrado na Fig. 7. Como ele está agora configurado, o olho esquerdo do HMD
exibe a região superior da imagem exibida no monitor e no olho direito, a região inferior.
Fig. 7. Relação entre a imagem exibida em um olho do HMD e toda a imagem exibida no monitor.
A fim de resolver, de uma vez por todas, esta questão, estamos em busca de fundos (cerca de
$15.000,00) para atualizar o HMD existente, ampliando seu campo de visão vertical de 30 para 45
graus, ou seja, para adicionar uma nova linha de lentes em cada olho do HMD.
Também devido a restrições financeiras, não foi possível comprar o "Xsight com opção AR": uma
variante do HMD que foi comprado, especial para realidade aumentada - ver Fig. 8. Em vez disso,
optou-se por adaptar o HMD adquirido com a finalidade de (video see-through) RA, fixando duas
webcams acima dele (Fig. 9), conforme sugerido pelo fabricante do HMD.
RELATÓRIO FINAL
Fig. 8. Xsight com opção de AR (fonte: www.sensics.com)
Fig. 9. HMD com 2 webcams no topo.
Como uma última questão a ser levantada em relação ao modelo HMD escolhido para os
experimentos, devemos mencionar o alto custo (cerca de $38.000,00, com 30 graus de campo de visão
vertical). Este é certamente um dispositivo inacessível para a grande maioria dos escritórios de design
do nosso país (Brasil). Como alternativa a esta questão, estamos estudando o uso de dispositivos
portáteis (tablets, especificamente) para a obtenção de realidade aumentada em nossos experimentos.
Nós também estamos considerando o uso de HMDs mais baratos, específicos para aplicações de RA.
3.2. estereoscopia
A tentativa de obter a visão estereoscópica na RA, com a ajuda das duas câmaras Web (Fig. 9), não foi
bem sucedida desde o princípio. A dificuldade surgiu quando tivemos que focar objetos em diferentes
distâncias em relação ao observador. Isto levou à necessidade de ajustes constantes na orientação das
duas câmeras, algo impraticável de realizar durante os experimentos. Desta forma, tivemos que usar
apenas uma webcam no topo da HDM e desistir de usar estereoscopia em nossos experimentos, ver
Fig. 10.
Fig. 10. HMD com uma webcam no topo.
Como solução para a obtenção de estereoscopia, estamos considerando a possibilidade de comprar um
novo HMD, exclusivo para aplicações de RA, tais como os vendidos pela Vuzix Company. O vídeo
(ou digital) ver-through modelo 1200AR Wrap (cerca de EUA $ 1.500,00), mostrado na Fig. 11, por
exemplo, oferece estereoscópica AR com os seus próprios mecanismos para ajustar a convergência.
RELATÓRIO FINAL
Fig. 11. HMD Wrap1200AR modelo da Vuzix (fonte:http://www.vuzix.com).
3.3. Biblioteca de RA
No início do projeto, foram identificadas muitas bibliotecas de desenvolvimento para a realidade
aumentada, várias das quais foram baseadas na ARToolKit (KATO & BILLINGHURST, 1999). Para
este projeto, a biblioteca FLARToolKit (SAQUOOSHA, 2013), baseada em Action Script 3, foi
selecionada. Esta biblioteca permite que a realidade aumentada para todos os dispositivos que têm o
Adobe Flash Player instalado (boa portabilidade). Outra vantagem relacionada a esta biblioteca é o uso
de objetos virtuais com extensão dae, o que permite a importação de animações feitas em software
dedicado como 3D Studio Max e Blender, sem necessidade de programação para esses eventos. No
entanto, a biblioteca FlarToolkit não suportam adequadamente nossa pesquisa, devido à complexidade
envolvida no projeto. Detectamos em experiências muita latência ligada a utilização da biblioteca e
também proveniente da solução adotada para o problema de oclusão da mão. Como conseqüência,
estamos buscando bibliotecas de desenvolvimento alternativas baseadas em linguagem de
programação C.
3.4. Iatência
Considerado como um dos principais problemas apresentados pela realidade aumentada (ROLLAND
& Fuchs, 2000), a latência leva a um atraso e um posicionamento incorrecto da imagem do objecto
virtual, geralmente, quando há um movimento relativo entre o utilizador (ou câmara) e AR marcador.
Nestes casos, o "swim effect" é observado, onde o objeto virtual parece flutuar no cenário em
movimento. Considerado inerente a realidade aumentada, nas nossas experiências, a latência apareceu
de forma mais acentuada devido à solução adotada para a oclusão da mão, e também devido à
utilização simultânea de dois marcadores de RA. Desta forma, mudando a solução adotada para o
problema da oclusão mão, usando apenas um marcador fiducial, e mudando a biblioteca RA, estão
entre as ações destinadas a reduzir a latência visto em nossos experimentos.
3.5. Hand Occlusion
O fenômeno conhecido como "hand occlusion" ocorre quando um objeto real (geralmente a mão do
utilizador) é interposta entre o objeto virtual - que é adicionado à imagem do ambiente real - e a
câmara que é usada para capturar a imagem do ambiente e marcadores de RA. Uma vez que o objeto
(virtual) gerado por computador é mostrado tipicamente numa camada superior a da imagem do
ambiente real captada pela câmara, a mão do utilizador é geralmente coberta por este objeto virtual como mostrado na Fig. 12.
Fig. 12. Oclusão da mão no protótipo aumentado para o projetor.
RELATÓRIO FINAL
Algumas soluções para o problema da hand occlusion são obtidos a partir da identificação de objetos
que ficam entre a câmera e o objeto aumentado. Em nossos experimentos, optamos por utilizar a
técnica de chroma key, freqüentemente usada em filmes e na televisão para a inclusão da imagem de
um cenário natural em uma cena gravada em um estúdio. Usando esta técnica, a imagem virtual se
sobrepõe à imagem do mundo real, apenas nas regiões detectados como verde. Nesta técnica, a cor
verde normalmente é utilizada por ter um melhor contraste com a cor da pele. Em nosso experimento,
fizemos um modelo (do projetor) em PU, que depois foi pintado com acrílico fosco verde, para a
utilização da técnica de chroma key - ver Fig. 13.
Fig. 13. Modelo físico pintado em chroma tecla verde.
3.6. Dois marcadores fiduciais
A utilização de dois marcadores fiduciais representou um problema para as nossas experiências, uma
vez que o FLARToolKit não tem uma classe dedicada a múltiplos marcadores. Assim, procurou-se
reutilizar, com as devidas adaptações, um código que permitiu a utilização de dois marcadores previamente desenvolvidos para FLARToolKit. A utilização de dois marcadores fiduciais em locais e
planos diferentes também impedem as suas identificações corretas, uma vez que elas são iluminadas
com intensidades diferentes, tornando a identificação dos seus contornos difícil. O objeto virtual tende
a desaparecer ou aparecer trêmulo para o usuário.
Como solução para este problema, no protótipo do projetor, usaremos RA apenas para exibir o
projetor. A imagem projetada será exibida em um monitor, ou projetada na parede por um projetor
verdadeiro. Em nossos próximos projetos, não temos a intenção de usar múltiplos marcadores, pelo
menos até que possamos dominar a tecnologia de prototipagem aumentada com um único marcador.
3.7. Tipos de marcadores de RA
O tipo de marcador (fiducial e plano) utilizado neste projeto dificulta a visualização do objeto virtual
quando o utilizador está posicionado em determinadas posições, em relação ao modelo. Por exemplo,
ao tentar visualizar o projetor em uma posição frontal ou lateral, o objeto virtual tende a desaparecer.
O ângulo raso formado entre a câmara e o modelo tende a dificultar a captura do marcador fiducial.
Uma possível solução para este problema pode ser a utilização de marcadores retro-refletivos.
3.8. Posicionamento de Modelos
O posicionamento preciso do modelo virtual em relação ao modelo físico é necessário, a fim de
garantir uma boa interação entre o utilizador e o protótipo. Este ajuste espacial (calibração) é
conseguido fazendo com que os botões do objeto virtual coincidam com os botões do modelo físico,
uma vez que é através destes elementos que ocorrem as interações. Dado que o marcador está
posicionado na parte superior do modelo físico, as vistas laterais, não podem ser utilizados para
efetuar esta calibração: isso dificulta o processo. Usando marcadores retro-refletivos, como discutido
na seção anterior, também podem facilitar este processo de calibração.
3.9. Texturas e sombras
Desde quando começamos a usar a biblioteca FLARToolKit, identificamos um conflito entre a
exibição simultânea de texturas do projetor - conseguido através de seu processamento no Autodesk
3DS Max - e a exposição de suas sombras - gerada pelo FLARToolKit. Quando texturas são
adicionadas ao objeto, a configuração de iluminação do ambiente é descartada e o objeto perde as suas
RELATÓRIO FINAL
características de volume, por causa da falta de sombreamento. A visualização dos elementos do
projetor, como as chaves de contato, foram, portanto, prejudicados. Este conflito impedia o uso de
texturas no modelo.A Fig. 14 demonstra o efeito negativo da remoção das sombras sobre a imagem de
um objecto virtual
.
Fig. 14. Imagem virtual de um bule com textura e sombras (à esquerda), e sem sombras (à direita).
Como uma solução temporária para este problema, podemos aplicar a cor de base do projetor do
modelo, sem textura, mas com as sombras. Com a escolha de uma nova biblioteca de AR, como
discutido anteriormente, acreditamos que definitivamente resolver o conflito.
3.10. Modelo Físico
O modelo físico do produto é uma parte importante do protótipo virtualmente aumentado, uma vez que
torna possível a interacção física entre o utilizador e o protótipo, incluindo a ativação das teclas e
interruptores. No entanto, hoje a confecção deste modelo físico é trabalhoso e demorado. Além disso,
o acabamento obtido nem sempre é o melhor - ver Fig. 15.
Fig. 15. Detalhe do modelo físico.
Dando seguimento a este projeto, pretende-se utilizar a tecnologia de impressão 3D, a fim de acelerar
a confecção do modelo físico do produto e melhorar seu acabamento. Estamos comprando uma
impressora 3D, Replicator 2X (Fig. 16), a partir Empresa Makerbot.
RELATÓRIO FINAL
Fig. 16. Replicator 2x de Makerbot (fonte: http://www.robotshop.com/)
3.11. eletrônica
No protótipo do projetor foi necessário desenvolver uma placa electrónica - mostrada na Fig. 17 - com
as teclas correspondentes aos botões do aparelho. Tem um valor fixo de botões e arranjo espacial
inflexível, esta placa limita a possibilidade de reconfiguração do design de interface, conforme
necessário nas avaliações de redesign.
Fig. 17. Placa eletrônica especialmente desenvolvida para interagir com o modelo ampliado.
Como solução para este problema, como um primeiro passo, foi planejado usar um processador
Arduino (ver Fig. 18.), Ligado ao protoboard, que permite o desenvolvimento desta interface
eletrônica pelos próprios pesquisadores (designers) envolvidos no projeto, bem como a sua
reconfiguração espacial rápida.
Fig. 18. Arduino Uno processador (fonte: https://www.sparkfun.com/)
Numa segunda etapa, pretende-se utilizar o sensor de movimento Leap (Fig. 19), que é capaz de
identificar com precisão os objetos colocados na sua proximidade, como as mãos e os dedos do
usuário.
Fig. 19. Sensor de movimento Leap (fonte: http://www.everythingusb.com/)
3.12. competências
Para o desenvolvimento de todo o projeto, num primeiro momento, optamos por utilizar apenas as
habilidades de professores e alunos do Departamento de Design da nossa universidade (UDESC -
RELATÓRIO FINAL
Universidade do Estado de Santa Catarina). Apesar de relativamente bons resultados alcançados até
agora, reconhecemos a necessidade de formar parcerias para avançar no desenvolvimento do projeto.
Para isso, estamos buscando parcerias com grupos de pesquisa (em Ciência da Computação) do nosso
estado, como LARVA (Laboratório de Realidade Virtual e Aumentada) da UDESC em Joinville e
Lapix (Image Processing and Computer Graphics Lab) da UFSC (Universidade Federal de Santa
Catarina), em Florianópolis. Para o desenvolvimento de aspectos específicos (por exemplo, software)
relacionados com a tecnologia RA, estamos dispostos a contratar o serviço de profissionais de
informática em nossa região.
4. conclusões
Este artigo apresentou e discutiu os principais problemas encontrados durante nossos experimentos
usando protótipos aumentados (ou mistos) para avaliar a interação humano produto durante as fases
iniciais do projeto do produto. Ambos os problemas técnicos (hardware e software) e de gestão foram
abordados neste estudo.
Assim, este artigo faz o registro das lições aprendidas durante este projeto. Além disso, ele serve como
indicador para o redirecionamento do projeto para a busca de parcerias no desenvolvimento dos
experimentos e também para o uso de tecnologias de AR mais acessíveis. Esperamos que, no futuro
próximo, engenheiros, designers e outros membros de uma equipe de desenvolvimento de produto
possam aproveitar o conhecimento gerado por esta pesquisa.
Agradecimentos
Os autores gostariam de agradecer a UDESC (Universidade do Estado de Santa Catarina) CNPq
(Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo apoio que tornou possível
este trabalho.
Referências
BACK N., OGLIARI A., DIAS A., SILVA J.C. Projeto integrado de produtos: planejamento,
concepção e modelagem. Manole, Brasil, 2008.
BAXTER M. Projeto do produto. 3. ed. Edgard Blucher, Brasil, 2000.
KATO, H., BILLINGHURST, M. Marker tracking and hmd calibration for a video-based augmented
reality conferencing system. in: Proceedings of the 2nd IEEE and ACM International Workshop on
Augmented Reality (IWAR 99), October 1999.
RAMIREZ, A., REIS A.A., FERREIRA, M.G.G., CORDEIRO NETO, A., HAASE, A. Automacão de
movimentos para simulador de voo em realidade virtual imersiva. HFD, Human Factors in Design, v.
1, n. 1., p. 1-6, 2012.
REIS, A.A.; FERREIRA, M.G.G.; BRODBECK, F.C.; CARDOSO, F.E.; MIRANDA, A.M.; MELO,
R.R. Ergonomical contributions to flight simulators design in virtual reality immersive environment.
DAPesquisa, v. 3, p. Design-2, 2009.
ROLLAND, J.P.; FUCHS, H. Optical Versus Video See-Through Head-Mounted Displays in Medical.
Presence, v. 9, n. 3, p. 287–309, 2000.
ROZENFELD H., FORCELLINI F., AMARAL D., et al. Gestão de desenvolvimento de produtos:
uma referência para a melhoria do processo. Saraiva, Brasil, 2006.
SAQUOOSHA, T.K.A. FlarToolKit. Disponível em: <http://saqoo.sh/a/flartoolkit>. Acessado em: 29
jun. 2013 às 08:58:00.
SHEN, Y; ONG, S.K.; NEE, A.Y.C. Augmented reality for collaborative design and development.
Design studies, v. 31, n. 2, pp. 118-145, 2009.
YE, J.; BADIYANI, S.; RAJA, V.; SCHLEGEL, T. Applications of Virtual Reality in Product Design
Evaluation. Human-Computer Interaction, Part IV, HCII 2007, LNCS 4553, pp. 1190–1199, 2007.