Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos: Um Estudo de Caso com a HybridDesk Marcus Franco Costa de Alencar Orientadora: Profa. Simone Barbosa Co-orientador: Prof. Alberto Raposo 21 de Agosto de 2009 Sumário Introdução Ambiente de Avaliação - HybridDesk Planejamento da Avaliação Resultados da Avaliação Conclusão e Trabalhos Futuros Introdução Importância do Design e da Avaliação da Interação Avaliação de Comunicabilidade da HybridDesk Avaliação de Usabilidade da HybridDesk Identificação de Questões de IHC Sugestões de Melhorias para a HybridDesk Ambiente de Avaliação – HybridDesk VR-Nav - Navegação e Seleção • Mini-CAVE • Wand Rastreada • Óculos Estéreo Rastreado VR-Manip - Manipulação • LCD • Wand Rastreada • Óculos Estéreo Rastreado WIMP - Anotação • LCD • Teclado • Mouse Fotos de Felipe Carvalho (2009) Ambiente de Avaliação – HybridDesk Transições dos Dispositivos de Interação [Carvalho 2009] Planejamento da Avaliação - Etapas Planejamento da Avaliação - Etapas de Souza 2005 Salgado 2007 de Souza & Leitão 2009 Prates et. al. 2000 Nielsen 1993 Gabbard et. al. 1999 Bowman et. al. 2005 Sharp et. al. 2007 Planejamento da Avaliação – Preparação Carvalho 2009 Planejamento da Avaliação – Preparação Gabbard 1997 Planejamento da Avaliação – Preparação Bowman et. al. 2005 Carvalho 2009 Planejamento da Avaliação – Preparação 3 participantes 6 participantes 2 avaliadores 1 avaliador Planejamento da Avaliação – Execução da Observação Ericsson & Simon 1993 Tullis & Albert 2008 Carvalho 2009 Planejamento da Avaliação – Execução da Observação Tullis & Albert 2008 Sharp et. al. 2007 Carvalho 2009 Planejamento da Avaliação – Execução da Observação IPQ (igroup) Gentil 2008 Carvalho 2009 Resultados da Avaliação - MAC Etiquetagem da Interação Etiqueta / Participante Cadê? Para mim está bom. Assim não dá. Ué, o que houve? Por que não funciona? O que é isto? Socorro! Epa! Onde estou? E agora? Vai de outro jeito. Não, obrigado. Desisto. Total Rupturas P2 1 1 P3 P7 3 2 3 1 1 4 3 2 4 1 1 1 5 20 8 7 1 1 Total 1 2 0 4 4 7 0 9 3 4 1 0 0 35 Resultados da Avaliação - MAC Interpretação dos Dados – Tarefas de Interação [Bowman et. al. 2005] Etiqueta / Tarefa Interação Cadê? Para mim está bom. Assim não dá. Ué, o que houve? Por que não funciona? O que é isto? Socorro! Epa! Onde estou? E agora? Vai de outro jeito. Não, obrigado. Desisto. Total Rupturas Ambiente Navegação Seleção Manipulação Anotação Controle 1 1 1 3 2 3 3 1 1 2 3 1 3 1 2 6 1 9 5 VR- Nav 10 1 10 VR-Manip WIMP Todos Total 1 2 0 4 4 7 0 9 3 4 1 0 0 35 Resultados da Avaliação - MAC Interpretação dos Dados – Problemas de IHC Etiqueta / Categoria IHC Cadê? Para mim está bom. Assim não dá. Ué, o que houve? Por que não funciona? O que é isto? Socorro! Epa! Onde estou? E agora? Vai de outro jeito. Não, obrigado. Desisto. Total Rupturas Execução Navegação 1 1 Significado Percepção 1 4 1 3 7 7 1 1 3 9 9 4 1 10 7 Total 1 2 0 4 4 7 0 9 3 4 1 0 0 35 Resultados da Avaliação Questões com Dispositivo de Entrada Botão A - Navegação • Ativa Ray-casting • Desativa Ray-casting • Seleciona Objeto (Transição para Manipulação) Botão A - Manipulação • Libera Icone 3D • Transição para WIMP Resultados da Avaliação Questões com Dispositivo de Entrada Botão Home - Navegação • Retorna Posição Inicial Botão Home - Manipulação • Transição para Navegação Resultados da Avaliação – MAC Análise do Perfil Semiótico “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” Resultados da Avaliação – MAC Análise do Perfil Semiótico “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” Resultados da Avaliação – MAC Análise do Perfil Semiótico “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” “ ... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.” Resultados da Avaliação – MAC Análise do Perfil Semiótico “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” “ ... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.” “...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.” Resultados da Avaliação – Questionário Usabilidade 1,00 1. Foi simples Navegar no Cenário 3D 2. Foi simples Selecionar o ícone 3D 3. Foi simples Selecionar os objetos 4. Foi simples Manipular os objetos 5. Foi simples Anexar o ícone 3D ao objeto 6. Foi simples Ler o arquivo que descrevia a tarefa 7. Foi simples Criar os arquivos com anotações 8. Foi simples a transição do ambiente VR-Navegação para o ambiente VR-Manipulação 9. Foi simples retornar do ambiente VR-Manipulação para o ambiente VR-Navegação 10. Foi simples a transição do ambiente VR-Manipulação para o ambiente WIMP 11. Foi simples retornar do ambiente WIMP para o ambiente VRManipulação 12. Foi simples a transição do ambiente VR-Navegação para o ambiente WIMP 13. Foi simples retornar do ambiente WIMP para o ambiente VRNavegação 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 Resultados da Avaliação – Questionário Usabilidade 1,00 14. Foi fácil memorizar os comandos para transição entre os ambientes 15. As animações ajudaram na percepção das transições 16. Foi fácil orientar-se durante as transições de ambiente 17. Eu não percebi inconsistências na interação entre os ambientes de Navegação e de Manipulação 18. Eu me senti confortável usando os óculos no ambiente WIMP 19. Eu me senti confortável usando a Wand 20. Eu me senti confortável usando o Teclado 21. Eu me senti confortável manipulando objetos no LCD 22. Eu me senti confortável usando os óculos nas interações em geral 23. Eu me senti confortável deslocando o LCD lateralmente 24. Eu não senti tontura ao usar o sistema 25. Eu me senti confortável interagindo com o sistema 26. Foi fácil aprender a usar o sistema 27. Quando cometi um erro, eu me recuperei fácil e rapidamente 28. De uma maneira geral, eu estou satisfeito com este sistema 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 Resultados da Avaliação – Questionário IPQ Subescalas IPQ Senso de Estar Lá (Geral) Presença Espacial Envolvimento Realismo Experimentado HybridDesk 4,50 4,47 4,25 3,04 Second Life 3,75 -17% 3,73 -16% 3,91 -8% 2,84 -7% Half-Life Tomb Raider 3,93 -13% 3,00 -33% 3,99 -11% 3,06 -31% 3,27 -23% 2,40 -44% 2,34 -23% 1,92 -37% Resultados da Avaliação – Questionário IPQ Subescalas IPQ Senso de Estar Lá (Geral) Presença Espacial Envolvimento Realismo Experimentado HybridDesk 4,50 4,47 4,25 3,04 Second Life 3,75 -17% 3,73 -16% 3,91 -8% 2,84 -7% Half-Life Tomb Raider 3,93 -13% 3,00 -33% 3,99 -11% 3,06 -31% 3,27 -23% 2,40 -44% 2,34 -23% 1,92 -37% Resultados da Avaliação – Comparação Métodos No Questões de IHC 1 Navegação lenta para aproximar do cenário 3D quando longe. Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foi anexado ao objeto ou não. Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação. 2 3 Heur. Obs.TA Qu./Ent. 1 4 3 1 MAC 2 Total 10 1 3 4 9 4 1 3 8 4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. 2 5 5 Apertou o botão A duas vezes e voltou de manipulação para WIMP. 1 3 6 Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores. 2 1 3 6 7 Achou óculos desconfortáveis, principalmente usuários que já usam óculos. 1 1 4 6 3 2 1 6 2 2 1 5 1 3 1 5 1 2 5 Verificou ponta mas não deixou anotação no guindaste sem rachadura. Não ficou claro como voltar de manipulação para navegação, uso do botão 9 Home não é muito consistente. 10 Ícone 3D que representa a anotação é pequeno e difícil de selecionar. Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os 11 dois. 8 2 7 3 7 Resultados da Avaliação – Comparação Métodos No Questões de IHC 1 Navegação lenta para aproximar do cenário 3D quando longe. Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foi anexado ao objeto ou não. Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação. 2 3 Heur. Obs.TA Qu./Ent. 1 4 3 1 MAC 2 Total 10 1 3 4 9 4 1 3 8 4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. 2 5 5 Apertou o botão A duas vezes e voltou de manipulação para WIMP. 1 3 6 Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores. 2 1 3 6 7 Achou óculos desconfortáveis, principalmente usuários que já usam óculos. 1 1 4 6 3 2 1 6 2 2 1 5 1 3 1 5 2 1 2 5 26 54 55 43 178 25 37 34 31 127 Verificou ponta mas não deixou anotação no guindaste sem rachadura. Não ficou claro como voltar de manipulação para navegação, uso do botão 9 Home não é muito consistente. 10 Ícone 3D que representa a anotação é pequeno e difícil de selecionar. Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os 11 dois. 8 Total Ocorrências Questões Totais Questões Distintas Totais de Questões Únicas de Cada Método Percentual de Questões Únicas de Cada Método 7 3 7 13 13 14 8 48 16% 16% 17% 10% 59% Resultados da Avaliação – Comparação Métodos No Questões de IHC 1 Navegação lenta para aproximar do cenário 3D quando longe. Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foi anexado ao objeto ou não. Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação. 2 3 Heur. Obs.TA Qu./Ent. 1 4 3 1 MAC 2 Total 10 1 3 4 9 4 1 3 8 4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. 2 5 5 Apertou o botão A duas vezes e voltou de manipulação para WIMP. 1 3 6 Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores. 2 1 3 6 7 Achou óculos desconfortáveis, principalmente usuários que já usam óculos. 1 1 4 6 3 2 1 6 2 2 1 5 1 3 1 5 2 1 2 5 26 54 55 43 178 25 37 34 31 127 Verificou ponta mas não deixou anotação no guindaste sem rachadura. Não ficou claro como voltar de manipulação para navegação, uso do botão 9 Home não é muito consistente. 10 Ícone 3D que representa a anotação é pequeno e difícil de selecionar. Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os 11 dois. 8 Total Ocorrências Questões Totais Questões Distintas Totais de Questões Únicas de Cada Método Percentual de Questões Únicas de Cada Método 7 3 7 13 13 14 8 48 16% 16% 17% 10% 59% Heur. - Avaliação Heurística – “Conhecimento de Especialistas” MAC – Avaliação de Comunicabilidade - “Intenção do Designer” Obs.TA - Observação de Uso com Talk-Aloud – “Observação do Usuário pelo Avaliador” Qu./Ent. - Questionário e Entrevista Pós-Uso– “Percepção do Usuário” Resultados da Avaliação – Melhorias HybridDesk No 1 2 59 3 4 21 22 40 41 52 5 13 14 37 Questões de IHC Sugestão Tipo Navegação lenta para aproximar do cenário 3D quando Usar diferentes escalas na aproximação, movendo mais rápido quando SW longe. longe do cenário. Sistema Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foi anexado ao objeto ou não. Dar feedback visual na própria tela de manipulação ao liberar ícone 3D. Aplicação Ficou em dúvida se anotação foi anexada ou não no objeto e reselecionou objeto em navegação. Fez inspeção da ponta do guindaste rodando o próprio SW Se cenário rodar muito bruscamente, sugerir ambiente de manipulação. cenário 3D em navegação. Sistema Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. Dificuldade para passar a mão esquerda por trás do LCD para manipulação, sistema foi projetado para destros, pois LCD à esquerda é ruim para canhotos. Dificuldade para ver a Wand no LCD em manipulação devido Adotar display mais leve e fácil de trazer para a frente, suspenso por um HW braço, indiferente a usuários destros ou canhotos, ou como alternativa à posição da mão esquerda. Sistema considerar o uso das telas da mini-CAVE para manipulação e WIMP. Dificuldade na manipulação pois perde a visão dos botões da Wand. Achou ruim ter de manipular objeto por trás do LCD, é inconsistente com o hábito de interagir. Achou sistema interessante de usar, mas não foi fácil, mas acha que foi por ser canhoto. Apertou o botão A duas vezes e voltou de manipulação para WIMP. Se apertar o botão A duas vezes sem querer em navegação vai para manipulação. Impedir seleção contínua do botão A, introduzindo bloqueio temporário SW Ao selecionar objeto, apertou sem querer no botão A duas após seleção. Sistema vezes e foi direto de navegação para WIMP. Selecionou objeto errado diversas vezes por engano apertando o botão A duas vezes ao ativar o raio da Wand, em navegação. Resultados da Avaliação – Melhorias HybridDesk Tipo Sugestão HW Sistema SW Sistema HW/SW Sistema Aplicação Verificar Sistema Usuário Total Total Distintas 9 28 17 16 7 5 82 3 12 10 8 6 3 42 Resultados da Avaliação Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Resultados da Avaliação Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” Resultados da Avaliação Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Resultados da Avaliação Interação com Múltiplos Designers Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Resultados da Avaliação Interação com Múltiplos Designers Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Resultados da Avaliação Interação com Múltiplos Designers Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Interação com a HybridDesk: Designer do Sistema Resultados da Avaliação Evidências Positivas HybriDesk bem avaliada do ponto de vista conceitual; Indícios de que 3 ambientes de interação distintos, mais adequados para cada tarefa, foi compreendido e aprovado pela maior parte dos participantes; Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um foco muito melhor, eu tinha esquecido disso…” (Manipulação em VR-Manip versus VR-Nav); Participante: “… agora me lembrei que eu poderia fazer isso.” (Manipulação em VR-Manip versus VR-Nav); Resultados muito positivos do WIMP no Questionário (4,67 de 5); Satisfação com o Sistema no Questinário (4 de 5) e Entrevista. Conclusão e Trabalhos Futuros Cumprimento dos Objetivos Sugestões de Trabalhos Futuros • Implementar Melhorias na HybridDesk e Reavaliar • Produzir Heurísticas para uma CAVE • Avaliação Quantitativa de Desempenho da HybridDesk • Estudar Transições entre Ambientes Virtuais (AVs) • Estudar Fatores que Influenciam Senso de Presença • Estudar Integração das Tarefas 1D e 2D em AVs • Estudar Questão de Múltiplos Designers • Reavaliar as Etiquetas de Comunicabilidade para AVs • Estudar o Uso da Engenharia Semiótica para Navegação (Mapas) Obrigado Marcus Franco Costa de Alencar E-mail: [email protected] 21 de Agosto de 2009 Issues de Usabilidade Exemplos [Tullis & Albert 2008] • Qualquer coisa que impeça a finalização da tarefa; • Qualquer coisa que leve o usuário a um caminho errado; • Qualquer coisa que crie algum nível de confusão; • Qualquer coisa que produza um erro; • Não ver alguma coisa que deveria ser vista; • Assumir que alguma coisa está correta quando não está; • Assumir que uma tarefa está completa quando não está; • Executar a ação errada; • Interpretar errado alguma parte do conteúdo; • Não entender a navegação. Problemas Ergonômicos (Nível de Conforto, Satisfação Subjetiva) Tarefas de Interação no Cenário de Uso 1 • TI-1: Navegação no cenário 3D até encontrar a instrução (VR-Nav); • TI-2: Seleção do ícone 3D com a instrução (VR-Nav); • TI-3: Leitura da anotação com a instrução (WIMP); • TI-4: Navegação no cenário 3D até encontrar um dos objetos procurados (VR-Nav); • TI-5: Seleção do objeto primeiro procurado (VR-Nav); • TI-6: Manipulação do primeiro objeto procurado para verificação da modelagem (VR-Manip); • TI-7: Criação da anotação com o parecer sobre o primeiro objeto (WIMP); • TI-8: Manipulação do ícone da anotação para anexação ao primeiro objeto (VR-Manip); • TI-9: Manipulação do primeiro objeto (VR-Manip); • TI-10: Retorno ao ambiente de Navegação e procura pelo segundo objeto (VR-Nav); Diferença entre Imersão e Presença Imersão • Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003]; • A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007]. Presença • Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003]; • Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007]. Preparação da Avaliação Perfil dos Participantes Questões sobre Perfil Dados Pessoais Idade Sexo Mão Preferida Mão de Uso da "Wand" Uso de Óculos Educação Experiência 2.1 Visualização de modelos 3D em Desktop 2.2 Visualização de modelos 3D de Plataforma de Petróleo 2.3 Visualização de modelos 3D em CAVE 2.4 Utilização da Aplicação Second Life 2.5 Videogames em AVs com mouse e teclado do PC 2.5 Videogames em AVs com Joystick num console 2.5 Videogames em AVs com Wand no Wii 2.8 Videogames do tipo "First Person Shooter" Médias por participante Sumário 23 a 45 (Média 29) 5 Masc + 2 Fem 6 Dir + 1 Esq 6 Dir + 1 Esq 5 Sim + 2 Não 4 MsC + 2 PhD + 1 Eng Comp P1 P2 P3 P4 P5 P6 P7 Média 5 2 5 5 3 5 5 4,3 5 0 5 5 2 5 0 3,1 0 0 0 0 1 0 1 0,3 0 2 1 0 0 0 5 1,1 5 0 3 1 5 5 4 3,3 4 0 3 1 3 2 1 2,0 1 1 1 0 1 1 1 0,9 5 0 2 1 4 4 1 2,4 3,1 0,6 2,5 1,6 2,4 2,8 2,3 2,2 Ambiente de Avaliação – HybridDesk Foto de Felipe Carvalho (2009) Ambiente de Avaliação – HybridDesk Foto de Felipe Carvalho (2009) Trabalhos Relacionados Método de Avaliação de Comunicabilidade (MAC) • Engenharia Semiótica [de Souza 2005] • Avaliação CommEST [Salgado 2007] • Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000] • Avaliação Audacity [de Souza & Leitão 2009] Métodos de Avaliação de Usabilidade • Usability Engineering [Nielsen 1993] • Interaction Design [Sharp et. al. 2007] • 3D User Interfaces [Bowman et. al. 2005] • Measuring the User Experience [Tullis & Albert 2008] • VE Evaluation Methods [Bowman et. al. 2002] • User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999] • Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993] • Heurísticas de Usabilidade em AVs [Gabbard 1997] • Avaliação de AVs no Second Life [Gentil 2008, www.igroup.org ] • Avaliação HybridDesk [Carvalho 2009] Trabalhos Relacionados Taxonomia para Heurísticas [Gabbard 1997]