Avaliação de comunicabilidade do Moodle
para usuários surdos e ouvintes
Letícia Capelão1
Flávio Coutinho2
Koji Pereira3
Raquel Prates2
[email protected]
[email protected]
[email protected]
[email protected]
1
Faculdade de Letras, 2 Departamento de Ciência da Computação, 3 Escola de Belas Artes
Universidade Federal de Minas Gerais, Av. Antônio Carlos, 6627, Pampulha, Belo Horizonte – MG, Brasil
RESUMO
entre os atores do processo educativo [6].
Como os sistemas de apoio ao ensino que atendem a uma
diversidade de usuários, a comunicabilidade é uma
qualidade de uso essencial para garantir os objetivos
educacionais que fundamentam o seu uso. Neste artigo,
avaliamos a comunicabilidade do sistema Moodle a partir
da visão de alunos ouvintes e surdos, para isso recorrendo
ao Método de Inspeção Semiótica (MIS) e ao Método de
Avaliação da Comunicabilidade (MAC). Os resultados
apresentam rupturas de comunicação que comprometeram
o uso de funcionalidades do Moodle, tanto por usuários
surdos, quanto por ouvintes.
O objetivo deste artigo foi avaliar a qualidade da
comunicabilidade do sistema Moodle, um AVA utilizado
por instituições de ensino em vários países, a partir da visão
de alunos surdos e ouvintes. Na avaliação, utilizamos dois
métodos baseados na Teoria da Engenharia Semiótica: o
Método de Inspeção Semiótica (MIS) e o Método de
Avaliação de Comunicabilidade (MAC).
Palavras-chave
IHC, Avaliação, Comunicabilidade, Surdez, MAC, MIS.
INTRODUÇÃO
O crescimento da Internet e das ferramentas de
comunicação por ela oferecidas “tem um importante
impacto nos modos pelos quais as pessoas interagem, assim
como nas maneiras pelas quais definem e redefinem sua
noção de comunidade” [9]. Os impactos avançam também
pela área da educação e provocam redefinições no sistema
com o surgimento de ferramentas de apoio ao ensino,
chamadas de ambientes virtuais de aprendizagem (AVAs).
Estes ambientes oferecem suporte às atividades de ensino,
integrando recursos de tecnologias de informação e
comunicação através de mídias variadas (vídeos, imagens,
textos, animações) e ferramentas para comunicação e
interação como: chat ou bate-papo, fórum de discussão,
webconferência, teleconferência, transferência de arquivos,
reuniões através do computador, e-mail, páginas web,
hiperlinks, envio de tarefas, diários virtuais, wikis,
perguntas frequentes, dentre outros [5]. Em termos
conceituais, os AVAs consistem em mídias que utilizam o
ciberespaço para veicular conteúdo e permitir interação
Apesar de distintos, os critérios de qualidade de uso estão
fortemente interligados e se influenciam. Desta forma, se
um usuário não consegue compreender como o sistema
funciona por falta de clareza no significado dos elementos
da interface (baixa comunicabilidade) [1], ele pode
interromper o seu uso diante das barreiras (rupturas de
comunicação). Ou seja, o sistema ou alguma de suas
funcionalidades se tornam inacessíveis por problemas de
comunicabilidade do projetista para o usuário.
A escolha em incluir na avaliação de comunicabilidade
também a perspectiva de usuários surdos deveu-se ao nosso
interesse em contribuir para a acessibilidade digital de
pessoas surdas. Como a maioria dos surdos é filho de pais
ouvintes, eles não aprendem Libras nos primeiros anos de
vida, logo, o aprendizado da 2ª língua é comprometido.
Comparando-se a palavra em língua portuguesa com o sinal
em Libras, percebe-se que escrita alfabética portuguesa não
contém o mesmo significado das palavras em língua de
sinais. Como o pensamento do surdo organiza-se em
função da língua de sinais, mesmo os surdos alfabetizados
apresentam dificuldades com a língua portuguesa [2,3].
Torna-se então necessária uma atenção especial de forma a
possibilitar o acesso aos surdos ao ensino também através
de sistemas de educação à distância. As tecnologias, a
educação à distância, juntamente com os estudos de
usabilidade, acessibilidade e, especialmente, neste artigo,
comunicabilidade permitem que interfaces de ambientes
virtuais ganhem “conotações especiais para atender as
necessidades dos diferentes tipos de usuários.” [6].
Na próxima seção, apresentamos a justificativa para
utilização dos métodos MIS e MAC, para escolha do perfil
dos avaliadores no MIS e participantes no MAC. A seguir,
descrevemos as fases do processo de avaliação realizadas
para cada um dos métodos: preparação, execução e análise.
A partir da análise do MIS e MAC apresentamos, então, os
principais resultados da avaliação, enumerando os
problemas encontrados, sua localização e algumas
sugestões de melhorias que podem ser implementadas na
interface. Na seção de fechamento, apresentamos a análise
realizada com cada método. Por fim, o artigo apresenta as
conclusões da avaliação do Moodle de acordo com
aplicação do MIS e do MAC e nossa conclusão acerca do
processo e dos resultados obtidos. Acrescentamos ainda os
trechos
mais
importantes
da
reconstrução
da
metamensagem realizada no MIS e no MAC.
JUSTIFICATIVA
Métodos Utilizados
Os métodos adotados neste trabalho baseiam-se na teoria da
Engenharia Semiótica (EngSem) – “uma teoria que nos
permite entender os fenômenos envolvidos no design, uso e
avaliação de uma sistema interativo" [10]. Para a EngSem,
as interfaces transmitem uma mensagem dos projetistas
para usuários. O conteúdo dessas mensagens comunica aos
usuários [12], “uma concepção de quem são os usuários,
quais são suas necessidades e expectativas, e, mais
importante, como o projetista escolheu atender esses
requisitos através de um artefato interativo (tradução
nossa). Esse conteúdo transmitido pela interface dos
projetistas para os usuários é chamado de metamensagem.
O processo de comunicação entre usuários e projetistas
pode ser mais ou menos eficiente. Esta qualidade de
experiência do usuário é denominada comunicabilidade,
i.e., “a qualidade de interação baseada em sistemas
computacionais que se comunicam eficientemente e
efetivamente a intenção subjacente do designer e os seus
princípios interativos” [1,10,11,12].
Para a EngSem, o conceito de comunicabilidade é
considerado fundamental para o uso produtivo e eficiente
de sistemas interativos. A EngSem [1] propõe dois métodos
para avaliação de comunicabilidade que foram utilizadas
neste estudo: o Método de Inspeção Semiótica (MIS) e o
Método de Avaliação da Comunicabilidade (MAC).
Escolhemos estes dois métodos por serem métodos
qualitativos e interpretativos que avaliam a mesma
propriedade de qualidade de uso – comunicabilidade – a
partir de diferentes abordagens que se complementam: o
MIS avalia a emissão da metamensagem enviada pelo
designer ao usuário, enquanto o MAC avalia a recepção e
entendimento desta metamensagem pelo usuário. Além
disso, são métodos que podem ser aplicados para avaliação
de sistemas utilizados tantos por usuários ouvintes quanto
surdos, sem a necessidade de quaisquer adaptações, exceto,
pela necessidade um intérprete de Libras, conforme testes
já realizados por de Oliveira et al. [8]
O MIS é um método de inspeção e, por isso, antecipativo
que não envolve diretamente os usuários. O avaliador
inspeciona a interface avaliando a qualidade da
metamensagem enviada pelo designer ao usuário, a partir
da perspectiva do perfil do usuário que utilizará o sistema.
Durante a inspeção, o avaliador identifica ambiguidades e
inconsistências que se caracterizam como potenciais
rupturas de comunicação que podem dificultar ou, até
mesmo, impossibilitar o usuário de utilizar o sistema.
A preparação do MIS requer definição do objetivo e escopo
da inspeção, inspeção informal do sistema e criação dos
cenários utilizados na inspeção. Na inspeção, o avaliador
examina, separadamente, cada tipo de signo da EngSem
(i.e., metalingüístico, estático e dinâmico) e a
metamensagem do projetista é segmentada considerando-se
apenas os signos inspecionados. Em seguida, os resultados
obtidos nas inspeções segmentadas são comparados e é
realizada então, uma apreciação final do conteúdo
identificado na metacomunicação do projetista para o
usuário e a reconstrução da metamensagem.
O MAC, por sua vez, é um método que envolve observação
de usuários em ambiente controlado. Desta forma, torna-se
possível identificar os problemas de comunicabilidade a
partir da recepção e entendimento da metamensagem do
designer diretamente pelo usuário. Estes usuários, a partir
de um perfil pré-definido, são convidados a executar tarefas
contextualizadas em cenários e pré-determinadas pelo
avaliador, utilizando o sistema a ser avaliado. A partir da
identificação e análise das rupturas de comunicação
encontradas, pode-se sugerir melhorias que aumentem a
qualidade da comunicação.
A preparação do MAC envolve determinação dos objetivos
do teste, seleção das tarefas para teste, seleção dos
participantes, considerações sobre aspectos éticos, geração
do material impresso para uso durante a avaliação,
execução do teste piloto. A coleta de dados contempla
execução e gravação das tarefas pelos participantes,
anotações durante o teste e entrevista pós-teste. Após a
realização dos testes, segue-se a análise, que é composta de
três etapas: etiquetagem, interpretação e geração do perfil
semiótico. Na etiquetagem, as gravações das interações são
analisadas, identificando-se rupturas de comunicação às
quais são associadas às respectivas "expressões naturais" ou
etiquetas. As etiquetas são formas de expressar a reação
dos usuários às rupturas de comunicação durante o uso do
sistema. Na etiquetagem são colocadas “palavras na boca
dos usuários” [1,11,12]: Cadê?, O que é isto?, Epa!, Assim
não dá, E agora?, Onde estou?, Por que não funciona?, Vai
de outro jeito, Ué, o que houve?, Não, obrigado, Socorro!,
Para mim está bom, Desisto. Na etapa de interpretação, a
partir da etiquetagem, as classes de problemas de
comunicação são identificadas e analisadas. Segue-se para
a geração do perfil semiótico, em que é feita a reconstrução
da metamensagem do projetista ao usuário, apontando os
problemas encontrados, mensagens que podem estar em
contradição, ou até mesmo mensagens não intencionais.
O MIS foi então aplicado inicialmente e orientou a
definição dos cenários das tarefas e elaboração do material
de apoio para o MAC.
Perfil dos Avaliadores/Participantes
Tanto o MIS quanto o MAC foram utilizados para avaliar a
comunicabilidade do Moodle a partir da perspectiva de
alunos surdos e ouvintes. A escolha pelo perfil de alunos
surdos se deve pelo nosso foco em contribuir para a
acessibilidade digital de pessoas surdas, no contexto
educacional da EAD. E neste sentido, optamos por realizar
uma comparação entre o perfil de alunos surdos e ouvintes.
MIS
A inspeção foi realizada por um avaliador (usuários
ouvintes) e uma avaliadora (usuários surdos). O avaliador
tem experiência na área de Design de Interação e já
realizou testes de usabilidade de software em ambiente
controlado. Já havia utilizado o sistema Moodle tanto no
papel de aluno, quanto no de professor, mas o contato com
o sistema foi breve e superficial. A avaliadora não tinha
experiência de testes com usuários em ambientes
controlados, mas já havia aplicado o MIS em outro
contexto; tem experiência na plataforma Moodle para a
criação de cursos (como designer instrucional e professora)
e, também, como uma ferramenta de apoio ao ensino na
modalidade semipresencial (como professora e aluna), além
de ter conhecimento sobre a cultura surda.
MAC
Foram realizadas 6 avaliações com usuários (3 surdos e 3
ouvintes). Neste contato inicial, uma pré-entrevista foi feita
de forma a garantir um perfil homogêneo de usuários.
No caso tanto dos ouvintes quanto surdos, optou-se por
alunos que tivessem concluído o ensino médio ou
estivessem em fase inicial do ensino superior, o que
possibilitaria maior chance de não terem contato com o
Moodle. Selecionamos, então, alunos que não conheciam
ou que tiveram pouca experiência com o Moodle. Apenas
um participante (ouvinte) conhecia o Moodle, porém seu
contato com o sistema havia sido muito breve.
Em relação ao perfil dos surdos, a seleção envolveu outros
critérios relacionados à compreensão da língua portuguesa
(leitura/escrita) que perpassam por aspectos relacionados a
surdez e a linguagem. Os critérios tiveram como foco o
perfil mais comum e mais próximo da realidade da maioria
dos surdos [2]. Como a grande maioria dos surdos
apresenta dificuldades de leitura e escrita com a língua
portuguesa optou-se por selecionar usuários surdos que se
enquadraram no seguinte perfil: 1) surdos oralizados ou
não, que apresentassem surdez profunda ou severa: ou seja,
surdos que não adquiriram o português de forma natural e
não se comunicam bem oralmente (através da língua
portuguesa); 2) fizessem uso de Libras para comunicação:
são surdos que fazem parte da comunidade surda. Ou seja,
reconhecem a importância da língua de sinais para se
comunicarem, fazem uso dela, estão em contato com outros
surdos em diversos locais; 3) fizessem uso da língua
portuguesa para leitura e escrita: é imprescindível que o
surdo seja alfabetizado e faça uso da língua portuguesa
como forma de comunicação tanto para leitura e escrita,
pois a plataforma Moodle está em língua portuguesa. O
objetivo é testar a comunicabilidade da interface através da
comunicação em língua portuguesa. 4) ficaram surdos antes
de completar 2 anos de idade, o que caracteriza a surdez
pré-lingual. A surdez se dá em função de uma alteração,
enfermidade ou acidente que afete a audição, antes da
aquisição da fala. Neste caso, são surdos que não tiveram
experiência auditiva e não tiveram contato com a língua
portuguesa nos primeiros anos de vida, com comunicação
inteiramente visual. As pessoas que ficam surdas depois de
um contato inicial com a língua portuguesa têm um
desenvolvimento diferenciado e mais avançado em
comparação aos surdos pré-linguais. 5) iniciaram o
aprendizado de Libras após os 7 anos de idade: o contato
inicial e aprendizado de Libras, antes dos 7 anos de idade,
possibilita ao surdo o contato com sua 1ª língua na idade de
desenvolvimento adequada, desenvolvendo as habilidades
cognitivas essenciais e que colaboram para o aprendizado
da 2ª língua de forma mais efetiva. Contudo, esta não é
uma realidade entre os surdos, pois maioria deles é filho de
pais ouvintes, logo não tem contato com Libras.
DESCRIÇÃO DO PROCESSO DE AVALIAÇÃO
O processo de avaliação dos dois métodos foi realizado em
três fases (preparação, execução/coleta de dados e análise)
descritas nos itens a seguir.
A fase inicial de criação e estruturação de uma turma no
ambiente Moodle foi comum para os dois métodos. Tanto
para a inspeção (MIS) e realização dos testes (MAC),
utilizamos uma versão institucional do Moodle da UFMG,
versão 2.02, com um tema desenvolvido pela equipe do
Laboratório de Computação Científica da instituição para
ser utilizado no portal Minha UFMG.
Criamos uma turma fictícia com informações de um curso
real de "Programação de Computadores" proposto por um
perfil de professor que explora diversos recursos,
ferramentas e design da interface do Moodle. A opção por
esta disciplina se deve à experiência de um dos avaliadores
como professora nesta área, explorando, a plataforma
Moodle, como ambiente de apoio ao ensino presencial.
A página do curso foi estruturada em menus laterais e
tópicos. Optou-se por deixar os menus laterais disponíveis
na tela por se tratar de um design padrão do Moodle, apesar
de ser possível explorar o menu “dock” (minimizado na
lateral). No menu da esquerda, permaneceu o bloco de
Navegação e Configuração. No menu da direita, havia os
seguintes blocos: "Usuários on-line", "Calendário",
"Últimas notícias", "Menu do blog", "Participantes" e
"Mensagens". A parte central da tela foi organizada em
quatro tópicos com conteúdos do curso: “Sobre a
disciplina”, “É conversando que a gente se entende”,
“Material de apoio geral” e “Semana 1”. No menu da
esquerda, bloco de Navegação e Configuração. A Figura 1
mostra a tela inicial da turma utilizada para a inspeção do
MIS e para a execução das tarefas pelos usuários no papel
de alunos no MAC.
sistema. A metamensagem do projetista foi então elaborada
considerando-se apenas os signos inspecionados.
Consolidação e Apreciação
Nesta fase do MIS, os resultados das inspeções realizadas
pelos dois avaliadores foram consolidados e a apreciação
final do conteúdo foi elaborada. Nesta apreciação, as
potenciais rupturas de comunicação encontradas para
usuários surdos e ouvintes foram agrupadas em classes: 1 Ausência de padronização na interface (em janelas, botões,
ações do sistema); 2 - Falta de acessibilidade da
documentação (indisponível em língua portuguesa ou
Libras), 3 – Signos estáticos sem relação com nomenclatura
padrão (ícones e nomes de rótulos não representativos); 4 Ausência de instruções claras ou consistentes; e 5 Vocabulário inacessível para usuários surdos.
Foi reconstruída a metamensagem do projetista para o
usuário identificando os pontos comuns aos dois perfis de
usuários e os pontos que se aplicavam, especificamente, a
cada um deles.
Aplicação do MAC
Preparação
Figura 1 - Página inicial do curso criado no Moodle para a
avaliação.
A seguir sãs descritas as aplicações dos métodos.
Aplicação do MIS
Preparação
O objetivo do MIS foi avaliar a metacomunicação do
designer do Moodle para alunos surdos e ouvintes.
Realizamos uma inspeção informal do sistema e
elaboramos três cenários similares para os usuários
ouvintes e surdos, contendo apenas diferenças em relação
ao contexto (surdos e ouvintes). A inspeção foi feita a
partir das seguintes funcionalidades do sistema: no cenário
1, inspecionamos o uso do fórum (criar tópico, comentar
mensagem do colega), no cenário 2 o uso do blog (consulta
e comentário a uma postagem no blog e incluir um nova
postagem) e, no cenário 3, a entrega de uma tarefa.
Inspeção dos signos
Nesta fase, realizamos inspeções para cada tipo de signo
metalingüístico, estático e dinâmico. A inspeção a partir
dos cenários propostos foi realizada por dois avaliadores.
Um dos avaliadores fez a inspeção com a perspectiva de
interação usuário ouvinte-sistema, enquanto o outro – que
tinha conhecimento prévio sobre a cultura surda –
inspecionou sob a perspectiva de interação usuário surdo-
Como nossa inspeção do MIS apontou um grande número
de potenciais rupturas de comunicação em todas as tarefas,
utilizamos tarefas similares para o MAC. O objetivo do
MAC foi então avaliar a recepção e entendimento da
metacomunicação do designer do Moodle por alunos
surdos e ouvintes. Elaboramos um cenário de contexto e
três tarefas que também exploraram o uso do fórum, uso do
blog e envio de tarefas. Como a "avaliação da
comunicabilidade é um método qualitativo que privilegia a
análise em profundidade", o número de participantes é
normalmente pequeno, variando entre cinco e dez
participantes [1]. Desta forma, optamos por realizar testes
com seis participantes (3 usuários surdos e 3 usuários
ouvintes). Além dos seis testes, também realizamos um
teste piloto com um participante surdo, o que foi essencial
para que validássemos nossa proposta de avaliação.
Para o MAC, utilizamos o mesmo cenário e mesmas tarefas
para os usuários surdos e ouvintes. O cenário foi: “Você é
um (a) aluno (a) universitário (a) do primeiro período do
curso de Computação e está aprendendo a criar programas
de computador. Essa aula acontece tanto na sala de aula
(presencial), quanto na Internet (à distância), ou seja,
algumas atividades são feitas durante as aulas e outras
pelo computador, através de um sistema chamado
Moodle.”.
A primeira tarefa consistiu na participação em um fórum de
discussão (a ser localizado na página da turma) e na
postagem de um novo tópico de discussão. A segunda
tarefa envolveu a participação do aluno no blog do próprio
Moodle onde o aluno deveria localizá-lo na página do curso
e postar uma mensagem usando texto e imagem. A terceira
tarefa consistiu na submissão de dois arquivos para
avaliação do professor através da funcionalidade de envio
de tarefa (do Moodle).
Coleta de Dados
Todos os testes foram realizados em ambiente controlado,
no laboratório de usabilidade do DCC da UFMG, durante
três dias consecutivos. Os testes foram realizados em um
computador com Windows XP em inglês, utilizando o
navegador Firefox versão 3.x.
Esta fase do MAC contemplou: execução e gravação das
tarefas pelos participantes, anotações durante o teste e
entrevista pós-teste [11].
Durante a realização dos testes com participantes surdos,
tanto a comunicação oral quanto o material impresso foi
traduzido para Libras por um intérprete. Ele foi orientado
para que fosse o mais fiel possível em sua tradução, de
forma a possibilitar uma comunicação real e clara de todo o
processo. Para corroborar com esta clareza e evitar
problemas na metodologia do teste, solicitamos que ele
expressasse também em língua portuguesa, o que estivesse
traduzindo para Libras. Ele foi orientado para não
responder às dúvidas dos participantes surdos, mesmo que
soubesse as respostas, pois as respostas deveriam ser
apresentadas pelos avaliadores.
Durante a execução das tarefas propostas, gravamos a
interação dos usuários através de captura da tela e, no caso
dos usuários surdos, seus rostos foram filmados e
incorporados a esses vídeos. Este recurso foi importante,
pois as reações dos usuários surdos são bem evidentes
através das expressões faciais, uma vez que eles têm como
língua natural uma língua de características espaço-visual.
Vale ressaltar que os aspectos éticos previstos em lei [4]
foram considerados e devidamente explicados aos
participantes, que registraram o consentimento por escrito
em documento. Nos testes com usuários surdos, o termo de
consentimento foi primeiramente lido por eles e, em
seguida, traduzido pelo intérprete.
Análise
Após a realização dos testes, seguimos à fase da análise que
contemplou etiquetagem, interpretação e geração do perfil
semiótico. Os vídeos foram então analisados e etiquetados
de acordo com as rupturas de comunicação encontradas.
Nossa interpretação foi realizada por usuário e por tarefa.
Na interpretação por usuário, foram considerados a ordem
com que ele executou as tarefas e seu perfil de experiência
com a Internet e sistemas de ensino à distância. Para cada
um dos problemas encontrados, foram apresentadas
sugestões de melhoria. A interpretação por usuários foi
então consolidada para uma interpretação final por tarefas
quando as rupturas de comunicação por tarefa foram
identificadas e analisadas, assim como as possíveis
melhorias. Seguimos então para a etapa final que consistiu
na geração do perfil semiótico onde fizemos a reconstrução
da metamensagem do projetista ao usuário, apontando os
problemas encontrados.
RESULTADOS
As rupturas encontradas em cada um dos métodos foram
reunidas e contrastadas. A seguir apresentamos os
principais problemas identificados na avaliação. A maioria
dos problemas afeta tanto usuários ouvintes, quanto
usuários surdos. Para cada um deles, descrevemos o
problema e sua relação com usuários surdos e/ou ouvintes,
localização na interface, o método pelo qual foi
identificado e sugestões para solução do problema. Para os
problemas identificados através do MIS é também descrita
a classe a que o problema foi relacionado.
Problemas Encontrados: Tarefa 1 – Uso do fórum
A1 - Linguagem inacessível para surdos
Local na interface: Tela principal do fórum
Descrição/Justificativa: Na tela principal do fórum,
através do MIS, encontramos potenciais rupturas
comprovadas pelo MAC. Alunos poderiam ter dificuldade
compreender o que era para ser feito no fórum, pois são
utilizados termos pouco conhecidos pelos surdos, como
acrescentar, tópico e discussão. Através do MAC,
comprovou-se a dificuldade de compreensão. Assim, ao
usar o sistema, os alunos surdos tiveram dificuldade em
compreender como deveriam proceder para criar um novo
tópico e postar uma mensagem no fórum. Além disso, a
interface não apresenta acesso a um sistema de ajuda que
permita ao usuário se recuperar do problema vivenciado.
Método de descoberta: MAC, MIS (Classe 5: Vocabulário
inacessível para usuários surdos)
Sugestões de melhoria: - Criar um sistema de ajuda para
alunos explorando o uso de imagens e/ou vídeos de forma a
promover mais acessibilidade e comunicabilidade tanto
para surdos, quanto para ouvintes; – Disponibilizar um link
para um dicionário Português-Libras; - Alterar os termos
para que fiquem mais acessíveis ao usuário surdo.
A2 – Feedback temporizado no uso do fórum
Local na interface: Comportamento do sistema ao clicar
em “Criar novo tópico de discussão” no fórum
Descrição/Justificativa: Ao criar o tópico, uma mensagem
de feedback é exibida durante um curto período de tempo e
pode não ser percebida pelos usuários neste tempo,
especialmente, por usuários surdos.
Método de descoberta: MAC
Sugestões de melhoria: - Solicitar que o usuário clique em
botão para prosseguir, em vez de prosseguir
automaticamente depois de curto período de tempo; - Ou
criar um feedback persistente em uma região da tela (como
por exemplo é feito no Gmail).
Problemas Encontrados: Tarefa 2 – Uso do blog
B1 – Uso de linguagem complexa
Local na interface: Links de nova postagem no blog na
página inicial do curso.
Descrição/Justificativa: Tanto a inspeção quanto o teste
com usuários revelaram o uso de textos (rótulos e
mensagens) que não representavam bem sua função. Por
exemplo, para postar no blog, o usuário deve acessar um
dos dois links: “Acrescentar novo texto” ou “Blog sobre
este Turma”, mas nenhum deles representa bem a função da
ação associada. Isso acarretou em falhas parciais ou até
completas na interação, uma vez que esta funcionalidade
não foi acessada pelos surdos e por um ouvinte.
Método de descoberta: MAC e MIS (Classe 5:
Vocabulário inacessível para usuários surdos)
Sugestões de melhoria: Substituição das expressões
utilizadas por outras que informem sobre a criação de uma
nova postagem no blog.
Problemas Encontrados: Tarefa 3 – Envio de tarefas
C1 – Dificuldade em encontrar o botão “enviar arquivos”
Local na interface: Página de envio de tarefas.
B2 – Signo de inserção de imagem de difícil identificação
Local na interface: Página de postagem do blog (ver
Figura 2).
Figura 2 - Barra de ferramentas do editor de texto.
Descrição/Justificativa: Usuário ouvinte não conseguiu
localizar a funcionalidade de incorporação de imagem em
postagem no blog. A barra de ferramentas para edição de
texto reúne diversas funcionalidades, que são representadas
apenas por imagens. O excesso de elementos na barra e a
escolha de ícones pouco representativos para essas
funcionalidades não permitiram que o usuário localizasse o
acesso à função de incorporação de imagem.
Método de descoberta: MAC
Sugestão de melhoria: Simplificar o menu de edição de
texto rico WYSIWYG (What You See Is What You Get) a
fim de priorizar funções mais importantes, como a inserção
de imagem. Também poderiam ser utilizados rótulos para
os botões, além das imagens.
B3 - Perda de contexto de navegação
Local na interface: na página principal do curso.
Figura 3 - Navegação estrutural (breadcrumb) na página da turma
(cima) e após acessar o blog (baixo).
Descrição/Justificativa: Ao entrar no blog, o Moodle sai
do contexto do curso em que o usuário estava interagindo
(ver Figura 3 acima). Isso dificultou que usuários (surdos e
ouvintes) pudessem retornar à página inicial do curso após
o acesso ao blog.
Método de descoberta: MAC.
Sugestão de melhoria: Manter na navegação estrutural
(breadcrumb) o caminho que o usuário utilizou para chegar
ao blog, possibilitando-o voltar ao seu contexto de origem.
Oferecer ao usuário a opção de voltar ao contexto do curso
onde ele estava quando acessou o blog ou fazê-lo
automaticamente.
Figura 4 - Página de envio de tarefa. (a) mostra a área visível da
página no navegador (resolução 1440x900) e (b) mostra o botão
de envio de arquivos.
Descrição/Justificativa: Na página da tarefa usuários
tiveram dificuldades em encontrar o botão “Enviar
arquivos”. Na região superior da página o professor pode
cadastrar o enunciado. Dependendo de seu tamanho, a
região inferior pode ficar visível apenas quando o usuário
rolar a página. Desta forma, o botão “Enviar Arquivos”,
que representa a funcionalidade principal da página, não
está devidamente priorizado na interface – inclusive, está
dividindo espaço e importância com outros signos estáticos
e dinâmicos: datas, "Esboço do Documento" e "Notas" etc.
A funcionalidade secundária “Notas” (para anotações) foi
indevidamente explorada pelos usuários diante da
dificuldade encontrada para o envio de arquivos (Figura 4).
Método de descoberta: MAC
Sugestões de melhoria: - Rever a hierarquia visual desta
tela de envio de arquivos, priorizando o botão de envio de
arquivos e associando “notas” com peso secundário ou
unindo esta ação ao envio de tarefa; - Utilizar rótulos para
os signos estáticos e dinâmicos que expressem melhor as
funcionalidades e sejam de conhecimento do usuário
(“Esboço do documento” se refere a quê? “Notas” = espaço
para anotações); - Incluir sistema de ajuda para uso do
envio de tarefas na tela principal de envio da tarefa.
C2 – Nomenclatura de signos sem contexto
Local na interface: Página de envio de tarefas.
Problemas Encontrados: Geral
D1 - Excesso de signos na interface
Figura 5 - Região inferior da página de envio de tarefa.
Descrição/Justificativa: A nomenclatura do signo “Esboço
do documento” está sem contexto dentro da tela de entrega
de uma tarefa. (Ver figura acima). Ele está localizado
acima do botão de envio de arquivos. Não é possível
compreender a que esse signo se refere, o que provocou
rupturas de comunicação.
Método de descoberta: MAC, MIS (Classe 3: Rótulos dos
signos estáticos sem relação com nomenclatura padrão)
Sugestão de melhoria: Utilizar rótulos para os signos de
forma que expressem melhor as funcionalidades e sejam de
conhecimento do usuário. No caso específico, um nome
mais apropriado seria: lista de arquivos enviados.
C3 - Termos fora de contexto
Local na interface: 2º passo da página de envio de tarefas.
Descrição/Justificativa: Ao clicar em “Enviar arquivos”, o
usuário é levado para uma nova página que mostra dois
botões “Adicionar” e “Criar diretório” (sem contexto com a
ação “Enviar arquivos”) que levaram a rupturas de
comunicação, pois alguns usuários tiveram dificuldades em
compreender, nesta tela, o próximo passo a ser executado.
Método de descoberta: MAC.
Sugestão de melhoria: Utilizar termos de mais comumente
utilizados e conhecidos pelo usuário (e.g: buscar arquivos,
criar pastas).
C4 – Botão de seleção de arquivo com texto variando de
acordo com a língua do navegador (e.g. inglês)
Local na interface: Segundo passo da página de envio de
tarefas.
Justificativa: Ao clicar em “Enviar arquivos”, a seguir em
“Adicionar”, é exibida uma nova tela para seleção de
arquivos, cujo rótulo do botão para envio de arquivos varia
em função da língua do navegador. Ou seja, se o
navegador estiver em inglês, o botão será exibido como
"choose file" ou "browse". Como é um botão de ação
principal, a não compreensão deste signo (como ocorreu
com um usuário surdo) pode comprometer a comunicação
sistema-usuário e impossibilitar o envio do arquivo.
Método de descoberta: MAC.
Sugestão de melhoria: Representar o controle de envio de
arquivo a partir da língua definida para o Moodle, de forma
a possibilitar uma configuração associada ao Moodle e não
ao navegador (que pode resultar em falhas na
comunicação).
Local na interface: Página inicial do curso com menus
laterais.
Descrição/Justificativa: Dificuldades para localizar o link
do fórum, o menu do blog e o link do envio de tarefa
descritos no cenário. Os links do fórum e envio de tarefa
estavam presentes na parte central da página principal do
curso e o menu do blog, na parte lateral direita. A presença
de muitos signos na interface confundiu os usuários
dificultando que eles encontrassem os links corretos. O
usuário então ficou interagindo com outros signos fora do
contexto (link de outro fórum, link para outro blog externo)
Método de descoberta: MAC
Sugestões de melhoria: - Redesenhar a arquitetura da
informação explorando uma interface mais minimalista
para a página inicial do curso; - Criar um menu de acesso
ubíquo com links para os principais recursos e atividades
do curso (blog, fórum, tarefas, páginas, arquivos etc.); Reorganizar a estrutura do menu lateral de forma
hierárquica priorizando o conteúdo do curso em que o
aluno está navegando; - Incluir sistema de ajuda para uso
do fórum na tela principal do fórum; - Agrupar fóruns e
permitir a navegação entre eles; - Identificar as tarefas por
status (pendentes, concluídas, em revisão).
D2 - Dificuldades para encontrar o botão de ação principal
(fórum e tarefa)
Local na interface: Página principal do fórum e de envio
de tarefas.
Descrição/Justificativa: Na página de fórum e na página
de envio de tarefas, alguns usuários tiveram dificuldade
para localizar o botão de ação principal (criar novo tópico,
enviar arquivos), pois eles estão localizados na parte
inferior da tela. Além disso, este problema é agravado se o
professor cadastra um enunciado para o fórum ou tarefa
que ocupe toda a área visível da página. Neste caso, os
botões das ações principais ou outras funcionalidades ficam
visíveis somente quando o usuário faz a rolagem da tela
para baixo (ver Figura 4).
Método de descoberta: MAC
Sugestões de melhoria: - Alterar o formato da disposição
do enunciado do fórum/tarefa para que o conteúdo
específico de cada página e os botões ou links de ação
estejam sempre visíveis (sem que seja necessário rolar a
página para baixo); - Exibir as ações principais (criar novo
tópico, enviar arquivos) em local mais visível (prioridade
na tela) para o usuário e em destaque.
D3 - Ausência de sistema de ajuda
Local na interface: tela principal do fórum, menu do blog
e tela do envio de tarefas.
Descrição/Justificativa: Ausência de sistema de ajuda para
auxiliar no uso do fórum, blog e tarefa (envio de arquivos).
A necessidade de um sistema de ajuda foi percebida,
especialmente, nos testes, quando os usuários, diante de
dificuldades para realização da tarefa, recorreram ao
tutorial para uso do fórum (disponibilizado pelo professor)
e instruções para realização das tarefas (também
disponibilizadas pelo professor).
Método de descoberta: MAC, MIS (Classe 2: Falta de
acessibilidade da documentação; Classe 4: Ausência de
instruções claras ou consistentes)
Sugestão de melhoria: Criar um sistema de ajuda para uso
por alunos, com link de acesso nas próprias telas,
explorando o uso de imagens e/ou vídeos de forma a
promover mais acessibilidade e comunicabilidade tanto
para surdos, quanto para ouvintes.
D4 - Ausência de documentação em língua portuguesa.
Local na interface: Páginas de ajuda e documentação no
site Moodle.org.
Descrição/Justificativa: Boa parte da documentação
explicativa do Moodle não está disponível em português.
Além disso, há um vídeo que explica sobre o Blog do
Moodle. Apesar de o vídeo possuir legenda, ela está em
língua inglesa. O que caracteriza uma possível ruptura de
comunicação para usuários não proficientes nessa língua.
No caso do aluno surdo, que tem como primeira língua
Libras e segunda língua a língua portuguesa, ele poderá ter
grandes dificuldades em fazer uso do vídeo como sistema
de ajuda para uso do blog no Moodle.|
Método de descoberta: MIS (Classe 2: Falta de
acessibilidade da documentação)
Sugestão de melhoria: - Traduzir os textos de ajuda e
documentação para língua portuguesa; – Oferecer uma
versão em Libras.
D5 - Excesso de janelas no envio de arquivos
Local na interface: Páginas de postagem no blog e novo
tópico no fórum.
de imagem já enviada, seleção de imagem no Picasa) em
segundo nível do wizard.
D6 – Usuários não percebem que saíram do contexto do
Moodle ao acessarem links externos
Local na interface: Todos os links externos, e.g. rodapé da
página inicial do Moodle após login.
Justificativa: O usuário clicou em links para sites externos,
mas não percebeu que saiu do contexto do Moodle e
continuou sua interação com o intuito de realizar a tarefa
nesse outro contexto.
Método de descoberta: MAC
Sugestão de melhoria: Indicar explicitamente a mudança
de contexto informando ao usuário que vai acessar um link
externo ao Moodle. E então, aguardar a confirmação do
usuário para este acesso.
D7 - Ausência de agrupamento de postagens de usuários
nos blogs
Local na interface: Página inicial e menu lateral.
Justificativa: O sistema não faz agrupamento de postagens
no blog por turma, sendo necessário que os usuários
deliberadamente associem suas postagens a uma tag (um
texto) comum entre todos os alunos da mesma turma. Dessa
forma, os alunos podem ter dificuldade para ler as
postagens dos colegas de turma, já que a única forma de
visualizar essas postagens é por meio de uma busca por
tags. Ou seja, se o professor não instruir os alunos sobre a
necessidade de utilização de uma tag comum para a turma
ou se o usuário não associar sua postagem a essa tag, tanto
o professor quanto outros alunos poderão não encontrar
essa postagem. O sistema não comunica esse fato aos
usuários, cabendo ao professor a responsabilidade de
instruir os alunos.
Método de descoberta: MIS (Classe 4: Ausência de
instruções claras ou consistentes)
Sugestão de melhoria: Incluir busca por turma e
organização de todas as postagens de colegas que fazem
parte da mesma turma. Comunicar aos usuários sobre a
utilidade e necessidade de inclusão de tags.
Problemas não intencionais
Figura 6 - Passos para incorporar uma imagem no corpo do texto
Justificativa: Para incorporar uma imagem a um texto,
anexar um arquivo ou enviar arquivos, os usuários
precisam interagir com duas a três janelas modais com
muitas opções. Na Figura 6 os números indicam os passos
necessários para isso.
Método de descoberta: MAC.
Sugestões de melhoria: - Seguir padrão utilizado em
outros softwares: ao clicar para anexar, abrir diretamente a
lista de arquivos locais; - Disponibilizar uma explicação
sobre quais são os passos para o envio de arquivos (como
um wizard); - Disponibilizar as ações avançadas (seleção
Estes problemas representam aqueles não fazem parte da
metacomunicação desejada do projetista, como bugs ou
aqueles ligados à instância de instalação do Moodle.
Problema 1 - Mensagem ilegível ao confirmar a
incorporação da imagem no corpo de texto do blog. O texto
estava comprimido em uma caixa de diálogo muito
pequena que impedia sua leitura e a caixa de diálogo não
tinha título.
Problema 2 - Alguns signos estáticos estavam em inglês, ou
seja, não estavam na língua configurada para o Moodle língua portuguesa.
Localização do Sistema Escolhido
A linguagem padrão do Moodle é o inglês, mas existem
traduções para mais de 100 línguas em andamento. Até o
momento da escrita deste artigo, julho de 2011, 92% dos
textos que compõem a interface do Moodle está traduzido
para a língua portuguesa [7].
Durante a avaliação, identificamos na interface do Moodle
mensagens e rótulos não traduzidos para o português e
concentramos essas ocorrências na seção de problemas não
intencionais. Além da tradução de textos, existem outros
aspectos de localização de sistemas como o formato de
datas, endereços, representação de números, dentre outros.
Contudo, todos esses aspectos no Moodle estavam em
conformidade com os padrões da cultura brasileira.
Fechamento
MIS
Os resultados obtidos nas avaliações foram analisados e
comparados e elaboramos uma apreciação final do
conteúdo identificado na metacomunicação do projetista
para o usuário e a reconstrução da metamensagem. Por
questão de espaço, apresentamos uma versão sintetizada da
reconstrução da metamensagem do projetista ao usuário:
“Caro usuário que faz uso do blog, do fórum ou utiliza o
envio de tarefas do Moodle com proficiência em leitura de
instruções em inglês, que são experimentadores corajosos
de sistemas e têm experiência em navegação na Internet e
as ferramentas de colaboração famosas, venho propor a
vocês o sistema que criei para viabilizar o ensino à
distância. - Uso do fórum: Eu criei para você um sistema
de fórum, onde você pode localizar assuntos ou palavras
do seu interesse nas mensagens postadas no fórum,
visualizar as informações dos tópicos já postados ou
incluir um novo tópico de discussão para se comunicar
com seus colegas. (...) - Uso do blog: Eu criei para você
outro sistema de comunicação que é um pouco diferente do
fórum – o sistema de blog. Nele você também pode se
comunicar com outros colegas, professores, tutores, além
de outros usuários do Moodle. (...) - Envio de tarefas:
Através do Moodle, você também pode enviar um ou vários
arquivos de exercícios/tarefas utilizando o recurso de
tarefa do Moodle 2.0. Você pode enviar um ou mais
arquivos utilizando o botão "Enviar arquivos". (...)”.
MAC
Um resumo do tempo de conclusão da interação e resultado
de cada tarefa pode ser encontrado na tabela abaixo:
Dos dezoito testes realizados (seis usuários x três tarefas),
apenas nove testes foram concluídos com êxito; nove testes
foram interrompidos com a desistência dos usuários; e três
foram concluídos parcialmente pela desistência de alguns
dos itens das tarefas.
Em boa parte dos testes, os usuários despenderam muito
tempo explorando a interface do Moodle para encontrar o
acesso para as páginas onde realizariam as tarefas, sendo
que alguns chegaram a sair do contexto e continuaram
explorando. Esse comportamento foi mais comum entre os
usuários surdos.
Uma divergência nas interações de usuários ouvintes e
surdos foi na interação com o envio de imagens e arquivos.
O Moodle oferece muitas funcionalidades relacionadas à
incorporação de imagens e arquivos, mas a interface dessas
funcionalidades envolve diversas telas com variadas opções
de configuração e diferentes das telas com as quais os
usuários estão habituados com outros sistemas na Internet.
Apesar dos problemas de interação com essa interface
terem ocorrido em maior frequência (porém, não apenas)
com os usuários surdos, quaisquer usuários do Moodle
poderiam desfrutar de melhorias na comunicabilidade dessa
e de outras interfaces do sistema.
Segundo a EngSem, a desistência de concluir uma tarefa é
uma ruptura completa e pode levar os usuários a imaginar
que as funcionalidades que buscavam não estavam
presentes no sistema, quando de fato estavam. Isso pode ser
grave, pois pode levar os usuários a não utilizarem o
sistema por não entenderem a solução do projetista (ruptura
no nível estratégico [1,12]). O alto número de rupturas de
comunicação completas tanto de usuários surdos, quanto de
ouvintes nos permite considerar que elas se devem a
problemas de comunicabilidade relacionados à interface e
não às dificuldades de linguagem dos usuários surdos. Em
geral, a dificuldade de compreensão da língua portuguesa
pelos usuários surdos teve reflexos no tempo de execução
da tarefa, já que eles levaram, em média, mais do que o
dobro do tempo dos ouvintes para concluir as tarefas.
Apresentamos o trecho inicial e final do perfil semiótico:
“Caro aluno que utiliza o Moodle, como um ambiente de
apoio, em disciplinas e/ou cursos à distância, presenciais
ou semipresenciais. Eu imagino que você é um aluno que
deseja ter acesso ao material do seu curso/disciplina e se
comunicar com seus colegas e professor, a partir de
qualquer computador, em qualquer local e quando quiser.
Para isso, eu criei o sistema Moodle que pode ser acessado
por você através do simples acesso a uma página da
Internet, sendo necessário apenas ter seu login e senha de
acessos. (...) Eu imagino que você deseja ter acesso ao
material didático do seu curso/disciplina de forma
organizada e centralizada em um site e, preferencialmente,
online. Assim você pode acessar de qualquer computador,
em qualquer local e quando desejar. (...) Eu criei para você
um sistema de ensino a distância que pode apoiar suas
aulas presencias, semipresenciais e à distância. É ainda
um sistema que se adapta as mais diversas necessidades,
sendo de fácil aprendizado e bastante flexível. Eu imagino
que explorando os recursos do Moodle, você poderá ter um
aprendizado mais efetivo e flexível. Você poderá ainda
desenvolver seu aprendizado com mais autonomia e ter
liberdade para organizar suas atividades de acordo com o
seu tempo e local de acesso.”
As metamensagens reconstruídas no MIS e no MAC foram
consistentes, não apresentando divergências.
CONCLUSÕES
Neste trabalho foi apresentada a avaliação feita do sistema
Moodle, na perspectiva de alunos surdos e ouvintes. Para
isso decidimos avaliar a comunicabilidade, por sua
importância na identificação de como o sistema está sendo
apresentado ao usuário, fundamental para o seu uso.
Utilizamos os métodos MIS e MAC. Como produtos finais
destes métodos de avaliação baseados na EngSem, temos a
metacomunicação do projetista para os usuários através do
sistema da forma como ela foi emitida (MIS) e da forma
como foi recebida (MAC).
AGRADECIMENTOS
Agradecemos a todos os participantes dos testes que nos
forneceram através de sua interação com o Moodle
informações valiosas para a realização deste trabalho; à
nossa amiga Glívia Barbosa que nos acompanhou durante a
realização dos testes; ao intérprete Rafael Silva Guilherme,
que viabilizou nossa comunicação com os usuários surdos;
ao professor Márcio Bunte e a Leonardo Freitas do LCC
pelo apoio à criação dos cursos no Moodle da Minha
UFMG e auxílio a dúvidas. Finalmente, os autores
agradecem à FAPEMIG e CAPES pelo apoio à sua
pesquisa.
REFERÊNCIAS
1. Barbosa, S.D.J. and Silva, B.S. da. Interação HumanoComputador. Elsevier Editora Ltda., 2010.
A partir da análise dos resultados foi possível notar que a
necessidade do usuário ter experiência de navegação na
Internet identificado no MIS foi corroborado e
intensificado no MAC. Além disso, apesar do designer
emitir a informação de que os usuários podem/devem
explorar o sistema para aprender através de tentativa e erro,
o comportamento dos usuários durante o teste não revelou
que essa informação havia sido recebida por eles, uma vez
que, em mais de uma situação durante as interações, eles
tiveram receio em acessar links, botões ou não perceberam
a presença deles.
2. Bernardino, E.L. Absurdo ou lógica? A produção
lingüística dos surdos. Profetizando Vida, Belo
Horizonte, 2000.
Portanto, além da realização do MIS ter contribuído para a
definição dos cenários a serem utilizados no MAC, a
comparação da metamensagem emitida (MIS) com a
recebida (MAC) forneceu informações importantes para a
avaliação da comunicabilidade do Moodle: potenciais
rupturas de comunicação identificadas na inspeção foram
confirmadas no teste e os resultados de outras rupturas
encontradas em cada um se complementaram.
5. Litto, F.M. and Formiga, M. A educação a distância: o
estado da arte. Pearson Education, São Paulo, 2007.
Dentre as possíveis contribuições deste trabalho
consideramos: 1) Descrição do uso do MIS e MAC para
avaliação com surdos e ouvintes, auxiliando na pesquisa
destes sistemas em diferentes contextos (considerando
acessibilidade) e, também, geração de descrições sobre o
seu uso (para pessoas que estão aprendendo os métodos);
2) Apresentação de decisões sobre como aplicar estes
métodos com pessoas surdas, sendo útil para quem quer
realizar testes com este perfil de usuários; 3) Os problemas
encontrados são relevantes sobre o uso do sistema e serão
comunicados aos responsáveis pela manutenção do sistema,
podendo gerar melhorias na sua qualidade tanto para
ouvintes, quanto para surdos; 4) O foco no usuário surdo
contribuiu para a geração de conhecimento sobre as
dificuldades destes usuários, assim como a adequação das
tecnologias ao uso por eles. Sendo assim, a descrição dos
problemas apresentados pode evitar que eles ocorram em
outros sistemas.
8. Oliveira, D.R.R. de, Souza, G.O., Dias, J.S., Muller,
M.F., Prates, R.O., and Bernardino, E.L. Avaliação da
acessibilidade do sítio da Receita Federal para
deficientes auditivos. Competição de Avaliação do IHC,
Sociedade Brasileira de Computação (2010).
3. Botelho, P. Linguagem e letramento na educação dos
surdos - Ideologias e práticas pedagógicas. Autentica
Editora, Belo Horizonte, 2005.
4. Brasil. Ministério Nacional da Saúde. Conselho
Nacional de Saúde. Resolução 196/96 sobre pesquisa
envolvendo seres humanos. Journal of the
Electrochemical Society, 1996.
6. Messa, W.C. Utilização de Ambientes Virtuais de
Aprendizagem - AVAS: A Busca por uma
Aprendizagem Significativa. ABED 9, (2010).
7. Moodle.org. Download: Language Packs.
(http://download.moodle.org/langpack/2.0/).
2011.
9. Palloff, R.M. and Pratt, K. Construindo comunidades de
aprendizagem no ciberespaço: estratégias eficientes
para a sala de aula on-line. Artmed, 2002.
10. Prates, R.O. and Barbosa, S.D.J. Introdução à Teoria e
Prática
da
Interação
Humano
Computador
fundamentada na Engenharia Semiótica. Atualizações
em Informática, (2007), 263–326.
11. Prates, R.O., Souza, C.S. de, and Barbosa, S.D.J.
Methods and tools: a method for evaluating the
communicability of user interfaces. interactions 7,
2000, 31–38.
12. Souza, C.S. de. The Semiotic Engineering of HumanComputer Interaction. The MIT Press, Cambridge,
2005.