ESUD 2013 – X Congresso Brasileiro de Ensino Superior a Distância
Belém/PA, 11 – 13 de junho de 2013 - UNIREDE
AVALIAÇÃO DA USABILIDADE DO AMBIENTE TELEDUC
SOB A PERSPECTIVA DE TUTORES
Flávia Maria C. Torres1, Tereza G. Kirner2
1
Mestrado Profissional em Ensino de Ciências MPEC/UNIFEI, [email protected]
2
Instituto de Matemática e Computação IMC/UNIFEI, [email protected]
Resumo – Nos últimos anos, a Educação a Distância (EaD) vem mostrando uma
evolução significativa no contexto educacional do país. Cada vez mais as
universidades estão adotando softwares específicos, conhecidos como Ambientes
Virtuais de Aprendizagem (AVAs) para auxiliar na disseminação de conhecimento e
apoiar suas atividades. A usabilidade, que é definida como a capacidade do produto
ser compreendido, apreendido, utilizado e atrativo ao usuário, é um atributo de
qualidade exigido para os softwares, que deve estar presente também nos AVAS.
Neste contexto, este artigo apresenta um estudo empírico, cujo objetivo foi avaliar
aspectos da usabilidade do AVA TelEduc. A avaliação buscou identificar as
percepções dos tutores que utilizam o TelEduc nas suas atividades diárias,
enfocando especificamente os atributos de usabilidade relacionados a eficiência de
uso e operacionalidade. Foram avaliadas três ferramentas do TelEduc, utilizadas
com grande frequência pelos tutores, no acompanhando das atividades dos alunos:
o correio, o portfólio e a avaliação. O artigo apresenta a análise dos dados
levantados, discutindo os resultados obtidos. A análise dos dados, coletados por
meio de questionários aplicados aos tutores participantes da pesquisa, sugeriu que,
de forma geral, o TelEduc apresenta nível satisfatório de usabilidade. No entanto, a
análise da ferramenta “avaliação” indicou baixo índice de eficiência de uso e a
ferramenta “portfólio” indicou problemas no atributo operacionalidade. Tais
resultados apontam para a necessidade de estudos e ajustes em algumas funções
das ferramentas avaliadas, em relação aos atributos considerados, para que os
tutores consigam maior facilidade e rapidez na realização de suas tarefas e a
produtividade do AVA seja incrementada.
Palavras-chave: Avaliação de Usabilidade, Operacionalidade, Eficiência de Uso,
Educação a distância, TelEduc, tutoria em EaD.
Abstract – In the last years, distance learning has shown significant progress in the
Brazilian educational context. Increasingly, universities are adopting specific
software, known as Virtual Learning Environments to help the dissemination of
knowledge and support their activities. The usability is defined as the ability of the
product to be understood, perceived, used and attractive to the user. It is a software
quality attribute that must be present also in Virtual Learning Environments. In this
context, this paper presents an empirical study whose goal was to evaluate the
usability of TelEduc. The evaluation tried to identify the perceptions of tutors who
use the TelEduc in their daily activities. Two usability attributes were focused on:
the efficiency of use and the operability. For the evaluation, three TelEduc tools
were chosen: mail, portfolio and evaluations. These tools were chosen because they
are used quite often by tutors to monitoring the activities of the students. The paper
presents the data analysis and discusses the results. The analysis of the data,
collected through questionnaires, suggested that, in general, the TelEduc presents a
satisfactory level of usability. However, the analysis of the tool "evaluation" showed
a low level of efficiency of use and the tool "portfolio" showed problems in the
operability attribute. These results point to the importance of some adjustments of
the TelEduc tools, concerning the considered attributes. In this way, the quality of
the AVA and the productivity of the tutors could be improved.
Keywords: Usability Evaluation, Operability, Efficiency of Use, Distance Learning,
TelEduc, tutoring in distance education.
1.
Introdução
Nos últimos anos, a Educação a Distância (EaD) vem crescendo em todo o mundo e as
universidades vêm se utilizando dela, para realização de cursos de extensão, graduação, pósgraduação, certificação e treinamento (Censo ead, 2010).
A EaD adota softwares específicos, conhecidos como Ambientes Virtuais de
Aprendizagem (AVAs) para apoiar suas atividades. Atualmente, existe uma variedade de
AVAs disponíveis, incluindo tanto softwares gratuitos quanto proprietários. A Universidade
Federal de Itajubá adota, entre outros softwares, o TelEduc na sua versão 3.3.7 para ministrar
cursos a distância e auxiliar em disciplinas presenciais.
Custódio (2008) destaca que a usabilidade é uma característica essencial para o
sucesso de qualquer AVA, envolvendo facilidade de operação, eficiência de uso, facilidade de
aprendizagem e satisfação dos usuários na realização de tarefas. Assim, um software com um
bom nível de usabilidade pode trazer benefícios significativos, como minimização de erros,
melhor produtividade e qualidade dos resultados obtidos.
Este artigo apresenta um estudo empírico, cujo objetivo foi avaliar aspectos da
usabilidade do ambiente TelEduc. Tal avaliação objetivou verificar qual o nível de usabilidade
apresentado por esse ambiente, sob a perspectiva dos tutores de EaD que atuam no curso de
especialização em Design Instrucional da Universidade Federal de Itajubá. Em termos
específicos, foram enfocados os aspectos relacionados a eficiência de uso e a
operacionalidade do TelEduc, em relação às atividades realizadas pelos tutores, em suas
interações com as ferramentas Correio, Portfólio e Avaliações.
A seção 2 aborda os fundamentos conceituais do estudo, incluindo ambientes virtuais
de aprendizagem e o TelEduc, usabilidade de software e trabalhos relacionados ao tema
estudado. A seção 3 apresenta o estudo empírico, detalhando sua definição e realização. A
seção 4 mostra a análise dos dados obtidos. Por fim, a seção 5 apresenta as conclusões.
2. Fundamentos
2.1. AVAs e TelEduc
Desde o início dos anos 2000, a EaD no Brasil vem mostrando uma evolução
significativa em relação ao crescimento econômico do país (Censo ead, 2010). Neste
2
contexto, os AVAs tornam-se um recurso relevante de software, utilizados para a disseminação
da EaD.
AVAs são softwares que apoiam a geração de cursos e atividades correlatas, acessíveis
pela Internet, que dão suporte às instituições e profissionais na estruturação, disponibilização
e gerenciamento de conteúdos e cursos baseados na internet. Os AVAs podem ser empregados
tanto na EaD quanto no apoio a atividades de ensino presenciais ou semipresenciais.
(Franciscato et al., 2008). Entre os AVAs atualmente disponíveis, o TelEduc se destaca por ter
sido o primeiro AVA brasileiro, de código livre e uso gratuito. Foi desenvolvido a partir de
1999, por pesquisadores da UNICAMP, sendo utilizado em instituições de ensino do país e até
do exterior, possuindo em torno de quatro mil instalações (Rocha et al., 2011).
Para este trabalho, foi considerado o TelEduc na sua versão 3.3.7. A tela de interação
do ambiente consiste basicamente de duas partes: à esquerda, há uma barra de ferramentas,
onde os usuários disponibilizam os conteúdos que serão utilizados durante um curso; à direita,
em uma tela principal, são mostrados os conteúdos acessados pelas ferramentas, visíveis aos
participantes do curso. A tela inicial do TelEduc é apresentada na figura 1.
Figura 1 - Tela inicial do Teleduc
O TelEduc disponibiliza várias ferramentas, três das quais foram selecionadas para
esta avaliação: Correio, Portfólio e Avaliações A escolha baseou-se em um levantamento
prévio, realizado informalmente junto aos tutores, sobre que ferramentas consideravam de
maior uso, no acompanhamento e interação com os alunos.

Correio. Possibilita a comunicação assíncrona entre os participantes, o que é um fator
primordial em ambientes de EaD. O tutor acessa esta ferramenta diariamente, para
interagir com os participantes do curso, responder dúvidas e fazer comentários.

Avaliações. Permite que os tutores avaliem as atividades realizadas pelos alunos,
possibilitando-lhes controlar a entrega de tarefas, postar notas e escrever comentários
pertinentes. Esta ferramenta é frequentemente acessada pelos tutores, principalmente
nos períodos de avaliação do curso.

Portfólio. Permite que os alunos armazenem materiais utilizados e preparados durante
3
o curso. Os dados podem ser particulares ou compartilhados com os responsáveis pelo
curso e/ou com todos os participantes. Esta ferramenta é acessada pelos tutores
durante o período de realização das atividades pelos alunos.
2.2. Usabilidade de software
A usabilidade é um requisito de qualidade de software, definida como a capacidade do
produto de software ser compreendido, apreendido, utilizado e atrativo ao usuário, quando
usado em condições específicas (Kirner e Custódio, 2008). Este requisito compreende uma
série de atributos, como facilidade de aprendizado, facilidade de utilização, operacionalidade,
eficiência na realização de tarefas, satisfação do usuário, etc. (Côrtes e Chiossi, 2001).
Um software com um bom nível de usabilidade resulta em benefícios significativos,
levando à satisfação do usuário e a maior produtividade e minimização de erros, ao longo da
utilização do software (Custódio, 2008).
Para o presente trabalho, os atributos “eficiência de uso” e “operacionalidade” foram
selecionados para avaliação, por serem aspectos que influenciam diretamente o trabalho do
tutor. Estes atributos são definidos a seguir, para o contexto do presente estudo, com base em
Custódio (2008).

Operacionalidade. Consiste na medida da facilidade encontrada pelo tutor na
realização de tarefas no TelEduc. Apresenta como características indicativas:
operações simples, navegabilidade, disponibilidade de atalhos, rapidez na execução de
procedimentos, etc.

Eficiência de uso. Consiste na capacidade do ambiente apresentar bom desempenho e
alto nível de produtividade, e considerando-se o tempo de resposta. Apresenta como
características indicativas: desempenho na realização de tarefas, velocidade de geração
de páginas, velocidade de acesso e gravação de dados, etc.
2.3. Trabalhos correlatos
Existem alguns trabalhos que tratam da avaliação de usabilidade de AVAs, destacando-se os
estudos desenvolvidos por Custódio (2008) e Rocha et al. (2011).
Custódio (2008) realizou um estudo empírico, a fim de avaliar a usabilidade do
ambiente de EaD Moodle, sob o ponto de vista de professores que usavam esse AVA para
apoiar suas aulas. A avaliação seguiu um modelo, proposto pelos autores, que incluía um
conjunto de atributos de usabilidade, uma lista de perguntas definidas para obtenção dos
dados sobre os atributos e uma escala de métricas qualitativas para medir os atributos. Os
resultados obtidos pelo estudo empírico sugeriram que, em geral, o Moodle apresentava um
nível de utilização satisfatória, no contexto em que foi avaliado. Além de propor o modelo de
usabilidade e avaliação do software, o estudo buscou contribuir para a melhoria da qualidade
de software, principalmente em relação aos sistemas educacionais.
Rocha et al. (2011), por sua vez, conduziram uma pesquisa para avaliar a usabilidade e
acessibilidade do TelEduc, na sua versão 4.2. A avaliação envolveu cinco métodos: avaliação
heurística de usabilidade, questionário de coleta de opinião para testes com usuário, avaliação
remota e semi-automática da interação, avaliação heurística de acessibilidade e avaliação de
4
acessibilidade utilizando as guidelines da WCAG1.0. Os métodos de avaliação por heurísticas
de usabilidade e de acessibilidade consideraram os papéis do aluno e formador, enquanto o
método de coleta de opinião por questionário e a avaliação remota e semi-automática da
interação dos usuários considerou-se apenas o papel do aluno. A análise dos dados permitiu a
identificação de uma quantidade significativa de problemas de usabilidade do ambiente
TelEduc e de fatores de acessibilidade que inviabilizam o acesso e uso por pessoas com
deficiências.
3. Definição e realização do estudo empírico
O objetivo do estudo foi identificar o nível de usabilidade do TelEduc, em relação aos
atributos de operacionalidade e eficiência de uso, referentes às ferramentas “correio”,
“avaliações” e “portfólio”. A pesquisa enfocou a visão de tutores, que expressaram suas
atitudes e opiniões em relação aos atributos considerados. As três ferramentas foram
escolhidas por serem de uso frequente dos tutores. Os dois atributos, por sua vez, foram
escolhidos para serem avaliados por refletirem uma parcela significativa do esforço dos
tutores, no seu dia-a-dia.
A pesquisa visou responder à seguinte pergunta: “Qual a percepção dos tutores de
EaD, quanto à usabilidade do ambiente virtual de aprendizagem TelEduc, quanto aos aspectos
de operacionalidade e eficiência de uso das ferramentas correio, avaliações e portfólio?”
A população envolveu 14 tutores do Núcleo de Educação a Distância da Universidade
Federal de Itajubá, que espontaneamente responderam os questionários da pesquisa. Os
participantes puderam expressar, através das suas respostas, o grau de concordância ou
discordância em relação a questões afirmativas sobre os atributos de usabilidade
considerados.
Para a coleta de dados, foram elaborados dois questionários, o primeiro para
identificar o perfil dos participantes e o segundo para levantar aspectos de usabilidade do
ambiente. O Questionário 1 compreendeu sete questões sobre características do perfil dos
participantes. O Questionário 2 compreendeu 18 questões afirmativas fechadas e duas
questões abertas, organizadas de acordo com as ferramentas e os atributos de usabilidade
considerados.
Para a obtenção das respostas dos participantes no Questionário 2, foi definida uma
escala de cinco pontos, baseada na escala de Likert. Esta é uma escala em que os respondentes
são solicitados a expressar seu nível de concordância (ou discordância) em relação a
determinadas afirmações. Conforme Pereira (2004) cada uma das possíveis respostas pode ser
associada a um valor, que irá refletir a atitude do respondente em relação a cada afirmação. A
escala adotada neste trabalho assumiu os seguintes valores: 1: discordo completamente; 2:
discordo; 3: indiferente; 4: concordo; 5: concordo completamente.
As questões elaboradas para a avaliação de usabilidade do TelEduc estão agrupadas de
acordo com os critérios de usabilidade e as ferramentas selecionadas. As questões são
apresentadas no Quadro 1.
5
Quadro 1 – Questões Elaboradas para a Avaliação de Usabilidade do TelEduc.
Ferramenta Correio
Operacionalidade
 Q1 – A busca por mensagens antigas é eficiente e rápida.
 Q2 – Ao criar uma mensagem, o tempo utilizado para seleção de múltiplos destinatários é suficiente
para tornar a interação rápida.
 Q3 – A ferramenta correio geralmente apresenta mensagens de erro.
Eficiência de Uso
 Q4 – É fácil e rápido encontrar mensagens antigas a partir do nome do remetente.
 Q5 – Os correios de caixa de entrada permitem uma rápida visualização do conteúdo, sem que seja
preciso clicar sobre o link da mensagem.
 Q6 – Ao abrir uma mensagem, o carregamento da página e as suas opções de responder e encaminhar
apresentam velocidade satisfatória.
Ferramenta Avaliações
Operacionalidade
 Q7 – Após a avaliação de todos os alunos, a mudança de compartilhamento das avaliações, para a opção
“Formadores e alunos”, ocorre de forma rápida e eficiente.
 Q8 – As atividades corrigidas automaticamente pelo sistema não apresentam erros Frequentemente
 Q9 – As tarefas de avaliação podem ser executadas de forma rápida e lógica, proporcionando uma boa
produtividade ao tutor.
Eficiência de Uso
 Q10 – Quando os formadores finalizam uma avaliação, os alunos recebem automaticamente uma
mensagem do sistema, avisando-os da disponibilidade da mesma.
 Q11 – Ao acessar o arquivo do aluno pela ferramenta Avaliação, utilizo uma série de cliques para chegar
ao documento ou arquivo desejado.
 Q12 – Ao utilizar navegadores de internet diferente dos utilizados pelos alunos, já enfrentei dificuldade
em avaliar algumas atividades externas.
Ferramenta Portfólio
Operacionalidade
 Q13 – É possível fazer uma rápida visualização dos arquivos postados pelos alunos.
 Q14 – É fácil incluir comentários nos itens criados pelos alunos.
 Q15 – Quando os participantes se deparam com mensagens de erro no ambiente, é fácil compreender
qual foi o problema ocorrido.
Eficiência de Uso
 Q16 – O cabeçalho com as informações “Itens não Comentados” e “Itens não avaliados” são de fácil
entendimento e interpretação pelo tutor.
 Q17 – A velocidade de acesso às informações gravadas no portfólio dos alunos é considerada
satisfatória.
 Q18 – Com frequência, entro em contato com o suporte técnico para me auxiliar em alguma atividade
no TelEduc.
Informações Gerais
 Q19 – Quais são, em ordem crescente de utilização, as cinco ferramentas do TelEduc que você mais
acessa no seu dia-a-dia como tutor?
 Q20 – Você tem mais alguma observação sobre a dificuldade de operação e/ou eficiência do TelEduc?
4. Análise dos dados
A coleta de dados do estudo empírico foi realizada entre os dias 19/06/2012 e 26/06/2012. O
questionário foi aplicado pessoalmente aos tutores no Núcleo de Educação a Distância da
Unifei.
6
4.1. Perfil dos participantes
A população do estudo empírico foi composta por 14 tutores do curso de especialização em
Design Instrucional do NEaD/Unifei que utilizam o AVA TelEduc, versão 3.3.7.
Através da realização da pesquisa, foi possível coletar informações a respeito do perfil
dos participantes, mediante a aplicação do Questionário 1 - “Perfil dos Participantes”. A
tabela 1 resume essas informações.
Tabela 1 - Informações sobre o perfil dos participantes.
Quesitos
Qtd
%
1. Sexo
Feminino
11
78,58
Masculino
3
21,42
2. Faixa Etária
21 – 27 anos
4
28,59
28 – 34 anos
3
21,42
35 – 41 anos
3
21,42
42 – 48 anos
3
21,42
Acima de 48 anos
1
7,15
3. Formação Profissional
Administração
1
6,25
Ciências Biológicas
4
25
Ciência da Computação
1
6,25
História
1
6,25
Letras
3
18,75
Normal Superior
2
12,5
Nutrição
1
6,25
Pedagogia
3
18,75
(*) dois participantes apresentam duas graduações
Quesitos
Qtd
%
4. Tempo de Experiência como Professor
Entre 1 e 3 anos
1
7,15
Entre 3 e 5 anos
3
21,42
Mais de 5 anos
9
64,28
Não é Professor
1
7,15
5. Tempo de Experiência com o TelEduc
Menos de 1 ano
0
0
Entre 1 e 2 anos
2
14,28
Entre 2 e 4 anos
10
71,44
Mais de 5 anos
2
14,28
6. Local onde acessa a Internet com mais frequência
Em casa
13
92,29
No trabalho
1
7,14
7. Navegador Utilizado
Mozilla Firefox
9
64,29
Chrome
2
14,29
Internet Explorer
3
21,42
Outros
0
0
Os resultados apresentados pela tabela 1 indicam que a população do estudo empírico
foi composta, em grande maioria (78,58%), por indivíduos do sexo feminino, com faixa etária
entre 28 a 48 anos (64,26%).
A formação profissional dos tutores é variada, mas verificou-se predomínio das áreas
de Ciências Biologias (25%), seguido de Letras (18,75) e Pedagogia (18,75). A maioria dos
participantes (92,85%) são professores e (64,28%) destes apresentam mais de cinco anos de
experiência em sala de aula.
Outra característica que se pode destacar a respeito dos participantes, é o tempo de
utilização do TelEduc. Na atual equipe, nenhum tutor apresenta menos de um ano de
experiência com o TelEduc. A maioria (71,44%) dos participantes utiliza o ambiente entre três
e quatro anos e (14,28%) trabalham com tutoria de TelEduc mais de cinco anos.
Os tutores possuem flexibilidade temporal e geográfica para cumprirem a sua carga
horária. Sendo necessário se encontrar presencialmente no NEaD dois dias da semana. Assim,
a maioria (92,86%) acessa a internet com mais frequência de casa.
Os navegadores de internet mais utilizados pelos tutores para acessar o TelEduc são o
Mozilla Firefox (64,28%), o Internet Explorer (21,42%) e o Chrome (14,29%).
7
4.2. Usabilidade do Ambiente TelEduc
4.3. Análise da Operacionalidade
(a) Ferramenta Correio
A figura 2 ilustra os dados obtidos sobre a análise da operacionalidade da ferramenta
“Correio”, pelos respondentes.
Valores
10
9
8
7
6
5
4
3
2
1
Questão 1
Legenda:
discordo totalmente;
Questão 2
discordo;
Questão 3
indiferente;
concordo;
concordo totalmente.
Figura 2. Dados da operacionalidade da ferramenta “correio”.
A Questão 01 baseou-se na afirmativa “A busca por mensagens antigas é eficiente e
rápida”. Para esta afirmativa, houve uma concordância de ideias entre os participantes, pois
50% responderam que “discordam” e 21,43% responderam que “discordam completamente”.
Assim, 71,43% dos participantes não concordam que a busca por mensagens antigas é
eficiente e rápida. Os outros 28,57% dos participantes concordaram com a afirmativa.
A Questão 02 envolveu a afirmativa “Ao criar uma mensagem, o tempo utilizado para
a seleção de múltiplos destinatários é suficiente para tornar a interação rápida”. Para esta
questão, houve uma divergência de respostas. A alternativa “concordo” apresentou 50% das
respostas, mas 28,57% dos participantes responderam que discordam e 7,14% que discordam
completamente. A opção “indiferente” apresentou 14,28% das respostas.
A Questão 03 verificou a afirmativa “A ferramenta correio geralmente apresenta
mensagens de erro”. Para esta questão a maioria dos participantes (78,57%) discordou da
afirmativa, entre eles 42,86% optaram por “discordo” e 35,71% optaram por “discordo
completamente”. Apenas 7,14% discordou da afirmativa e 14,28% foram indiferentes.
Além de responderem as três questões, os participantes destacaram as seguintes
observações sobre a ferramenta “Correio”, registradas na questão 20:
 Selecionar em destinatários a opção “Formadores do Polo” leva tempo. Esta opção é
muito utilizada pelos tutores e fica por último na lista, sendo necessário arrastar a barra
de rolagem até o final.
8
 A ferramenta correio precisa de recursos para edição de mensagens, como opções de
negrito, grifar etc. A falta deste recurso obrigada a escrever em caixa alta para destacar
alguma informação, que pode ser mal interpretado pelo aluno.
A análise dos dados demonstra algumas dificuldades encontradas pelos usuários na
operação da ferramenta correio, principalmente em relação a busca de mensagens, seleção de
destinatários e edição de texto.
(b) Ferramenta Avaliações
A figura 3 ilustra os dados obtidos sobre a análise da operacionalidade da ferramenta
“Avaliações”, pelos respondentes.
Valores
10
9
8
7
6
5
4
3
2
1
Questão 7
Legenda:
discordo totalmente;
Questão 8
discordo;
Questão 9
indiferente;
concordo;
concordo totalmente.
Figura 3. Dados da operacionalidade da ferramenta “Avaliações”.
A Questão 07 baseia-se na afirmativa “Após a avaliação de todos os alunos, a
mudança de compartilhamento das avaliações, para a opção ‘Formadores e aluno, ocorre de
forma rápida e eficiente”. Para esta questão houve a maioria dos tutores discordaram da
afirmação, (71,43%). Deste resultado 42,86% discordaram completamente e 28,57 apenas
discordaram, enquanto 28,57 optaram por concordar.
A Questão 08 considera a afirmativa “As atividades corrigidas automaticamente pelo
sistema não apresentam erros com frequência”. Todas as opções de respostas foram
assinaladas. Os extremos “discordo completamente” e concorda completamente”
apresentaram mesma porcentagem, 7,41%. As opções “concordo” e “discordo” também
apresentaram resultados parecidos, sendo respectivamente 42,86% e 35,71%. A opção
“indiferente” ficou com 7,14% das respostas.
A Questão 09 aborda a afirmativa “As tarefas de avaliação podem ser executadas de
forma rápida e lógica, proporcionando uma boa produtividade ao tutor”. A opção “discordo
completamente” não foi escolhida, já o opção “discordo” apresentou 35,71% de escolhas. A
maioria dos participantes concordou com a afirmação, entre eles 50% concordaram e 7,14 %
concordaram completamente. 7,14% dos participantes optaram por serem indiferentes.
9
Além de responderem as três questões, os participantes destacaram a seguinte
observação sobre a ferramenta “Avaliações”, registrada na questão 20:
 A ferramenta avaliação poderia permitir a seleção de todos os alunos para realizar a
troca de compartilhamento de todos de uma só vez.
Os resultados sugerem, de forma geral, um bom nível de produtividade da ferramenta.
No entanto a troca de compartilhamento das avaliações demanda certo esforço do tutor.
(c) Ferramenta Portfólio
A figura 4 ilustra os dados obtidos sobre a análise da operacionalidade da ferramenta
“Portfólio”, pelos respondentes.
Valores
10
9
8
7
6
5
4
3
2
1
Questão 13
Legenda:
discordo totalmente;
Questão 14
discordo;
Questão 15
indiferente;
concordo;
concordo totalmente.
Figura 4. Dados da operacionalidade da ferramenta “Portfólio”.
A questão 13 verificou a afirmativa “É possível fazer uma rápida visualização dos
arquivos postados pelos alunos”. Para esta questão a opção “concordo completamente” não
foi escolhida, mas 35,71% dos participantes optaram pela opção “concordo”. A opção
“indiferente” apresentou 7,13%. A maioria discordou, entre eles 7,14% discordaram
completamente e 50% optaram por “discordo”.
A questão 14 envolveu a seguinte afirmativa “É fácil incluir comentários nos itens
criados pelos alunos”. Nesta questão a maioria dos participantes concordou com a afirmação.
Sendo que 71,43% escolheram a opção “concordo” e 14,28% a opção “concordo
plenamente”. As opções “indiferente” e “discordo completamente” não foram selecionadas.
Os outros 14,28% dos participantes discordaram da afirmação.
A questão 15 envolveu a afirmativa “Quando os participantes se deparam com
mensagens de erro no ambiente é fácil compreender qual o problema que ocorreu”. A
maioria dos participantes discordou da afirmação, dos quais 35,71% discordaram
completamente e 42,86% discordaram. Do restante, 14,28% concordaram com a afirmação e
7,14% foram indiferentes.
10
Os dados sobre a ferramenta portfólio demonstraram insatisfação apenas com as
mensagens de erros do sistema, que não são de fácil compreensão pelo tutor.
4.4. Análise dos dados sobre Eficiência de Uso
(a) Ferramenta Correio
A figura 5 ilustra os dados obtidos sobre a análise da eficiência de uso da ferramenta
“Correio”, pelos respondentes.
Valores
10
9
8
7
6
5
4
3
2
1
Questão 4
Legenda:
discordo totalmente;
Questão 5
discordo;
Questão 6
indiferente;
concordo;
concordo totalmente.
Figura 5. Dados da eficiência de uso da ferramenta “correio”.
Questão 4 baseou-se na afirmativa “É fácil e rápido encontrar mensagens antigas a
partir do nome do remetente”. Os resultados indicaram que a maioria dos participantes
discordou da afirmativa, pois 42,86% optaram pela alternativa “discordo completamente” e
28,57% dos participantes disseram que discordam. Apenas um participante optou pela
alternativa “indiferente”. Nenhum participante optou pela opção “concordo completamente”,
mas 21,43% optaram por concordar com a afirmação.
A questão 05 envolveu a afirmativa “Os correios da caixa de entrada permitem uma
rápida visualização do conteúdo, sem que seja preciso clicar sobre o link da mensagem”.
Nesta questão houve uma divergência de ideias entre os tutores. Todas as afirmativas foram
selecionadas. Entre elas, 14,28% dos tutores foram indiferentes. A mesma porcentagem de
tutores discordaram (28,57%) e discordaram completamente (28,57%). Dos que concordaram,
21,43% dos participantes optaram pela alternativa “concordo” e 7,14% pela opção “concordo
completamente”.
A questão 6 verificou a afirmativa “Ao abrir uma mensagem, o carregamento da
página e as suas opções de responder e encaminhar apresenta velocidade satisfatória”. Para
esta questão a maioria dos participantes (71,43%) concordou com a afirmação. As opções
“concordo plenamente” e “indiferente” não foram citados. 21,43% dos participantes
discordaram e 7,14% discordaram completamente.
11
A análise dos resultados demonstra a eficiência da ferramenta em relação ao tempo de
resposta do sistema. Mas as atividades de busca e pré-visualização das mensagens do correio
não tiveram resultados satisfatórios na visão dos tutores.
(b) Ferramenta Avaliações
A figura 6 ilustra os dados obtidos sobre a análise da eficiência de uso da ferramenta
“Avaliações”, pelos respondentes.
Valores
10
9
8
7
6
5
4
3
2
1
Questão 10
Legenda:
discordo totalmente;
Questão 11
discordo;
Questão 12
indiferente;
concordo;
concordo totalmente.
Figura 6. Dados da eficiência de uso da ferramenta “Avaliações”.
A questão 10 verificou a afirmativa “Quando os formadores finalizam uma avaliação,
os alunos recebem automaticamente uma mensagem do sistema, avisando-os da
disponibilização da mesma”. Para esta questão os participantes foram unânimes em discordar
da afirmativa. Assim, 64,28% dos tutores discordam completamente e 35,71% optaram pela
alternativa “discordo”.
A questão 11 considerou a afirmativa “Ao acessar o arquivo do aluno pela ferramenta
avaliação, utilizo uma serie de cliques para chegar ao documento ou arquivo desejado”. Para
esta questão todos os participantes concordaram com a afirmação. Destes, 69,23% optaram
pela alternativa “concordo” e 30,77% pela alternativa “concordo plenamente”.
A questão 12 envolveu a afirmativa “Ao utilizar navegadores de internet diferentes
dos usados pelos alunos, já apresentei dificuldade em avaliar algumas atividades externas”.
Nesta questão a maioria dos participantes (64,28%) concordaram com a alternativa e 30,77%
concordaram completamente. As outras opções tiverem cada uma delas, 7,14% de respostas.
Com base nos dados observou-se um baixo nível de eficiência uso da ferramenta. A
maioria dos tutores concordou que é preciso clicar em várias opções para ter acesso ao
arquivo e que já apresentou problemas de compatibilidade de navegadores de internet.
(c)Ferramenta Portfólio
A figura 7 ilustra os dados obtidos sobre a análise da eficiência de uso da ferramenta
“Portfólio”, pelos respondentes.
12
Valores
10
9
8
7
6
5
4
3
2
1
Questão 16
Legenda:
discordo totalmente;
Questão 17
discordo;
Questão 18
indiferente;
concordo;
concordo totalmente.
Figura 7. Dados da eficiência de uso da ferramenta “Portfólio”.
A questão 16 analisou a afirmativa “O cabeçalho com as informações Itens Não
Comentados e Itens Não Avaliados são de fácil entendimento e interpretação pelo tutor”.
Para esta questão, observa-se que a metade dos participantes concordou e a outra metade
discordou da afirmativa. Não houve tutores indiferentes. Dos que discordaram, 21,43%
optaram por “discordo completamente” e 28,57% optaram por “discordo”. Na categoria dos
que concordam,42,86% optaram por “concordo” e 7,14% por concordo completamente.
A questão 17 baseou-se na afirmativa “A velocidade de acesso às informações
gravadas no portfólio dos alunos é considerada satisfatória”. Para esta afirmativa a maior
porcentagem ficou para a opção “discordo” como 35,71%. A opção “discordo
completamente” apresentou 7,14% e opção “concordo” 42,86. A resposta “concordo
plenamente” não foi citada e 14,28% dos participantes foram indiferentes.
A questão 18 considerou a afirmativa “Com frequência entro em contato com o
suporte técnico para auxilio em alguma atividade do TelEduc”. Para esta afirmativa a maioria
dos participantes, 64,28%, discordaram da afirmação, em contrapartida, 14,28% concordaram.
21,43% dos tutores ficaram indiferentes. As opções extremas não foram selecionadas.
A análise dos dados demonstrou uma disparidade entre os resultados, sendo que, em
duas questões, ocorreram respostas indicativas de alto e baixo nível de eficiência de uso.
Quanto às questões abertas, a questão 19 considerou a pergunta “Quais são, em ordem
crescente de utilização, as cinco ferramentas do TelEduc que você mais acessa no seu dia-adia como tutor?” Os respondentes citaram as ferramentas Correio, Atividades, Portfólio,
Avaliação, Material de Apoio, Mural e Acessos. Outras ferramentas foram citadas com menor
frequência, como o Fórum de Discussão e o Perfil. A questão 20, por sua vez, abordou a
pergunta “Você tem mais alguma observação sobre a dificuldade de operação e/ou eficiência
de desempenho do TelEduc?” As respostas destas questões foram analisadas junto com dos
dados das ferramentas relacionadas.
13
5. Conclusão
Este trabalho apresentou uma avaliação do ambiente virtual de aprendizagem TelEduc quanto
aos seus aspectos de Eficiência de Uso e Operacionalidade. A avaliação foi conduzida de
acordo as percepções dos tutores que utilizam esse ambiente para realizarem as suas
atividades diárias.
A análise dos resultados sugerem que o TelEduc possui um nível razoável de
usabilidade, pois 27,78% das questões apresentaram resultados positivos relacionados à
usabilidade, a mesma porcentagem de questões, 27,78%, apresentaram respostas consideradas
neutras e 44,45% das questões tiveram seus resultados interpretados de forma negativa.
As respostas deste padrão, que demonstram pontos negativos da ferramenta, devem ser
analisadas, buscando uma melhoria do TelEduc. As respostas de perfil neutro, assim
classificadas por apresentarem porcentagens similares de respostas positivas e negativas,
poderiam ser revisadas e melhor reformuladas, pois a divergência de ideias poderia estar
relacionada ao tipo de pergunta apresentada e sua interpretação.
As questões que mais se sobressaíram deste padrão e demonstraram alguns pontos
negativos da ferramenta “Avaliação”, no critério “Eficiência de Uso”, foram as questões 10,
11 e 12. A maioria dos tutores apresentou as mesmas respostas e, ao analisá-las, concluiu-se
que a ferramenta “Avaliação” não apresenta um bom nível de usabilidade relacionado a
eficiência de uso. Percebeu-se também que a ferramenta “Portfólio”, no atributo
“Operacionalidade”, apresentou mais respostas que interpretam um baixo nível de
usabilidade.
É importante destacar as seguintes questões, que obtiveram frequência significativa de
respostas negativas:
 Questão 1: “A busca por mensagens antigas é eficiente e rápida”.
 Questão 4: “É fácil e rápido encontrar mensagens antigas a partir do nome do remetente”.
 Questão 7: “Após a avaliação de todos os alunos, a mudança de compartilhamento das
avaliações, para ‘Formadores e aluno”, ocorre de forma rápida e eficiente”.
 Questão 8: “Quando os formadores finalizam uma avaliação, os alunos recebem
automaticamente uma mensagem do sistema, avisando-os da disponibilização da mesma”.
 Questão 11: “Ao acessar o arquivo do aluno pela ferramenta avaliação, utilizo uma serie
de cliques para chegar ao documento ou arquivo desejado”.
 Questão 12: “Ao utilizar navegadores de internet diferentes dos usados pelos alunos, já
apresentei dificuldade em avaliar algumas atividades externas”.
 Questão 13: “É possível fazer uma rápida visualização dos arquivos postados pelos
alunos”.
 Questão 14: “Quando os participantes se deparam com mensagens de erro no ambiente é
fácil compreender qual o problema que ocorreu”.
Diante destes fatos, retoma-se a questão inicial da pesquisa “Qual a percepção dos
14
tutores de EaD, quanto aos aspectos de eficiência de uso e operacionalidade do ambiente de
aprendizagem TelEduc? Após a análise dos questionários respondidos, foi possível obter os
resultados da pesquisa. Esses resultados sugerem que o AVA TelEduc possui um nível
razoável de usabilidade, pois 27,78% das questões apresentaram resultados positivos
relacionados a usabilidade, a mesma porcentagem de questões, 27,78% apresentaram
respostas consideradas neutras e 44,45% das questões tiveram seus resultados interpretados de
forma negativa. A análise da ferramenta “avaliações” indicou baixo índice de eficiência de
uso e a ferramenta “portfólio” indicou problemas no atributo operacionalidade. Tais
resultados apontam para a importância de ajustes em funções das ferramentas avaliadas.
O estudo apresentado aponta para a importância de se considerar as percepções de
tutores, como um grupo atuante nas atividades de ensino por meio de AVAs, relativamente a
questões de usabilidade. Tais percepções apontam para refinamentos no AVA adotado, que
levem à melhoria na qualidade do ensino e aprendizagem em EaD.
Agradecimento. As autoras agradecem à CAPES pela Bolsa REUNI de Mestrado, à
FAPEMIG pelo auxílio concedido para a participação no evento e aos tutores.
Referências
ABED. Associação Brasileira de Educação a Distância. Censo EAD.br - Relatório Analítico
da Aprendizagem a Distância no Brasil. São Paulo: Pearson Education do Brasil, 2010.
CÔRTES, M.L.; CHIOSSI, T.C. Modelos de Qualidade de Software. 2. ed., Campinas:
Editora da Unicamp, 2001.
CUSTÓDIO, C. A. Avaliação da Usabilidade do Ambiente de Ensino à distância Moodle sob
a Perspectiva de Professores. Dissertação de Mestrado, UNIMEP, Piracicaba, 2008.
FRANCISCATO, F.T et al. Avaliação de Ambientes Virtuais de Aprendizagem Moodle,
TelEduc e Tidia: um estudo comparativo. RENOTE, v. 6, n. 2, 2008.
KIRNER, T.G.; CUSTÓDIO, C.A. Usability Evaluation of the Moodle System from the
Teacher's Perspective. Proceedings of the IADIS International Conference on E-Learning,
2008, p. 371-378.
PEREIRA, J.C. R. Análise de Dados Qualitativos: Estratégias Metodológicas para as Ciências
da Saúde, Humanas e Sociais. 1ª ed. São Paulo: Editora USP, 2004.
ROCHA, H.V. et al. Avaliação da Usabilidade e da Acessibilidade do Ambiente Virtual de
Aprendizagem TelEduc: levando o “aprender” a todos. Anais do X IHC – Simpósio de
Fatores Humanos e Computacionais, Porto de Galinhas, PE, 2011.
TELEDUC. Educação a Distância [Internet]. Campinas: Unicamp; 2006. Disponível em:
http://www.teleduc.org.br/. Acesso em 30/06/2012.
15