UTILIZAÇÃO DO MODELO KANO PARA
CLASSIFICAR IMPORTÂNCIA DE
FUNCIONALIDADES EM AMBIENTES
VIRTUAIS DE APRENDIZAGEM
Silvio Carvalho Neto
Hiroo Takaoka
Problema e Objetivo de Pesquisa
Quais são os principais atributos de um
AVA que remetem a satisfação do
usuário discente?
captar os atributos que o usuário
percebe como significativos e
relevantes para a qualidade final dos
sistemas e estabelecer fatores de
importância com base nos atributos
avaliados.
2
Delimitação do Estudo
Ensino à Distância
Ensino Presencial
PÓS-GRADUAÇÃO
IES com sistemas web
Educacionais de Apoio ao
Ensino Presencial
FOCO DO ESTUDO
GRADUAÇÃO
EDUCAÇÃO SUPERIOR
EDUCAÇÃO BÁSICA (NÍVEL MÉDIO E FUNDAMENTAL)
EDUCAÇÃO PROFISSIONAL E TECNOLÓGICA
•
cursos de graduação
–
–
–
EDUCAÇÃO ESPECIAL (INCLUSIVA)
EDUCAÇÃO CORPORATIVA
•
volume de cursos oferecidos
alta demanda
primeiro contato acadêmico
profissional do discente.
área de ciências sociais aplicadas
–
–
aprofundamento do conhecimento
do processo de ensino na
administração
conveniência no processo de
amostragem da pesquisa de campo
3
Método
•
•
•
•
•
•
•
•
não-experimento
natureza exploratória descritiva
abordagem quantitativa
survey, com corte transversal
aplicação de questionários auto-preenchíveis com os discentes
avaliação de atributos de características de qualidade em AVAs
questões de captação de importância são divididas em três partes
Modelo Kano de captação de requisitos (KANO et al, 1984)
– questão funcional do atributo
– questão disfuncional
– terceira solicita a atribuição da importância do atributo em uma escala de 11
graus (crescente)
Amostragem
• questionários retornados = 238
• 10 questionários – respostas inconsistentes.
• tamanho final da amostra = 228 respondentes
4
5
Modelo Kano
Demais Requisitos
- Indiferentes
- Reversos
Wiki
O AVA deve disponibilizar ferramentas Wikis
para construção coletiva de textos na web em formato multimídia
- Questionáveis
Ficaria Satisfeito
Ficaria Satisfeito
Se o AVA disponibilizar ferramentas
Wikis para construção coletiva de
textos na web em formato multimídia,
como você se sentiria?
Se o AVA NÃO disponibilizar
ferramentas Wikis para construção
coletiva de textos na web em formato
multimídia, como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
0
1
2
3
4
5
6
7
8
9
10
Muito Importante (100%)
Comunicador Instantâneo O AVA deve disponibilizar uma área de conversa e troca de arquivos em tempo real para os usuários online
Ficaria Satisfeito
Ficaria Satisfeito
Se o AVA disponibilizar uma área de
conversa e troca de arquivos em
tempo real para os usuários que estão
online, como você se sentiria?
Se o AVA NÃO disponibilizar uma área
de conversa e troca de arquivos em tempo
real para os usuários que estão online,
como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
Chat textual
0
1
2
3
4
5
6
7
8
9
10
Muito Importante (100%)
O AVA deve disponibilizar salas de bate papo (chat) textual para interação em grupo em tempo real
6
Questionário de Pesquisa
Coleta de dados = questionário
auto-preenchível
Instrumento de coleta
– parte inicial - descrição dos
objetivos da pesquisa e
instruções
– primeiro bloco - captação da
importância das características
(Modelo Kano)
– segundo
bloco
contém
variáveis a respeito do uso, da
intenção de uso, da satisfação
e do nível de importância geral
dado aos sistemas.
Questionário de Pesquisa – Pesquisa Quantitativa – ALUNOS
Nos enunciados das questões a seguir a grafia AVA se refere aos Ambientes Virtuais de Aprendizagem, sistemas de gerenciamento de cursos
disponíveis na internet. Esta pesquisa tem como objetivo identificar as principais características de qualidade esperada em tais sistemas.
Por favor, considere suas respostas tendo em vista os Ambientes Virtuais de Aprendizagem como apoio ao ensino presencial.
As questões de atribuição de importância estão em uma escala de 11 graus (de 0 a 10) que representa valores de 0% a 100%.
Marque o valor de acordo com a sua opinião em relação as afirmações negativas = 0% ou positivas = 100%
(0%)
0 =0%
Afirmação Negativa
1=10%
2=20%
3=30%
4=40%
5=50%
6=60%
7=70%
8=80%
9=90%
10=100% (100%)
Afirmação Positiva
Em relação a avaliação dos atributos, cada característica contém duas questões.
Por favor responda as duas questões de acordo com sua opinião.Marque, em cada questão somente um dos com os valores:
1 – Ficaria Satisfeito
2 - Deveria ser assim
3 – Seria Indiferente
4 - Poderia conviver com isso
5 - Ficaria Insatisfeito
AVALIAÇÃO DA IMPORTÂNCIA DAS CARACTERÍSTICAS
Atualidade
As informações no AVA devem ser atuais
Ficaria Satisfeito
Se o AVA tiver informações
atualizadas, como você se sentiria?
Ficaria Satisfeito
Se o AVA NÃO tiver informações
atualizadas, como você se sentiria?
Deveria ser assim
Seria Indiferente
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Poderia conviver com isso
Ficaria Insatisfeito
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
0
1
2
3
4
5
6
7
8
9
10
Autoria As informações no AVA devem apresentar referências à sua autoria e fonte de origem
Ficaria Satisfeito
Se as informações no AVA
apresentarem referências à sua autoria
e fonte de origem, como você se
sentiria?
Ficaria Satisfeito
Se as informações no AVA NÃO
apresentarem referências à sua autoria e
fonte de origem, como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Muito Importante (100%)
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
Completude
0
1
2
3
4
5
6
7
8
9
10
As informações no AVA devem ser concisas, mas suficientes, na quantidade adequada
Ficaria Satisfeito
Se as informações no AVA forem
concisas, mas suficientes, na
quantidade adequada, como você se
sentiria?
Ficaria Satisfeito
Se as informações no AVA NÃO forem
concisas, nem suficientes e na quantidade
adequada, como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Muito Importante (100%)
Ficaria Insatisfeito
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
Pré-Teste
•
•
7 alunos de graduação
escolhidos por conveniência
diversas questões revistas na
redação (margem a dupla
interpretação)
Confiabilidade
0
1
2
3
4
5
6
7
8
9
10
As informações no AVA devem ser confiáveis e representar a realidade
Ficaria Satisfeito
Se as informações no AVA forem
confiáveis e representar a realidade,
como você se sentiria?
Ficaria Satisfeito
Se as informações no AVA NÃO forem
confiáveis e representar a realidade,
como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Muito Importante (100%)
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
Facilidade de Acesso
0
1
2
3
4
5
6
7
8
9
10
As informações no AVA devem estar disponíveis e serem facilmente encontradas
Ficaria Satisfeito
Se as informações no AVA estiverem
disponíveis e facilmente encontradas,
como você se sentiria?
Se as informações no AVA NÃO
estiverem disponíveis e facilmente
encontradas, como você se sentiria?
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Muito Importante (100%)
Ficaria Satisfeito
Deveria ser assim
Seria Indiferente
Poderia conviver com isso
Ficaria Insatisfeito
Ficaria Insatisfeito
Qual o nível de importância desta característica?
Sem importância / Irrelevante (0%)
0
1
2
3
4
5
6
7
8
9
10
Muito Importante (100%)
7
Características de Qualidade
Total = 52
Procedimentos de Análise - Características
Tarefa
Procedimento
1- Descrever os
resultados obtidos
Análise Descritiva dos Dados da Pesquisa
2- Classificar as
características pelo
Modelo Kano
Elaboração de uma matriz de classificação das características com
base no Modelo Kano, que classifica as variáveis como Atrativas,
Obrigatórias, Normais ou Indiferentes, com base no sistema de
classificação Kano.
3- Identificar a
importância das
características
Análise das medidas de tendência central e de dispersão dos valores
atribuídos à importância das características. Realização do Teste t de
média em relação ao valor intermediário neutro de 5, na escala de 11
graus.
4- Comparar a
importância por
categorias
Comparação das médias das características com base na
classificação a partir do Modelo Kano e das categorias de
características. Será realizada Análise de Variância ANOVA com as
médias das importâncias categorizadas pelos níveis do Modelo Kano e
das categorias QI, QS, FT, e FC
8
Análise 1 – Descrever os resultados obtidos
Questionários Válidos
Motivos de acesso ao AVA
Médias de Notas em relação ao AVA
9
Análise 2 – Classificação Modelo Kano
Características de Qualidade da Informação e do Sistema
10
Análise 2 – Classificação Modelo Kano
Características de Funcionalidades de Trabalho Individual
11
Análise 2 – Classificação Modelo Kano
Características de Funcionalidades de Interação e Comunicação
12
Análise 3 - Importância das Características
Características de Qualidade da Informação e do Sistema
Tabela 23 – Notas Atribuídas à Importância das Características
Test Value = 5
QINFO4
QINFO1
QINFO6
QINFO5
QINFO3
QINFO7
QINFO2
QSIST3
QSIST4
QSIST8
QSIST9
QSIST7
QSIST6
QSIST5
QSIST1
QSIST2
confiabilidade
atualidade
interpretabilidade
exatidão
completude
precisão
autoria
média
média
8,89
8,84
8,54
8,21
7,80
7,56
7,07
8,13
desvio
padrão
1,69
1,63
1,81
2,06
1,94
2,14
2,12
1,91
erro
padrão
0,11
0,11
0,12
0,14
0,13
0,14
0,14
disponibilidade
facilid. acesso
performance
segurança
navegação
intuitividade
interatividade
atratividade visual
consistência
média
8,95
8,90
8,74
8,52
8,44
8,35
7,63
7,58
7,19
8,26
1,63
1,57
1,57
1,81
1,69
1,73
1,99
2,15
2,12
1,81
0,11
0,10
0,10
0,12
0,11
0,12
0,13
0,14
0,14
t
34,50
35,56
29,23
23,39
21,68
17,96
14,76
35,95
37,32
35,69
29,10
30,47
29,05
19,72
18,03
15,38
gl
224
227
222
223
223
224
226
218
225
223
223
222
223
220
225
222
95% Intervalo de confiança da diferença
Sig. (2Dif.
tailed)
Méd. abaixo acima
0,000
3,89
3,67
4,11
0,000
3,84
3,63
4,06
0,000
3,54
3,30
3,78
0,000
3,21
2,94
3,49
0,000
2,80
2,55
3,06
0,000
2,56
2,28
2,84
0,000
2,07
1,80
2,35
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
0,000
3,95
3,90
3,74
3,52
3,44
3,35
2,63
2,58
2,19
3,74
3,69
3,53
3,28
3,22
3,13
2,37
2,30
1,91
4,17
4,10
3,94
3,76
3,66
3,58
2,90
2,86
2,47
13
Análise 3 - Importância das Características
Características de Funcionalidades de Trabalho Individual
Tabela 23 – Notas Atribuídas à Importância das Características
Test Value = 5
QINFO4 material para
confiabilidade
FTI14
download
QINFO1
FTI07
func.atualidade
retorno
QINFO6
interpretabilidade
FTI06
func. acesso
QINFO5
FTI11
informaçõesexatidão
gerais
QINFO3
completude
FTI08
glossário
QINFO7
precisão
FTI12
links externos
QINFO2 mecanismos de autoria
FTI15
busca
média
FTI05
controle operacional
FTI01
acompanhamento
FTI16
personalização
FTI03
auto avaliação
FTI02
atividades e jogos
FTI13
lista de participantes
FTI04
bloco de notas
FTI09
histórico
FTI10
idiomas
média
média
8,89
8,87
8,84
8,71
8,54
8,49
8,21
8,30
7,80
8,11
7,56
8,02
7,07
7,80
8,13
7,13
6,99
6,96
6,46
6,45
6,27
6,07
6,00
5,80
7,28
desvio
padrão
1,69
1,62
1,63
1,53
1,81
1,95
2,06
1,90
1,94
2,07
2,14
2,04
2,12
1,98
1,91
2,39
2,52
2,49
3,38
2,93
2,96
2,94
2,66
2,91
2,39
erro
padrão
0,11
0,11
0,11
0,10
0,12
0,13
0,14
0,13
0,13
0,14
0,14
0,14
0,14
0,13
0,16
0,17
0,17
0,23
0,20
0,20
0,20
0,18
0,19
t
34,50
35,74
35,56
35,91
29,23
26,76
23,39
26,03
21,68
22,36
17,96
21,99
14,76
21,18
13,24
11,73
11,73
6,45
7,39
6,36
5,44
5,62
4,12
gl
224
221
227
220
222
223
223
224
223
220
224
220
226
223
220
220
223
221
222
218
223
222
224
95% Intervalo de confiança da diferença
Sig. (2Dif.
tailed)
Méd. abaixo
acima
0,000
3,89
3,67
4,11
0,000
3,87
3,66
4,09
0,000
3,84
3,63
4,06
0,000
3,71
3,50
3,91
0,000
3,54
3,30
3,78
0,000
3,49
3,23
3,75
0,000
3,21
2,94
3,49
0,000
3,30
3,05
3,55
0,000
2,80
2,55
3,06
0,000
3,11
2,84
3,39
0,000
2,56
2,28
2,84
0,000
3,02
2,75
3,29
0,000
2,07
1,80
2,35
0,000
2,80
2,54
3,06
0,000
2,13
1,81
2,44
0,000
1,99
1,66
2,33
0,000
1,96
1,63
2,28
0,000
1,46
1,02
1,91
0,000
1,45
1,06
1,83
0,000
1,27
0,88
1,67
0,000
1,07
0,68
1,45
0,000
1,00
0,65
1,35
0,000
0,80
0,42
1,18
14
Análise 3 - Importância das Características
Características de Funcionalidades de Interação e Comunicação
Tabela 23 – Notas Atribuídas à Importância das Características
Test Value = 5
FIC15
mural
QINFO4
confiabilidade
FIC10
faq ajuda
QINFO1
atualidade
FIC11
faq inteligente
QINFO6
interpretabilidade
QINFO5
FIC17
sala de aulaexatidão
virtual
QINFO3
completude
FIC06
comunicador
inst.
QINFO7
precisão
FIC12
fóruns
QINFO2 comunidades de aprend.
autoria
FIC07
média
FIC08
correio eletrônico
FIC14
multimídia
FIC05
chat textual
FIC13
m-learning
FIC03
áudio conferencia
FIC09
diversão
FIC18
vídeo conferencia
FIC02
área do estudante
FIC19
whiteboard
FIC04
blog
FIC16
perfil do aluno
FIC01
ambiente 3D interativo
FIC20
wiki
média
média
8,70
8,89
8,08
8,84
7,96
8,54
8,21
7,76
7,80
7,51
7,56
7,45
7,07
7,38
8,13
7,26
7,02
6,95
6,86
6,60
6,60
6,58
6,57
6,55
6,47
6,28
6,27
6,21
7,05
desvio
padrão
1,81
1,69
1,96
1,63
2,08
1,81
2,06
2,43
1,94
2,36
2,14
2,44
2,12
2,35
1,91
2,45
2,25
2,44
2,51
2,54
2,52
2,62
2,65
2,44
2,59
2,82
2,54
2,45
2,41
erro
padrão
0,12
0,11
0,13
0,11
0,14
0,12
0,14
0,16
0,13
0,16
0,14
0,16
0,14
0,16
0,16
0,15
0,16
0,17
0,17
0,17
0,17
0,18
0,16
0,17
0,19
0,17
0,17
t
30,74
34,50
23,33
35,56
21,13
29,23
23,39
16,93
21,68
15,96
17,96
15,09
14,76
15,06
13,74
13,38
12,05
11,06
9,41
9,58
9,06
8,81
9,44
8,41
6,85
7,45
7,27
gl
224
224
220
227
219
222
223
222
223
224
224
224
226
221
221
222
226
221
223
227
225
221
221
219
225
221
214
95% Intervalo de confiança da diferença
Sig. (2Dif.
tailed)
Méd. abaixo
acima
0,000
3,70
3,46
3,94
0,000
3,89
3,67
4,11
0,000
3,08
2,82
3,34
0,000
3,84
3,63
4,06
0,000
2,96
2,69
3,24
0,000
3,54
3,30
3,78
0,000
3,21
2,94
3,49
0,000
2,76
2,44
3,08
0,000
2,80
2,55
3,06
0,000
2,51
2,20
2,82
0,000
2,56
2,28
2,84
0,000
2,45
2,13
2,77
0,000
2,07
1,80
2,35
0,000
2,38
2,07
2,69
0,000
2,26
1,94
2,59
0,000
2,02
1,72
2,32
0,000
1,95
1,63
2,27
0,000
1,86
1,53
2,20
0,000
1,60
1,26
1,93
0,000
1,60
1,27
1,92
0,000
1,58
1,24
1,92
0,000
1,57
1,22
1,92
0,000
1,55
1,22
1,87
0,000
1,47
1,12
1,81
0,000
1,28
0,91
1,65
0,000
1,27
0,93
1,61
0,000
1,21
0,88
1,54
15
Análise 4 – Comparação por Categorias
Anova por Categorias Kano
(Indiferentes x Normais)
Anova por Categorias de
Características
(QINFO, QSIST, FTI, FIC)
Entre Grupos
Com Grupos
Total
Entre Grupos
Com Grupos
Total
Soma dos
Quadrados
33,132
11,091
44,222
12,676
31,546
44,222
gl
1
50
51
3
48
51
Média Quadrada
33,132
0,222
F
149,369
Sig.
,000
4,225
0,657
6,429
,001
9,00
9,00
normais
8,00
media
media
8,00
7,00
indiferentes
7,00
qinfo
qsist
6,00
fic
6,00
indiferente
normal
fti
cat
(I) categorias
QINFO
QSIST
FTI
FIC
(J) categorias
QSIST
FTI
FIC
QINFO
FTI
FIC
QINFO
QSIST
FIC
QINFO
QSIST
FTI
Dif. Médias
(I-J)
-,12556
,85313
1,07700(*)
,12556
,97868(*)
1,20256(*)
-,85313
-,97868(*)
,22388
-1,07700(*)
-1,20256(*)
-,22388
Erro
Padrão
,40855
,36737
,35602
,40855
,33778
,32540
,36737
,33778
,27191
,35602
,32540
,27191
Sig.
0,990
0,107
0,020
0,990
0,028
0,003
0,107
0,028
0,843
0,020
0,003
0,843
95% Intervalo de
Confiança
-1,2128
,9617
-,1246
1,8308
,1295
2,0245
-,9617
1,2128
,0797
1,8777
,3366
2,0686
-1,8308
,1246
-1,8777
-,0797
-,4998
,9475
-2,0245
-,1295
-2,0686
-,3366
-,9475
,4998
QI
QINFO
QS
FT
QSIST categorias FTI
FC
FIC
16
17
Conclusão
•
Quais são as dimensões e as características de qualidade dos AVAs?
qsist
qinfo
fic
Característica
Média
Clas. Kano
Característica
Média
Clas. Kano
confiabilidade
atualidade
interpretabilidade
exatidão
completude
precisão
autoria
8,89
8,84
8,54
8,21
7,80
7,56
7,07
normal
normal
normal
normal
normal
normal
indiferente
disponibilidade
facilid. acesso
performance
segurança
navegação
intuitividade
interatividade
atratividade visual
consistência
8,95
8,90
8,74
8,52
8,44
8,35
7,63
7,58
7,19
normal
normal
normal
normal
normal
normal
indiferente
indiferente
indiferente
Característica
Média
Clas. Kano
material para download
func. retorno
func. acesso
informações gerais
glossário
links externos
mecanismos de busca
controle operacional
acompanhamento
personalização
auto avaliação
atividades e jogos
lista de participantes
bloco de notas
histórico
idiomas
8,87
8,71
8,49
8,30
8,11
8,02
7,80
7,13
6,99
6,96
6,46
6,45
6,27
6,07
6,00
5,80
normal
normal
normal
normal
normal
normal
normal
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
Característica
Média
Clas. Kano
mural
faq ajuda
faq inteligente
sala de aula virtual
comunicador inst.
fóruns
comunidades de aprend.
correio eletrônico
multimídia
chat textual
m-learning
áudio conferencia
diversão
vídeo conferencia
área do estudante
whiteboard
blog
perfil do aluno
ambiente 3D interativo
wiki
8,70
8,08
7,96
7,76
7,51
7,45
7,38
7,26
7,02
6,95
6,86
6,60
6,60
6,58
6,57
6,55
6,47
6,28
6,27
6,21
normal
normal
normal
normal
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
indiferente
fti
Conclusão
1. QSIST e QINFO são dimensões de maior importância em AVA
2. funcionalidades obtiveram níveis mais baixos de importância, embora
tenham ainda ficado em um patamar acima do nível médio.
3. maioria das funcionalidades enquadrou-se na categoria de requisitos
indiferentes
4. ferramentas de comunicação e interação não se mostraram tão relevantes
quanto às ferramentas de trabalho individual
5. funcionalidades da Web 2.0, como wikis e blogs, ambiente em 3
dimensões, e whiteboard foram consideradas como indiferentes aos
discentes (recebendo também baixos níveis de importância).
6. principais funcionalidades são as relativas à dimensão trabalho individual
7. disponibilização de materiais de aula para download, retorno de atividades,
acessibilidade, glossário, informações gerais, links, mural e mecanismos de
busca são as mais valorizadas pelo corpo discente.
8. estas características devem ser consideradas como prioritárias no
desenvolvimento de AVAs.
18
Limitações da Pesquisa
19
• respostas são baseadas em julgamentos dos
discentes
• levantamento (caráter não-experimental)
– manipulação das variáveis independentes não é possível
– Relativização das relações causais
• corte transversal da amostra estudada, portanto, a
premissa de antecedência temporal deve ser
descartada
• possibilidade de não inclusão de variáveis que
poderiam ser preditoras de outras dependentes
– modelo e resultados ficam restritos às variáveis incluídas
• não-normalidade das variáveis da pesquisa
Obrigado
Silvio Carvalho Neto
[email protected] ou [email protected]