UnB
Instituto de Psicologia
Programa de Pós-graduação em
Psicologia Social, do Trabalho e das Organizações - PSTO
A APRENDIZAGEM E AS
INTERAÇÕES EM UM
TREINAMENTO A DISTÂNCIA
Mestrando: Pedro Koshino
Orientadora: Professora Dra. Gardênia da Silva Abbad
outubro /2010
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Roteiro
• Apresentação
• Contextualização
• Delimitação do problema
• Comunidade de
investigação
e objetivos da pesquisa
• Método
• Resultados
• Avaliação de
aprendizagem
• Revisão de literatura –
aprendizagem em grupo
• Discussão
2
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Contextualização
• ABRAEAD/2008 – 2,5 milhões de matrículas em 2007;
• Crescimento 571% (2003 ~ 2006);
• ENADE 2005,2006,2007: EaD e presenciais tiveram
desempenhos semelhantes;
• Estudos: 2.388 publicações em 2007 (ABRAEAD/2008)
 9%  pesquisas e avaliações.
• Desenho instrucional em EaD: predominância de
estudos prescritivos; poucos estudos empíricos
(Zerbini & Abbad, 2005; Abbad, 2007).
3
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Aprendizagem colaborativa
• Evoluções tecnológica: influenciaram abordagens
pedagógica de EaD.
Solução de
problemas
TECNOLOGIAS:
COLABORATIVA
Aplicação
Conhecimento
/ compreensão
INTERATIVA
DISTRIBUTIVA
Centrada
no instrutor
Centrada
no sujeito
Centrada
na equipe
Nível de aprendizagem x Abordagem pedagógica
(Castro & Ferreira, 2006)
4
Apresentação
•
•
•
•
•
Delimitação
do problema
Método
Resultados
Discussão
Comunidade de Investigação (CI)
Matthew Lipman: ensino de filosofia para crianças.
Recurso para desenvolvimento de pensamento
crítico e aprendizagem mais profunda (Garrison,
Anderson & Archer, 2000)
Características: raciocínio, conexão, deliberação,
desafios e desenvolvimento de soluções de
problemas.
Construção de conhecimento de forma colaborativa.
Comunicação assíncrona, interação através de
mensagens de texto.
5
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Comunidade de Investigação (CI)
Apoio ao
Discurso
PRESENÇA
SOCIAL
Criação
de clima
PRESENÇA
COGNITIVA
EXPERIÊNCIA
EDUCACIONAL
Seleção
de conteúdo
PRESENÇA
DE ENSINO
Meio de Comunicação
Fonte: Garrison, Anderson e Archer (2000)
6
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Comunidade de Investigação (CI)
Componentes
Categorias
Indicadores
Presença
Social
Expressão de
Emoção
Comunicação Aberta
Coesão de Grupo
Emoticons
Expressão de receio
Encorajamento de
colaboração
Presença de
Ensino
Gestão Instrucional
Construção de
Compreensão
Instrução Direta
Iniciar um tópico de discussão
Compartilhar significados
pessoais
Focalizar a discussão
Presença
Cognitiva
Fato Gerador
Exploração
Integração
Resolução
Senso de perplexidade
Troca de informação
Conexão de idéias
Aplicação de novas idéias
Fonte: Garrison, Anderson e Archer (2000)
7
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação de aprendizagem
Estudos com avaliação de aprendizagem:
Estudo
Avaliação
OI ND
Variável
Borges-Ferreira e
Nota
Abbad (2009)
S
N
reação
Carvalho e
Abbad (2006)
Exercícios
N
N
Chat, mural
Abbad (1999)
Pré e pós-teste
N
N
Origem, cargo, reação, idade
Ribeiro e Lopes
(2006)
Pré e pós-teste
N
N
Estudo descritivo
Mourão e
Martins (2009)
Pré e pós-teste
S
N
Experiência em treinamento; tipo
de treinamento; instrutor
Nogueira (2006)
Pré e pós-teste
S
S
Tempo de feedback
Pompeo (2010)
Pré e pós-teste
S
S
Uso de feedback
ND: Avaliação de nível de dificuldade
OI: Objetivos Instrucionais
8
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Aprendizagem em grupo - revisão
• Busca nas bases Proquest, Periódicos Capes.
• Anexo: 34 estudos:
 12 estudos conceituais
 2 revisões de literatura
 9 estudos empíricos: percepção e atitude em grupo
 5 aprendizagem colaborativa presencial
 2 desenvolvimento de tutores para competência
coletiva
 1 compara aprendizagem a distância e presencial
 3 avaliam aprendizagem em grupo
9
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Aprendizagem em grupo - revisão
• Alavi, Marakas e Yoo (2002): compara 2 turmas: uso de
e-mail x uso de GSS (Group Suport System)
 Turma (e-mail) teve maior aprendizagem e percepção de
aprendizagem.
• Alfonsceca et al. (2006): investiga relação entre estilo de
aprendizagem e aprendizagem em grupo (presencial).
 Não houve uma clara correlação entre estilo de aprendizagem
e aprendizagem em grupo.
10
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Aprendizagem em grupo - revisão
• Clementino (2009): Investiga percepções de
treinamento online de forma colaborativa :
 Manifestação de satisfação em atividades colaborativas;
 Dificuldade de coesão grupal; interações frágeis e com
omissões de participação.
• Braun (2008): Investiga a relação entre componentes
da CI e aprofundamento de conhecimento.
 Não houve relação significativa entre os componentes de CI e
o aprofundamento de conhecimento.
11
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Roteiro
• Apresentação
• Delimitação do problema
e objetivos da pesquisa
• Método
• Resultados
• Discussão
12
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Delimitação do problema e objetivos da pesquisa
• Escassez de estudos sobre aprendizagem em grupo
em EaD.
• Objetivo principal
• Realizar um estudo quase-experimental para verificar a
seguinte hipótese:
Os indivíduos que realizam atividades de
aprendizagem em grupo aprendem mais do que
aqueles que realizam estudo individual.
• Objetivo secundário
• Avaliar relação entre a aprendizagem e os discursos de
alunos e tutores à luz do modelo de Comunidade de
Investigação .
13
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Delimitação do problema e objetivos da pesquisa
• Objetivos específicos
1. Elaborar um treinamento a distância de acordo com abordagens de
desenhos instrucionais. Ofertar em uma turma com aprendizagem
em grupo e outra com aprendizagem individual.
2. Elaborar instrumento de pré-teste e pós-teste para avaliar o ganho
de aprendizagem.
3. Acompanhar a realização de duas turmas de treinamento, uma
com atividades em grupo e outra com atividade individual.
4. Avaliar diferença de aprendizagem entre os alunos das duas
turmas.
5. Investigara relação entre aprendizagem e as manifestações de
Presença Social, Presença Cognitiva e Presença de Ensino das duas
turmas.
14
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Roteiro
• Apresentação
• Delimitação do problema
e objetivos da pesquisa
• Método
• Resultados
• Discussão
15
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Descrição do treinamento
• Promoção: Instituto Serzedello Corrêa (ISC) /
Tribunal de Contas da União (TCU)
• Programa Diálogo Público: capacitação de gestores.
• Treinamento: Prestação de Contas de Convênio
• Elaborar a prestação de contas convênio e contrato
de repasse celebrados com a União de forma correta;
• Público-alvo: gestores públicos, principalmente os
municipais.
16
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Participantes
• Matriculados: duas turmas de 50 alunos.
• Turma A: atividades em grupo;
• Turma B: atividade individual.
• 20 alunos (turma A) e 22 alunos (B) não acessaram o curso.
• Concluintes: 14 (turma A) e 17 (turma B).
Item
Turma A
Turma B
Total
Idade (média)
40,1 (dp=12,9)
37,1 (dp=10,2)
38 (dp=11,4)
Sexo masculino
9 (64,2%)
10 (58,8%)
19 (61,3%)
Sexo feminino
5 (35,7%)
7 (41,1%)
12 (38,7%)
Nível superior ou acima
10 (71,4%)
12 (70,6%)
22 (71,0%)
Nível médio
3 (21,4%)
4 (23,5%)
7 (22,6%)
Escolar. Não informada
1 (7,1%)
1 (5,9%)
2 (6,5%)
17
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Desenho instrucional
Prestação de Contas de Convênio
Prestação de Contas de
Convênios
Ambientação
Módulo 1 – Noções Básicas
sobre Convênio
Módulo 2 – Fases do Convênio
Módulo 3 – Prestação de Contas
Avaliação Final
• Avaliação: participação no
fórum (10 pontos), atividades
de autoavaliação (30), trabalho
final (60).
• Nota para aprovação: 70.
• 4 semanas
• 60 horas.
• Ambiente AVEC/TCU (Moodle)
Módulos do treinamento
18
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Desenho instrucional
Prestação de Contas de Convênio
Atividades
•
•
•
•
Exemplo de conteúdo
Leitura do conteúdo
Leitura complementar
Autoavaliação
Fórum de debate –
situação problema
• Atividade Final
(estudo de caso)
Fórum
19
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Desenho instrucional
Formação de grupos de aprendizagem
Tema lúdico: Copa do Mundo 2010
País
Espanha
Holanda
Portugal
Itália
Alemanha
Inglaterra
França
Argentina
Rank
1
3
4
5
6
7
8
9
País
Grécia
Chile
Sérvia
EUA
México
Uruguai
Austrália
Camarões
Rank
11
13
15
16
17
18
19
20
Orientação:
Postar no fórum o motivo da escolha do país.
20
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação do desenho instrucional
• Instrumento de 70 quesitos de qualidade de
treinamento (Abbad, 1999; Borges-Ferreira, 2005;
Nogueira, 2006);
• Dois observadores do Grupo Impacto;
• Avaliação:
 0 = não se aplica,
 2 = atende parcialmente,
1 = não atende,
3 = atende satisfatoriamente.
• Coeficiente de confiança: kappa de Cohen.
21
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Elaboração e aplicação de pré-teste e pós-teste
Elaboração das questões
Módulo 1
Módulo 2
Módulo 3
Tipo V/F
10 (25,0%)
20 (50,0%)
0 (0,0%)
Tipo ABCD
1 (2,5%)
3 (7,5%)
6 (15%)
Totais
11 (27,5%)
23 (57,5%)
6 (15%)
• Distribuição das questões: 20 (pré-teste) e 20 (pós-teste)
• Pareamento por objetivo instrucional
22
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação de níveis de dificuldade
• Hipótese: as questões pareadas pelos objetivos instrucionais
nos pré-teste e pós-teste terão os mesmos índice de acertos
quando respondidas pela mesma pessoa no mesmo
momento.
• Passos:
1. Elaboração de 4 tipos de teste com as 40 questões do préteste e pós-teste.
2. Ordens das questões de forma aleatória.
3. Cadastramento dos testes no Google Docs.
4. Envio do questionário para 585 pessoas.
5. Análise estatísticas das respostas:
teste Wilcoxon - comparação de duas amostras pareadas.
23
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação de níveis de dificuldade
Distribuição das pessoas
convidadas a responder o teste e os respondentes
Órgão (gênero)
Convidados
Respondente
TCU (masc)
72 (12,3%)
15 (31,2%)
TCU (fem)
55 (9,4%)
9 (18,8%)
127 (21,7%)
24 (50,0%)
Adm.Pública (masc)
263 (45,0%)
14 (29,2%)
Adm.Pública (fem)
195 (33,3%)
10 (20,8%)
458 (78,3%)
24 (50,0%)
TCU (Total)
Adm.Pública (Total)
24
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Acompanhamento da realização do treinamento
• Tutoria:
• Orientação sobre atividades;
• Promoção de debate nos fóruns por meio de
provocações e incentivos;
• Esclarecimento de dúvidas do conteúdo;
• Correção de exercícios dissertativos;
• Incentivo para formação de grupos;
• Tratamento igualitário para as duas turmas.
25
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação das diferenças de aprendizagens entre as turmas
• Medida de aprendizagem individual: diferença
entre as notas do pós-teste e pré-teste (Abbad
& Borges-Andrade,2004).
• Considerar apenas as questões pareadas.
• Estatística descritiva.
• Teste t – comparação de diferença entre
médias das duas amostras (turmas A e B).
26
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Identificação de manifestação de componentes da
Comunidade de Investigação
• Análise de conteúdo das mensagens dos fóruns.
• Instrumento: análise com categorias pré-estabelecidas pelos
componentes da Comunidade de Investigação (Garrison et al.,
2000; Anderson et al. 2001; Rourke et al. 2001).
• Transcrição das mensagem para planilha.
• Unidade de análise: mensagem.
• 3 observadores do Grupo Impacto.
• Atribuição de multicategoria a uma mensagem.
• Cálculo de coeficiente de confiança: Alfa de Krippendorff:
mais de 2 observadores; multicategoria (Krippendorff, 2008).
• Implementação do cálculo de Alfa de Krippendorff em MSExcel.
27
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Roteiro
• Apresentação
• Delimitação do problema
e objetivos da pesquisa
• Método
• Resultados
• Discussão
28
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Avaliação do Desenho Instrucional
•
•
•
•
Instrumento: 70 quesitos de qualidade de DI
Total: 140 itens (2 observadores x 70)
123 itens (87,86%) = 3 (atende satisfatoriamente)
Coeficiente de confiança k (kappa de Cohen):
•
•
•
•
•
k(geral) = 0,63 (boa)
k(0) = 0,00 (ausência)
k(1) = 0,75 (boa)
k(2) = 0,50 (moderada)
k(3) = 0,96 (muito boa)
 O DI do treinamento possui boa qualidade.
29
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Elaboração do pré-teste e pós-teste
Pré-teste Pós-teste
z
p
Pré-teste Pós-teste
z
p
01
03
-2,333
0,020
11
11
-1,134
0,257
02
15
-0,632
0,527
12
13
-1,528
0,127
03
01
-3,800
0,001
13
12
-2,121
0,034
04
04
-0,632
0,527
14
14
-0,853
0,394
05
05
-3,922
0,001
15
02
-2,309
0,021
06
06
-2,138
0,033
16
16
-2,887
0,004
07
07
-4,315
0,001
17
17
-4,491
0,001
08
08
0,000
1,000
18
18
-1,134
0,257
09
09
-1,000
0,317
19
19
-4,583
0,001
10
10
-3,873
0,001
20
20
-0,258
0,796
• Respostas: 48 respondentes (8% dos 585 convidados)
• Teste Wilcoxon (significância p > 0,05)
• 9 pares: mesmos objetivos instrucionais e níveis de dificuldade .
 Os 9 pares de questões avaliam o ganho de aprendizagem.
30
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Acompanhamento da realização do treinamento
• Turma A
• 400 mensagens dos alunos; 149 do tutor; total = 549;
• Turma B
• 216 mensagens dos alunos; 168 do tutor; total = 384;
• Médias do tamanho das mensagens: 74 palavras (dp=81,92);
• Maior mensagem: 724 palavras (3 páginas A4, fonte 12);
• Aproximadamente 150 horas de dedicação.
• Evasão: turma A (72%); turma B (66%).
• Turma A:
• 5 alunos trabalharam em grupo;
• 7 alunos entregaram trabalhos individualmente;
• 2 não entregaram a atividade final.
31
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Comparação da aprendizagem nas duas turmas
• Médias das notas Pré-teste:
• Turma A = 7,29 (dp=2,37)
• Turma B = 7,06 (dp=1,56)
• Médias das notas Pós-teste:
• Turma A = 7,35 (dp=1,08)
• Turma B = 7,82 (dp=1,13)
32
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Comparação da aprendizagem nas duas turmas
Escores de pós-teste – pré-teste
Turma A
14
Turma A'
13
Turma B
17
Média
0,071
0,385
0,765
Desvio Padrão
2,947
2,815
1,147
-1,630
1,773
-1,000
8,687
1,054
0,829
-1,316
2,086
-1,000
7,923
1,230
0,904
0,175
1,355
1,000
1,316
-0,324
-1,321
N
95% IC Máx
95% IC Mín
Mediana
Variância
Amplitude
Curtose
Turma A’ = sem extremo
• Amostras muito pequenas;
• Distribuições assimétricas;
• Dados não atendem pressupostos para realização do teste t. 33
Delimitação
do problema
Apresentação
Método
Resultados
Discussão
Comunidade de Investigação
O1
%
O2
%
O3
%
Totais
%
P.Ensino
67
17,31
98
20,12
158
26,55
323
22,00
P. Social
214
55,30
236
48,46
282
47,39
732
49,82
P. Cognitiva
106
27,39
153
31,42
155
26,05
414
28,18
Totais
387
Turma A (549 msg)
487
595
1.469
Turma B (384 msg)
P.Ensino
53
19,34
73
21,53
154
29,17
280
24,54
P. Social
123
44,89
179
52,80
247
46,78
549
48,12
P. Cognitiva
98
35,77
87
25,66
127
24,05
312
27,34
Totais
274
339
528
• Coeficiente de confiança Alfa de Krippendorff
• Turma A: Alfa = 0,50 (moderada)
• Turma B: Alfa = 0,49 (moderada)
1.141
34
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Roteiro
• Apresentação
• Delimitação do problema
e objetivos da pesquisa
• Método
• Resultados
• Discussão
35
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Discussão
• Médias das notas pré-teste: turma A = 7,15 (80%,
dp = 2,25) e turma B = 7,06 (78%, dp = 1,56)
• Alunos já possuíam competências:
• Ausência de avaliação de necessidade de
treinamento (ANT).
• Necessidade de seleção de candidatos.
• Frustração na avaliação de diferença de
aprendizagem entre as turmas.
• Objetivo principal não foi alcançado.
36
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Discussão
• A falta da avaliação de ganho aprendizagem
possivelmente não se deveu à formulação
dos itens de avaliação.
• Precariedade na formação dos grupos:
• Evasão;
• Perfis dos alunos: autodidata e autônomos;
• Resolução das atividades não necessitava de
solução colaborativa.
37
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Discussão
• Comunidade de Investigação
• Discrepância entre os observadores
• Coeficientes de concordância moderados
• Não foi possível investigar relação de
aprendizagem com manifestações de
componentes de CI
• Existem poucos estudos que investiguem os três
componentes (Swan et al., 2008)
• Diversos estudos investigam percepções de
alunos (Swan et al. 2008)
38
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Contribuições
• Uso de coeficiente de confiança (kappa de Cohen)
no instrumento de avaliação do desenho
instrucional.
• Processo de elaboração de pré-teste e pós-teste com
pareamento de objetivo instrucional e nível de
dificuldade.
• Estudo prático do modelo Comunidade de
Investigação.
• Implementação do cálculo de Alfa de Krippendorff
em MS-Excel.
39
Apresentação
Delimitação
do problema
Método
Resultados
Discussão
Agenda de pesquisa
• Investigar motivações e barreiras em realizar
atividades em grupo em EaD;
• Avaliar a relação entre interação em fórum e
ganhos de aprendizagem;
• Investigar o ganho de aprendizagem em
treinamento de alunos com atividades em
grupo.
40
UnB
Instituto de Psicologia
Programa de Pós-graduação em
Psicologia Social, do Trabalho e das Organizações - PSTO
A APRENDIZAGEM E AS
INTERAÇÕES EM UM
TREINAMENTO A DISTÂNCIA
Mestrando: Pedro Koshino
Orientadora: Professora Dra. Gardênia da Silva Abbad
outubro /2010