Dissertação de Mestrado
Avaliação de Treinamento a Distância:
Reação, Suporte à Transferência e
Impacto do Treinamento no Trabalho
Renata Silveira Carvalho¹
UnB - Instituto de Psicologia
Orientação: Profa. Dra. Gardênia Abbad
Apoio Financeiro Parcial: CNPq – CAPES
¹Integrante do PRONEX/ Treinamento e Comportamento no
Trabalho
Cenário Atual
Por um lado...
 Exigências do mercado
 “Prazo de validade” do conhecimento
 Inovações tecnológicas
Por outro...
 Educação empresarial com uso da
tecnologia
 Avaliação sistemática das ações
educacionais
2
Aprendizagem Organizacional
 Justificativa para as organizações
 Derivado da aprendizagem
individual
 Mapas cognitivos compartilhados
(mapas de aprendizagem,
comunidades de aprendizagem)
 Crítica ao uso do termo (Pantoja e
Borges-Andrade, 2002)
3
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Comunicação
de
conhecimento
Adaptado de Sallorenzo (2000)
 Metáfora com aprendizagem organizacional
4
Educação a Distância
Definição
 Distância física e temporal
 Flexibilidade
 Autonomia
Aspectos importantes
 Caráter sócio-afetivo
 Conjunção de mídias
5
Educação Corporativa
 Uso da EaD
 Vantagens:
redução de custos de deslocamento e
substituição;
formação simultânea de colaboradores
dispersos geograficamente
 Propósitos de T,D e E indistintos
 Educação continuada
6
Sistema Treinamento
Sistema de Treinamento
Levantamento de
Necessidades
Planejamento e
Execução
Avaliação
 Necessidade de novas ferramentas de
avaliação
7
Modelos de Avaliação
 Hamblin (1978)
Reação, Aprendizagem, Comportamento no
Cargo, Mudança Organizacional e Valor Final
 Críticas ao modelo (Alliger & Janak, 1989)
Acréscimo de informações
Causalidade
Correlação entre níveis
8
Modelos de Avaliação
Apoio
Processo
Avaliação
de
Necessidade
Insumos
Procedimento
Resultados
Resultado
a longo
prazo
Processo
Disseminação
 Modelo MAIS (Borges-Andrade, 1982)
 Destaque para variáveis do ambiente
9
Modelos de Avaliação
1. Suporte
Organizacional
4. Reações
2. Características
do Treinamento
3. Características
da Clientela
6. Suporte à
Transferência
7. Impacto
5. Aprendizagem
 Modelo IMPACT (Abbad, 1999)
 Identificação de variáveis preditoras de
Impacto do Treinamento no Trabalho
10
Modelo de Investigação
1. Características da
Clientela
1.1. Dados demográficos
1.2. Uso de ferramentas da
web
2. Reações
2.1. Desempenho do Tutor
2.2. Interface Gráfica
2.3. Resultados e
Aplicabilidade
4. Falta de Suporte
à Transferência
3. Aprendizagem
5. Impacto Treinamento
no Trabalho
5.1. Profundidade
5.2. Amplitude – Perfil do
Empreendedor
 Revisão de Literatura
11
Delimitação do Problema
 Grande lacuna nos estudos sobre
treinamentos a distância
 NTICs trazem novos questionamentos
Interface Gráfica
Papel do Tutor
 Aprendizagem continua pouco estudada
 Necessidade de reconstrução de
instrumental de avaliação
12
Objetivos
 Estudo 1
 Construir e Validar medidas nos níveis de
Reação, Suporte à Transferência e Impacto do
Treinamento no Trabalho
 Estudo 2
 Identificar variáveis preditoras de aprendizagem
e impacto, nos componentes características da
clientela, reação e suporte à transferência.
1. Características da
Clientela
4. Falta de Suporte
à Transferência
3. Aprendizagem
5. Impacto Treinamento
no Trabalho
2. Reações
13
Componentes - Definições
 1. Características da Clientela
Dados demográficos
(sexo, idade, escolaridade e
região geográfica de residência)
Uso de ferramentas da web
(acesso ao “tiradúvida”, à lista de discussão, ao mural de notícias, ao chat e
ao ambiente do curso)
 2. Reações
Desempenho do Tutor
(interação com participantes,
domínio do conteúdo e uso de estratégias de ensino)
Interface Gráfica
software)
(navegabilidade e usabilidade do
Resultados e Aplicabilidade
(transmissão dos
conhecimentos a outras pessoas, aplicação do aprendido em
diferentes situações, trabalho com outros profissionais e
enfrentamento de dificuldades)
14
Componentes - Definições
 3. Aprendizagem
Desempenho do participante nos exercícios
de fixação obrigatórios, aplicados ao final de
cada capítulo do curso (número de acertos)
 4. (Falta de) Suporte à Transferência
Fatores ambientais, da família, comunidade
e do governo capazes de prejudicar a
abertura e manutenção de um
empreendimento
15
Componentes - Definições
 5. Impacto do Treinamento no Trabalho
Profundidade
Auto-avaliação sobre o grau de aplicação dos
desempenhos no ambiente de trabalho do
participante
Amplitude
Auto-avaliação sobre o grau de emprego de
estratégias de gerenciamento de um
empreendimento, quanto a:
– tratamento com colaboradores
– clientes e fornecedores
– ações de autodesenvolvimento
– controle financeiro e jurídico do negócio
– ações de marketing e estruturação do ambiente físico.
16
Método
- Organização e Curso  Organização: Sebrae
 Sua missão é promover desenvolvimento sustentável
do Brasil por apoio a micro e pequenas empresas
 Curso: IPGN
 Objetivo: elaboração de um Plano de Negócio
 Público-alvo: interessados em desenvolver habilidades
de empreendedorismo
 100% a distância via internet / Gratuito
 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5
capítulos
 Tutoria (200 alunos por tutor) e Recursos de interação
17
Método
 População de inscritos no momento
da avaliação
21.920
 Número de concluintes
11.600 (52,9%)
 Maior amostra obtida
2.347
 9 arquivos de dados criados
18
Método
- Participantes  Semelhança entre população de concluintes e
amostras dos Estudos 1 e 2
 Concluintes (52 a 91%)
 Sexo masculino (59 a 65%)
 Idade média de 34 anos (DP  9)
 Nível superior incompleto (32 a 34%)
 Região Sudeste (43 a 57%)
 Dados Pessoais (Estudo 2)
 Não possui negócio (71%)
 Experiente na internet (52%)
 Não participou de curso a distância (53%)
 Interesse em Serviços (50 a 54%)
 Funcionário de empresa privada (21%)
 Inscreveu-se para aprender a elaborar plano de negócio
(52 a 54%)
19
Método
- Participantes  Pouco uso das ferramentas da web
Dúvidas no “tira-dúvida”: 0 (76 a 88%)
Mensagens para a lista de discussão: de 1
a 10 (45 a 61%)
Participação em chats: 0 (33 a 60%)
Acesso ao mural de notícias: até 12 vezes
(30 a 58%)
Acesso ao ambiente do curso: de 1 a 20
vezes (37 a 63%)
20
Método
- Instrumentos de Medida e Fontes Instrumento
Seções do instrumento
No. de Itens
Roteiro de Análise do Material
Didático
Objetivos instrucionais
Estratégias instrucionais
Planejamento de atividades
Seqüência do ensino
Fontes de informação
Informações gerais sobre o
curso
39
Dados Pessoais
Dados demográficos e
profissionais
Interação com os
Participantes
Reação ao Desempenho do
Tutor
11
Sebrae
17
Domínio do Conteúdo
4
Uso de Estratégias de
Ensino
22
21
Método
- Instrumentos de Medida Instrumento
Reação à Interface Gráfica
Seções do instrumento
No. de Itens
Usabilidade e navegabilidade
do software
15
Reação a Resultados e
Aplicabilidade
7
Aprendizagem
Acertos nos exercícios
Sebrae
Falta de Suporte à
Transferência
Apoio familiar,
governamental e social
15
Impacto do Treinamento
Impacto em Profundidade
25
Colaboradores
Impacto do Treinamento no
Trabalho (em Amplitude)
Clientes e fornecedores
Autodesenvolvimento
37
Controle jurídico e financeiro
Marketing e ambiente
22
Método
- Construção de Instrumentos  Reação
Tutor: relatos de tutores e alunos
Interface Gráfica: critérios
ergonômicos (Scapin & Bastien, 1993)
Resultados e Aplicabilidade: adaptado
de Abbad (1999)
 Impacto em Profundidade
Análise do Material Didático
 Suporte e Impacto em Amplitude
Entrevistas com empreendedores
23
Método
- Coleta de Dados 1° Momento - final do curso:
Dados Pessoais
Desempenho do Tutor
Interface Gráfica
Resultados e Aplicabilidade
2° Momento - 42 a 105 dias após
o término do curso:
Falta de Suporte à Transferência
Impacto do Treinamento
(em profundidade)
Impacto do Treinamento
(em amplitude)
 Coleta via e-mail
 Instrumentos digitalizados, hospedados na internet
 Índice de retorno baixo: 24% (1° Momento) e 8,5%
(2° Momento)
24
Método
- Análise de Dados  Análises exploratórias
 Distribuição das variáveis, dados omissos e casos
extremos
 Tratamento pairwise para dados omissos
 Manutenção dos casos extremos
 Estudo 1
Componentes Principais
 valor próprio>1; scree plot; 3% de variância
explicada; interpretabilidade do fator
PAF (cargas>0,30)
Alfa de Cronbach
 Estudo 2
ANOVA, Teste t
Regressão Múltipla Padrão e Stepwise
25
Resultados Estudo 1
Escalas Obtidas
KMO
TUT1 Desempenho
Didático e Domínio do
Conteúdo
TUT2 Uso de Estratégias
Motivacionais
0,98
TUT3 Respeito aos
Participantes
TUTG Desempenho do
Tutor
No.
Itens
Valor
Próprio
% Var
Alfa
Cargas
fatoriais
mín. máx.
27
23,02
52,31
0,98
0,40
0,93
12
18,65
42,38
0,95
0,49
0,98
5
9,84
22,36
0,92
0,41
0,52
44
25,07
57,00
0,98
0,59
0,83
INT Interface Gráfica
0,96
15
8,62
57,46
0,95
0,68
0,84
RESULT Resultados e
Aplicabilidade
0,88
7
3,80
54,30
0,88
0,62
0,82
26
Resultados Estudo 1
Cargas
mín
máx
No.
Itens
Valor
Próprio
% Var
Alfa
8
5,18
34,5
0,87
0,34
0,85
7
5,23
34,87
0,88
-0,44
-0,91
SUPG Falta de Suporte à
Transferência
15
6,14
40,93
0,91
0,30
0,75
IMPP1 Administração do
Negócio
12
10,87
45,29
0,92
0,32
0,83
7
10,31
42,95
0,95
-0,54
-0,94
5
9,20
38,33
0,90
-0,31
-0,89
IMPPG Impacto do
Treinamento no Trabalho
(em Profundidade)
24
12,48
52,01
0,96
0,41
0,79
IMPA1 Gestão do Negócio
24
18,63
50,35
0,96
0,48
0,82
IMPA2 Gestão de Pessoas
13
17,96
48,48
0,97
-0,61
-0,99
37
20,14
54,45
0,97
0,49
0,84
Escalas Obtidas
KMO
SUP1 Contexto do
Empreendimento
SUP2 Aspectos Financeiros
IMPP2 Planejamento
Financeiro
IMPP3 Análise do Mercado
IMPAG Impacto do
Treinamento no Trabalho
(em Amplitude)
0,91
0,97
0,98
27
Resultados Estudo 2
- Aprendizagem -
Número de Acessos ao
Chat
=0,15
Reação a Resultados e
Aplicabilidade
 =0,13
Número de Acessos ao
Mural de Notícias
 =0,10
R²=0,06
Escores de
Aprendizagem
 “Tira-dúvida”, Lista de Discussão e Reação à
Interface Gráfica não explicaram aprendizagem.
 As seis variáveis antecedentes explicaram 6%
da variabilidade nos Escores de Aprendizagem.
28
Resultados Estudo 2
- Impacto em Profundidade Reação a Resultados e
Aplicabilidade
 =0,44
Falta de Suporte à
Transferência
 =0,26
Elaboração de Plano de
Negócio
R²=0,34
Impacto do Treinamento
no Trabalho
(em Profundidade)
 = -0,18
 Reação à Interface Gráfica e Região Geográfica
não entraram no modelo.
 As cinco variáveis antecedentes explicaram
34% (33% ajustado) da variância de impacto
em profundidade.
29
Resultados Estudo 2
- Impacto em Amplitude Reação a Resultados e
Aplicabilidade
 =0,40
R²=0,31
Falta de Suporte à
Transferência
Elaboração de Plano de
Negócio
 =0,25
Impacto do Treinamento
no Trabalho
(em Amplitude)
 = -0,14
 Reação à Interface Gráfica e Região Geográfica não
entraram no modelo.
 As cinco variáveis antecedentes explicaram 31%
(30% ajustado) da variância total das respostas de
Impacto do Treinamento no Trabalho (em
Amplitude).
30
Discussão Estudo 1
 Instrumentos válidos e confiáveis
 Tutor
Multicolinearidade
Corrobora em parte Abbad (1999)
 Suporte
Necessidade de avaliar barreiras e restrições
ao desempenho no cargo
Falta apoio familiar
 Impacto
Alta correlação entre profundidade e
amplitude
Pré-teste de empreendedorismo
31
Discussão Estudo 2
 Baixa predição de aprendizagem
Medida não fidedigna e pouco uso da web
 Reações: apoio parcial na literatura
Tutor e interface gráfica sem poder
preditivo
 Suporte ainda é preditor de impacto
Magnitude menor e Relação negativa
 Elaboração do plano de negócio
Necessária porém não obrigatória
 Variáveis demográficas não explicam
aprendizagem e impacto
Estudar variáveis motivacionais
32
Discussão
- Análises Adicionais  Diferenças entre médias
Diferença no uso de ferramentas da web
entre concluintes e não concluintes
Experiência no uso da internet não
interfere na Reação à Interface Gráfica
Reação a Resultados e Aplicabilidade
difere em função da conclusão do curso
Possuir negócio não altera percepção de
falta de suporte
33
Considerações Finais
 Escalas psicometricamente válidas e
confiáveis
 Baixo poder preditivo das variáveis
antecedentes
 Necessidade de aprimoramento de escalas e
aplicação em outros contextos
 Desempenho do tutor e interface gráfica
não explicaram resultados de impacto
 Necessidade de pré-teste de aprendizagem
e empreendedorismo
34
Limitações
 Baixo índice de retorno
Falhas em programação e quedas de
conexão
Delineamento da coleta
 Modelo de investigação completo não
testado
 Apenas um curso avaliado, em
contexto específico
 Aprendizagem – baixa qualidade
psicométrica
35
Contribuições
 Validação de 6 escalas de avaliação de
treinamento a distância
 Validação de medida de impacto em
profundidade
 Medida de impacto em amplitude
aplicável aos cursos da organizaçãoalvo
 Avaliação de curso a distância
 Inclusão de variáveis típicas de EaD
tutor e interface gráfica
36
Agenda
 Analisar relacionamento entre níveis de
avaliação individual
 Estudar características da clientela
(variáveis motivacionais) em EaD
 Analisar perfil dos participantes
evadidos
 Aplicar e reformular os instrumentos
utilizados nesta pesquisa
 Avaliar impacto em amplitude em mais
momentos, incluindo medidas nãoperceptuais
37
Fim
Obrigada!
[email protected]
38
Características da Clientela
 Pequena contribuição dessas
variáveis na explicação de impacto
e aprendizagem
 Motivacionais são as mais
importantes (Colquitt, LePine & Noe, 2000)
 Dados demográficos: idade com
correlação negativa com
aprendizagem (Abbad, 1999; Pantoja, 1999;
Warr & Bunce, 1995)
39
Reação
 Desempenho do Tutor
Contato com aluno mediado pelo tutor
Papel do tutor não está claramente definido
(Maggio, 2001):
 Não se resume ao afetivo, de motivar e incentivar ao
aluno
 Domínio do conteúdo e uso de estratégias de ensino
também são defendidos
Professor presencial avaliado em 3 dimensões:
 Domínio do conteúdo, estratégias de ensino e
entrosamento
 Interação com o tutor e interatividade do
ambiente virtual: complementares nas
ações de EaD (Belloni, 1999)
40
Reação
 Interface Gráfica
Influente na produtividade e conforto dos
usuários
Uso linear, sem uso do hipertexto (Dean &
Webster, 2000)
Raros casos de medidas de avaliação do
ambiente de ensino na web (p.e., Sarmet &
Silvino, 2002)
 Critérios ergonômicos, ainda não validados
estatisticamente (Scapin & Bastien, 1993)
Interface gráfica e exigências cognitivas
41
Reação
 Resultados e Aplicabilidade
(Abbad,
1999; Alves, Pasquali & Pereira, 1999; Alliger et al.,
1997)
Avaliação de Utilidade
 Reações: falta de critérios
rigorosos, pouca explicação de
procedimentos e nenhuma
comparação entre níveis
42
Aprendizagem
 Processo de aquisição e retenção de
CHAs, expresso por mudança em
comportamento
 Pré e pós-testagem para mensurar
alcance dos objetivos
 Avanços escassos
(Borges-Andrade, 2002)
 Pouco conhecimento sobre variáveis
explicativas
 Não se configura como preditora de
impacto do treinamento no trabalho
43
Suporte à Transferência
 Características específicas do ambiente de
trabalho que podem restringir ou facilitar a
aplicação dos conhecimentos aprendidos no
treinamento
 Importância da variável na explicação de
impacto corroborada em diferentes ambientes
organizacionais, tipos de treinamento e
amostras
 Não há estudo dessa variável em TaD
 Restrições situacionais: aspectos prejudiciais ao
desempenho (Peters & O’Connor, 1980)
 Natureza do curso avaliado implica redefinição da
medida (comunidade, família, governo)
44
Impacto do Treinamento
 Profundidade vs. Amplitude
 Efeitos específicos do treinamento, relacionados aos
objetivos de ensino
 Efeitos gerais do evento sobre o desempenho de
tarefas relacionadas diretamente ou não ao conteúdo
 Dificuldade de validação
(Borges-Andrade, 2002)
 Amplitude para o curso avaliado:
 Medida de empreendedorismo e técnicas gerenciais
 Não há relato empírico sobre definição de
características do empreendedor
 Criatividade, iniciativa e inovação
45