Avaliação de Treinamento a
Distância: Suporte à
Aprendizagem e Impacto de
Treinamento no Trabalho
Mestrando: Francisco Antonio Coelho Junior
Orientadora: Profa. Dra. Gardênia Abbad
Instituto de Psicologia – Universidade de Brasília
Laboratório de Psicologia Social e do Trabalho – Lapso
Apoio Financeiro Parcial: CNPq/ PRONEX – CAPES/PAPED
Março de 2004
Resumo Geral

Objetivos
- Construir e validar 02 Escalas: Suporte à Aprendizagem e Impacto;
- Testar um modelo de avaliação de treinamento a distância

Metodologia
- Organização do ramo financeiro; Coleta de Dados via e-mail;
Curso Obrigatório e totalmente a distância; População (53.990);
Análises Fatoriais e Regressão

Resultados
- Escalas confiáveis
- Variável preditora: Suporte
Estrutura da Apresentação









Contextualização
Revisão da Literatura
Metodologia
Resultados
Discussão
Considerações Finais
Limitações da Pesquisa
Contribuições
Agenda
Cenário atual das Organizações



Incerteza ambiental,
grande volume de informações e transformações,
empregabilidade
Organizações em constante transição
Cenário de turbulência e adaptação
Globalização
Adoção de Programas de TD&E
Avaliação de Treinamento
Programas de TD&E

Treinamento  sanar lacunas no desempenho;
aumenta produtividade e qualidade do desempenho;
deficiências no cargo.

Desenvolvimento

Educação



crescimento pessoal e individual.
preparação para cargos futuros.
Instrução  processo de formulação de objetivos e
escolha de métodos de ensino.
Relação entre Conceitos
Desenvolvimento
Educação
Treinamento
Instrução
Informação
Educação a Distância





Sistema de transmissão de informações e estratégias
pedagógicas adaptadas às novas tecnologias (Bolzam, 1998);
Oportuniza acesso ao conhecimento e otimiza a relação
ensino/aprendizagem;
Laaser (1997): aumento na qualidade, no rendimento dos
sistemas educacionais e no acesso à reciclagem dos CHAs;
TaD – Treinamento a distância, aplicado em organizações,
alinhado a metas e estratégias organizacionais;
Características da EaD:
- independência e autonomia do aluno no processo de
aprendizagem;
- flexibilidade do ensino;
- separação física entre professor-aluno,
- uso de novas tecnologias de comunicação e informação.
Avaliação de Treinamentos
 Essencial para validação de programas de TD&E;
 Controle dos resultados de treinamento  processos de
resultados, mensuração, análise e interpretação dos desempenhos
finais obtidos com o treinamento (Philips, 1998; Abbad, 1999; BorgesAndrade, 2002);
Avaliação de treinamento refere-se a um conjunto de atividades,
que visa, entre outros objetivos, produzir informações válidas e
sistemáticas sobre a eficácia de sistemas instrucionais.
 Diferenças entre Treinamentos a Distância e Presencial 
Mudanças nos Modelos de Avaliação de Treinamentos e nos
Instrumentos de Coleta de Dados;
 Retroalimentação
IMPACT).
do
sistema
instrucional
(Modelos
MAIS
e
Modelo MAIS (1982)
AMBIENTE
APOIO
PROCESSO
AVALIAÇÃO
DE
NECESSIDADES
INSUMOS
PROCEDIMENTOS
PROCESSO
DISSEMINAÇÃO
RESULTADOS
RESULTADOS
A
LONGO PRAZO
Modelo IMPACT (1999)
6.Suporte à
Transferência
1. Suporte prétreinamento
4. Reações
7. Impacto
2. Curso
3. Clientela
5. Aprendizagem
Literatura – Características da Clientela




Explicam menos impacto em relação a outras variáveis,
como suporte à transferência;
Estudos que relacionam variáveis individuais e impacto do
treinamento são ainda escassos no Brasil (exceção aos
estudos de Lacerda, 2002; Meneses, 2002; Tamayo, 2002);
Motivação para aprendizagem e auto-eficácia têm sido
melhores preditores de resultados de treinamento (Abbad,
Pilati & Pantoja, 2003);
Locus de controle ainda é pouco estudado na literatura
internacional e nacional.
Literatura – Aprendizagem nas
Organizações
 Literatura no campo de aprendizagem em organizações ainda se
encontra dispersa e fragmentada (Kim, 1993 & Abbad, 2003b);
 Dificuldade de unificar diferentes vertentes teóricas em uma
diversidade que a caracteriza desde sua criação conceitual (Abbad &
Borges-Andrade, 2003; Dogdson, 1993) – metodologias e definições
confusas;
 Campos de investigação: gestão do conhecimento, aprendizagem
contínua, “organizações de aprendizagem”, “aprendizagem
organizacional”, entre outros;
 Neste trabalho: aprendizagem como processo que ocorre
no nível individual, e não no nível da organização; são as
pessoas que aprendem, sendo que aprendizagem no nível
da organização é reflexo da aprendizagem individual dos
empregados.
Literatura – Suporte à Transferência
 Relatos de pesquisa nacionais e estrangeiras na área vêm
apontando a variável de suporte à transferência como importante
preditora de impacto de treinamento no trabalho, presencial e a
distância (Abbad, 1999; Abbad, Pilati & Pantoja, 2003; Baldwin &
Ford, 1988; Carvalho, 2003; Cheng & Ho, 1998; Sallas & Cannon
Bowers, 2001; Zerbini, 2003, entre outros);
 Influência de suporte psicossocial ao uso de novas habilidades
no trabalho (Abbad & Sallorenzo, 2001; Ettington & Camp, 2002;
Rouillier & Goldstein, 1993; Sallorenzo, 2000; Carvalho & Abbad,
2003, entre outros) e suporte material são importantes
preditores;
 Pesquisas que investigam fatores de restrição ao desempenho ou
falta de suporte à transferência (Carvalho, 2003; Peters & O’Connor,
1980; Zerbini, 2003)
Literatura – Impacto de Treinamento no
Trabalho
 Principal variável critério em estudos de avaliação de treinamento (Abbad,
1999; Carvalho, 2003; Lacerda, 2002; Meneses, 2002; Rodrigues, 2000;
Sallorenzo, 2000; Tamayo, 2002; Zerbini, 2003, entre outros);
 Impacto: mensurado em profundidade e amplitude
 Impacto em profundidade: conseqüências diretas, específicas da
aprendizagem dos objetivos do treinamento no desempenho do indivíduo
em atividades e situações similares às ensinadas no curso;
 Impacto em amplitude (ou largura): conseqüências mais gerais do
treinamento no desempenho global do indivíduo em e para atividades e
situações não necessariamente similares às aprendidas no curso.
Objetivos
A. Estudo 1: Construção e validação estatística de 2
instrumentos:
- Suporte à Aprendizagem
- Impacto de Treinamento no Trabalho
B. Estudo 2: Investigar quais variáveis, entre
características da
clientela (demográficas e
funcionais) e suporte à aprendizagem, melhor
explicam a variável critério impacto de treinamento no
trabalho
Delimitação do Problema




Poucos estudos empíricos sistematizados na área de EaD, lacunas
metodológicas e ausência de modelos empíricos de avaliação em EaD;
Identificação de variáveis explicativas de impacto de treinamento no
trabalho (Abbad, Pilati & Pantoja, 2003), inclusive em EaD;
Cumprimento de parte das agendas de pesquisa de Abbad, 1999; Abbad,
Pilati & Pantoja, 2003; Abbad & Sallorenzo, 2001; Borges-Andrade & Abbad,
1996 - investigação da relação entre características da clientela (variáveis
demográficas e funcionais), impacto de treinamento no trabalho e suporte
psicossocial à aprendizagem e transferência;
Proposição de um modelo empírico reduzido de avaliação de treinamento a
distância, adaptado do MAIS (Borges-Andrade, 1982) e Impact (Abbad,
1999)
Modelo de Investigação
1. Características da Clientela
-
Variáveis Demográficas
Variáveis Funcionais
Impacto de Novas
Habilidades no
Trabalho
2. Suporte à Aprendizagem
Componentes do Modelo
Características da Clientela: informações demográficas
(identificação, gênero, unidade, faixa etária, grau de escolaridade) e
funcionais (cargo, subsistema e unidade de lotação) dos
respondentes;
Suporte à Aprendizagem: apoio de pares e chefias à
aprendizagem e à aplicação de novas habilidades no ambiente de
trabalho, além de quanto os mesmos assumem riscos de inovação
nas rotinas de trabalho e experimentação; uso de novas habilidades
no trabalho adquiridas não somente por meio de treinamentos
formais, como também por meio de aprendizagens naturais ou
espontâneas, ocorridas no ambiente de trabalho;
Impacto: resultados e conseqüências diretas de treinamento
específico, medido por meio de itens provenientes dos objetivos
instrucionais do curso estudado.
Características da Organização e do
Treinamento Analisado
 Organização: Organização do setor bancário nacional,
pública
55.000 funcionários nos 27 estados da Federação e DF
Curso Avaliado: “Prevenção à Lavagem de Dinheiro”,
100% a distância via internet / intranet, de caráter
obrigatório;
Objetivo principal: discutir as principais características e
aspectos relacionados à prevenção de lavagem de dinheiro,
instruindo ao participante a identificar indícios e agir
preventivamente.
Público-alvo: todos os funcionários da empresa
Perfil Demográfico da População
 População: 53.990
 Sexo: Masculino (52,9%)
Feminino (47,1%)
 Região:
Sudeste (47,2%)
Sul (19,5%)
Centro-Oeste (13,5%)
Nordeste (17,2%)
Norte (2,6%)
 Subsistema (Área de Lotação):
Negocial (67,9%)
Logística (24,2%)
 Tempo de Serviço:
0 a 10 anos (21,3%)
11 a 20 anos (49,7%)
21 a 30 anos (28,8%)
31 a 40 anos (0,2%)
Central (7,9%)
Perfil Demográfico das Amostras
Estudo 1
 Validação Escala de Suporte
 Validação Escala de Impacto
-
- N= 1114
- Sexo= Masculino (66,1%)
- Região= Sudeste (43,8%)
- Subsistema= Negocial (57%)
- T.S.= 11 a 15 anos (44,9%)
- Escolaridade= Superior (46,1%)
- Exp. na internet= Sim (97%)
- Período de Estudo= Manhã (45,3%)
- Conhecia medidas de PLD= Sim
(99,6%)
- Meio= Jornais/Revistas (37,1%)
- Aplicou o Curso? Sim (76,8%)
N= 1731
Sexo= Masculino (63,2%)
Região= Sudeste (44%)
Subsistema= Negocial (56,5%)
Tempo de S.= 11 a 15 anos (43,4%)
Escolaridade= Superior (45,2%)
Experiência na internet= Sim (96,9%)
Período de Estudo= Manhã (46,3%)
Estudo 2 – mesma amostra do estudo de suporte
Construção e Validação do
Instrumento de Suporte





Análise da literatura sobre suporte e conceitos
correlatos
Comparação de escalas de mensuração dos
construtos correlatos
Definição do construto
Construção de itens baseada na definição -oficinas
de trabalho (Grupo Impacto T &D)
Validação semântica e por juízes do questionário
Construção e Validação do
Instrumento de Impacto - PLD

Análise do material didático do Curso;

Extração dos objetivos instrucionais;


Construção de itens baseada nos objetivos -oficinas de
trabalho (Grupo Impacto T &D)
Validação semântica e por juízes do questionário
Instrumentos de Medida
Instrumento
Dados Pessoais
Suporte à Aprendizagem
Impacto de Treinamento no
Trabalho
Seções do
instrumento
Dados demográficos
Profissionais
(funcionais)
Hábitos de Estudo
Apoio de Colegas /
Pares de Trabalho /
Chefia Imediata à
Aprendizagem e
Transferência
Auto-Avaliação Impacto
em Profundidade
No. de
Itens
8
38
23
Instrumento Impacto
Para responder as questões seguintes, utilize a escala abaixo:
0
1
2
3
4
5
6
7
8
9 10
Nunca
Competências
1. Identifico indícios de Lavagem de Dinheiro em
pagamentos diversos
2. Aponto casos suspeitos de Lavagem de Dinheiro,
com base na análise da situação.
3. Durante o atendimento, inspeciono documentos,
dados pessoais e hábitos pessoais referentes a
transações bancárias, identificando indícios de Lavagem
de Dinheiro
4. Aplico os procedimentos de Prevenção a Lavagem de
Dinheiro ao iniciar um relacionamento com pessoas
físicas e jurídicas
Sempre
Escala
Instrumento Suporte
0
1
2
3
4
5
6
7
8
Nunca
9
10
Sempre
No meu grupo de trabalho...
SUPGT1 - há competição entre os membros.
SUPGT2 - há autonomia para questionar as ordens dadas pelo(s) chefe(s).
SUPGT3 - as tarefas facilitam a aplicação de novas habilidades.
Meu(s) chefe(s) imediato(s)...
SUPCHI1 - me estimula(m) a buscar de novas soluções para os problemas de trabalho.
SUPCHI2 - leva(m) em conta minhas idéias quando diferentes das dele(s).
SUPCHI3 - inibe(m) o uso das minhas novas habilidades no trabalho.
Meu(s) colegas de trabalho...
SUPCT1 - me estimulam a buscar novos conhecimentos voltados ao trabalho.
SUPCT2 - apóiam as tentativas que faço de utilizar no trabalho novas habilidades que
aprendi em treinamentos.
SUPCT3 - me criticam negativamente quando erro ao aplicar novas habilidades no
trabalho.
Coleta de Dados
 Coleta totalmente via e-mail (Setembro – Dezembro
de 2003) em amostra aleatória;
 Instrumentos digitalizados, enviados via e-mails (2
links + carta de sensibilização);
 Baixo índice de retorno –
10% (Remessa 1) e 14% (Remessa 2)
Remessa 1 – 95 a 110 dias pós-curso
Remessa 2 – 110 a 130 dias pós-curso
 Preparação dos arquivos de dados (6 arquivos), para
aproveitamento dos casos válidos
Análise dos Dados
Análises
Exploratórias e
Descritivas
ESTUDO 1
•Análise dos Componentes
Principais (PC),
•Análise de Fatoração dos
Eixos Principais (PAF)
• Alpha de Cronbach
ESTUDO 2
• Análise de Regressão
Múltipla Padrão
• Análise de Regressão
Múltipla Stepwise
Resultados Estudo 1
Escalas Obtidas
Suporte à
Aprendizagem
(N=1731)
Impacto de
Treinamento no
Trabalho
(N=1114)
Cargas
fatoriais
mín.máx.
KMO
No.
Itens
Valor
Próprio
% Var
Alfa
0,98
33
18,33
47,15
0,96 - 0,3
0,97
23
15,88
67,75
0,98
0,51
Item
<.30
0,89
5
0,90
-
Resultados Estudo 2
Modelo 1
R² =0,24 R²(ajustado) = 0,23 e R =0,49
1. Características da
Clientela (Subsistema)
Beta = - 0,36
Impacto do
treinamento no
trabalho
2. Suporte à
Aprendizagem
Beta= 0,24
 Agrupadas, as 2 variáveis antecedentes explicaram 24% da
variabilidade de impacto do treinamento no trabalho.
Resultados Estudo 2
Modelo 2 – Área Negocial
R² =0,15 R²(ajustado) = 0,14 e R =0,38
1. Suporte à
Aprendizagem
Beta = 0,35
Impacto do
treinamento no
trabalho
 A variável antecedente “Suporte à Aprendizagem” explicou 15%
da variabilidade de impacto do treinamento no trabalho.
Discussão Estudo 1
 Importância
da variável de suporte na explicação de
impacto de treinamento no trabalho, presenciais
(Meneses, 2002; Sallorenzo, 2000; Tamayo, 2002) e a
distância (Carvalho, 2003; Zerbini, 2003);
 Itens
de falta de suporte ou de restrição (Peters &
O´Connor, 1980, Carvalho, 2003; Zerbini, 2003);
 Maior
% variância de impacto explicada por suporte à
transferência, quando comparada à variável suporte à
aprendizagem;
 Validação
de medida de avaliação de impacto em
profundidade, como encontrado em Carvalho, 2003;
Zerbini, 2003; Lacerda, 2002; Abbad, Borges-Andrade,
Sallorenzo, Gama & Morandini, 2001; Sallorenzo, 2000;
Pilati, Borges-Andrade & Azevedo, 1999; Martins, Pinto
Júnior & Borges-Andrade, 1999.
Discussão Estudo 2
 Relação significativa entre variáveis da clientela (Funcionais:
Subsistema – Modelo 1) e impacto, assim como encontrado em
Lacerda (2002) e Meneses (2002);
 Suporte psicossocial explicou parte significativa da
variabilidade de impacto de treinamento no trabalho (assim
como em Abbad, 1999; Abbad & Sallorenzo, 2001; Ford,
Quinones, Sego & Sorra, 1992; Meneses, 2002; Sallorenzo,
2000, Tamayo, 2002);
 Necessidade de um ambiente organizacional de apoio à
aprendizagem e ao uso de novas habilidades no trabalho.
Considerações Finais

Escalas psicometricamente válidas e confiáveis;

ESA e EIPLD devem ser aperfeiçoadas – itens redundantes;

Baixos coeficientes de determinação de regressão múltipla:
incorporação de outras VIs no modelo de pesquisa;

Reaplicação dos instrumentos em amostras distintas – análise
da estabilidade da estrutura empírica encontrada;

Necessidade de investigação de fatores de suporte que
afetam impacto e o posterior desempenho do indivíduo no
trabalho;
Limitações da Pesquisa






Perda de dados – problemas no arquivo;
Dados coletados em uma organização – não-realização de
comparações entre amostras inter-organizacionais;
Não realização de análises inferenciais
considerando o tempo de término do curso;
comparativas
Empregados obrigados a fazer o curso – pouca variabilidade
amostral;
Não realização de heteroavaliações na escala de Suporte: maior
confiabilidade à medida;
Utilização de medida mista (foco em aprendizagem natural e
induzida e várias fontes de apoio) de suporte – menor
explicação de impacto em relação a suporte à transferência.
Contribuições da Pesquisa
Construção de 2 novos instrumentos de medida e avaliação em
EaD;

Proposição de um novo conceito correlato ao de suporte à
transferência;

Investigação específica de uma variável (suporte), apontada em
relatos de pesquisa como principal preditora de impacto de
treinamento no trabalho, presencial e à distância – proposição de
um modelo teórico de avaliação em TaD;

Diferenciação conceitual e análise comparativa na área de
suporte;


Atualização da revisão de literatura na área e em EaD.
Agenda de Pesquisa
 Redefinir o instrumento de suporte sem os itens referentes à
avaliação dos efeitos de programas de treinamento e transferência;
 Reaplicação do instrumento de suporte em diferentes ambientes
organizacionais;
 Acrescentar outros itens de apoio, como a presença de redes de
comunicação, portais e tutores;
 Avaliar o relacionamento entre variáveis de Estratégias de
Aprendizagem (Diversificação), Hábitos de Estudo, Reações
(Conteúdo Instrucional, Tutoria, Procedimentos Instrucionais) e
Suporte à Aprendizagem;
 Investigar quais aspectos de apoio psicossocial, especialmente de
pares e chefias, atuam especificamente na inibição de
comportamentos inovadores na aprendizagem e impacto de novas
habilidades no trabalho
Agenda






Analisar Resultados/Aplicabilidade do curso em relação a impacto;
Investigar, qualitativamente, quais os fatores de suporte à
aprendizagem percebidos pelos empregados;
Aprofundar pesquisas em TaD, especialmente no que concerne à
identificação do perfil de quem é o usuário da educação a
distância, maximizando o processo de ensino e aprendizagem;
Verificar empiricamente a relação entre clima para criatividade,
suporte à transferência e suporte à aprendizagem;
Realizar estudos multiníveis com o conceito de suporte à
aprendizagem;
Analisar o papel dos tutores no estímulo à aprendizagem em EaD
Obrigado!
Francisco Antonio Coelho Junior
[email protected]
[email protected]