Efetividade de Ações de
Treinamento, Desenvolvimento
.
e Educação
Profa. Dra. Gardênia Abbad
Grupo Pronex-CNPq
Estrutura da Apresentação
1. Treinamento, Desenvolvimento e
Educação – TD&E
2. Efetividade de ações de TD&E
3. Mensuração e Avaliação
4. Modelos de Avaliação de Resultados
5. Modelos integrados de avaliação de TD&E
6. Medidas e avaliações na prática
7. Resultados, desafios e tendências
TD&E
Desenvolvimento
Educação
Combinações de ações educacionais e
outras, como QVT
Cursos de média e longa duração,
MBAs, mestrados, doutorados
(análise, síntese, avaliação)
Treinamento
Instrução
Cursos, oficinas, palestras, laboratórios,
fóruns, estágios
(muda o desempenho na atividade)
Informação e
conhecimento
Aulas, manuais, orientações job aids,
(conteúdos + como)
Textos, artigos, teses, links...
(conteúdos)
Desenvolvimento
Processos mais gerais de aprendizagem
que propiciam o amadurecimento e o
crescimento individuais de forma ampla,
sem visar diretamente o preparo do
indivíduo para uma atividade ou trabalho.
Educação
• Eventos
de
aprendizagem
que
capacitam o indivíduo a atuar em
postos de trabalho específicos em um
futuro próximo. (Nadler, 1984).
• Geralmente envolvem a participação
de pessoas em programas de longa
duração.
Treinamento
– esforço da organização para facilitar a
aprendizagem
de
comportamentos
relacionados ao trabalho. (Borges-Andrade
e Abbad, 1996, Wexley, 1984)
– ações que garantem a “aquisição
sistemática de de atitudes, conceitos,
conhecimentos, regras ou habilidades
que resultam na melhoria de desempenho
no trabalho.”
Instrução
• Processo sistemático de formulação de
objetivos e escolha de métodos de ensino.
• Indicado para o desenvolvimento
competências de baixa complexidade.
de
Informação - Conhecimento
Tecnologias (objetos de aprendizagem)
que armazenam e facilitam o acesso e
a organização de informações e
conhecimentos relacionados ao
trabalho.
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Informação e
conhecimento
Hierarquia dos objetos
de aprendizagem
Modelo de
TD&E
TD&E – Visão Sistêmica
Avaliação de
Necessidades
Contexto
Organizacional
Avaliação de
Treinamento
Desenho e
Execução
Efetividade em TD&E
• Efetividade
– Alcance de metas
– Fazer o que é preciso fazer.
– Desempenho de qualidade.
• Eficiência:
– Fazer mais com menos recursos
– Qualidade dos processos
Mensuração e Avaliação
Mensurar
Julgar
Avaliar
Avaliação: processo que inclui coleta de dados e emissão
de juízo de valor sobre a efetividade de um dado sistema
instrucional.
Mensuração e Avaliação
AVALIAR TREINAMENTO PARA QUE?
•
•
•
•
•
Obter controle sobre o treinamento
Fazer retroalimentação para treinamento
Tomar decisões sobre treinamentos
Fazer o treinamento funcionar
Tornar treinamento externamente válido
AVALIAÇÃO DE TREINAMENTO
Pressupostos: existem objetivos e efeitos
de T&D em cada nível, bem como uma
cadeia de determinação entre eles
Papel da avaliação: utilizar esses objetivos
como parâmetros e coletar dados sobre os
efeitos nos diferentes níveis e compará-los
com os esperados
Modelo de Avaliação – Hamblin
Ações não vinculadas a treinamento
(ñ. “T”)
TREINAMENTO
Variáveis interferentes
(V. intf.)
OBJETIVOS DE
REAÇÕES
COMPARAR
EFEITOS DE
REAÇÕES
V. intf.
ñ. “T”
OBJETIVOS DE
APRENDIZADO
COMPARAR
EFEITOS DE
APRENDIZADO
V. intf.
ñ. “T”
OBJETIVOS DE
COMPORTAMENTO
NO CARGO
COMPARAR
ñ. “T”
OBJETIVOS DA
ORGANIZAÇÃO
OBJETIVOS DE
VALOR FINAL
ñ. “T”
LÓGICA DO
PLANEJAMENTO
DE TREINAMENTO
EFEITOS NO
COMPORTAMENTO
NO CARGO
V. intf.
COMPARAR
EFEITOS NA
ORGANIZAÇÃO
V. intf.
COMPARAR
EFEITOS DE
VALOR FINAL
AVALIAÇÃO DE
TREINAMENTO
CADEIA DOS
RESULTADOS
DE TREINAMENTO
NÍVEIS DE AVALIAÇÃO DE
TREINAMENTO
- HAMBLIN 1978 Reação
Aprendizagem
Satisfação c/ o treinamento
Alcance Objetivos Instrucionais
Comportamento
Impacto no Desempenho
Mudança
Eficiência da Organização
Valor Final
Eficácia da Organização
NÍVEIS DE AVALIAÇÃO DE
TREINAMENTO
Reação
Aprendizagem
Comportamento
Mudança
Valor Final
AVALIAÇÃO FORMATIVA E SOMAVIVA
Avaliação
formativa
Coleta de dados realizada
durante o processo de
desenvolvimento
do
evento instrucional.
Objetiva a obtenção de
informações
que
validem e/ou indiquem
as
correções
necessárias
no
desenho
instrucional
(materiais, estratégias,
meios,
modalidade
etc).
Avaliação
somativa
•É realizada após o evento
educacional.
•Possibilita julgar um
programa já concluído e
aprimorar os subseqüentes.
•Pode continuar após o
evento até que todos os
níveis de resultados sejam
avaliados ou até que o
sistema instrucional inteiro
atinja os níveis de eficiência,
eficácia e efetividade
esperados.
MODELO DE AVALIAÇÃO INTEGRADO E
SOMATIVO (MAIS)
PRESSUPOSTOS
1
AVALIAÇÃO É JULGAMENTO DO VALOR DO TREINAMENTO.
2
AVALIAÇÃO EXIGE PLANEJAMENTO COMO PRÉ-REQUISITO.
3
CARACTERÍSTICAS A SEREM AVALIADAS SÃO DETERMINADAS
PELOS PRINCÍPIOS TEÓRICOS ADOTADOS NO PLANEJAMENTO.
4
AVALIAÇÃO TAMBÉM É OPORTUNIDADE PARA CONSTRUIR
CONHECIMENTO (APRENDER SOBRE TREINAMENTO).
5
RESULTADOS DA AVALIAÇÃO PODEM ALTERAR PLANEJAMENTOS
FUTUROS.
Modelos Somativos de Investigação
Preditores
Critérios
Reação
Treinamento
Aprendizagem
Clientela
Comportamento
Resultados
Suporte
Valor Final
5 COMPONENTES
 AMBIENTE
INSUMOS INSUMOS
 PROCEDIMENTOS
 PROCESSOS
 RESULTADOS
AMBIENTE: APOIO
PROCESSO
AMBIENTE:
AMBIENTE:
NECESSIDADES
INSUMOS
INSUMOS PROCEDIMENTOS
RESULTADOS
RESULTADOS
A LONGO
PRAZO
PROCESSO
AMBIENTE: DISSEMINAÇÃO
INSUMOS
DESCRIÇÃO:
FATORES FÍSICOS E SOCIAIS
ESTADOS COMPORTAMENTAIS
ANTERIORES À INSTRUÇÃO
PODEM AFETAR INSTRUÇÃO
INSUMOS
EXEMPLOS:
- NÍVEL SÓCIO-ECONÔMICO;
- HABILIDADES;
- PRÉ-REQUISITOS;
- ATITUDES SOBRE O CONTEÚDO;
- ATITUDES SOBRE EQUIPE (PESSOAS)
- EXPERIÊNCIA NA ÁREA (PRÁTICA)
PROCE
CIMENTOS
DESCRIÇÃO:
A. OPERAÇÕES QUE PRODUZEM
RESULTADOS INSTRUCIONAIS
B. INCLUEM OCORRÊNCIAS DELIBERADAS
E ACIDENTAIS
EXEMPLOS:
- SEQUÊNCIA DE OBJETIVOS;
- TEMPO PARA PRÁTICA;
- RETROALIMENTAÇÃO;
- APRESENTAÇÃO DE OBJETIVOS;
- LEMBRANÇA DE PRÉ-REQUISITOS;
- DEMONSTRAÇÕES;
- INSTRUÇÕES VERBAIS;
- APRESENTAÇÕES DE EXEMPLOS/
EXPLICAÇÕES;
- AULAS EXPOSITIVAS.
PROCE
DIMEN
TOS
PROCESSOS
PROCESSOS
PROCESSOS
PROCESSOS
DESCRIÇÃO:
A. OCORRÊNCIAS RESULTANTES
DO PROGRAMA DE
TREINAMENTO, DURANTE SUA
IMPLEMENTAÇÃO.
B. DESEMPENHOS
INTERMEDIÁRIOS DO APRENDIZ.
EXEMPLOS:
- RESULTADOS DE EXERCÍCIOS
PRÁTICOS;
- TEMPO DE ESTUDO INDIVIDUAL;
- NÚMERO DE REPETIÇÕES DE ATIVIDADES;
- NÚMERO DE DESISTENTES.
RESULTADOS
DESCRIÇÃO:
A. ALCANCE DOS OBJETIVOS DEFINIDOS
B. EFEITOS INESPERADOS DESEJÁVEIS E
INDESEJÁVEIS
RESULTADOS
EXEMPLOS:
C. DETERMINADOS AO FINAL DO
TREINAMENTO
QUALQUER HABILIDADE, ATITUDE,
CONHECIMENTO RESULTANTE DO
TREINAMENTO
Necessidade
Necessidade
AMBIENTE:
•LACUNAS ENTRE SITUAÇÕES REAIS E IDEAIS
•LACUNAS NAS COMPETÊNCIAS
•DESVIOS NOS RESULTADOS
•FALHAS EM PROCESSOS ORGANIZACIONAIS
APOIO
AMBIENTE:
 VARIÁVEIS NO LAR, NA ORGANIZAÇÃO, NA COMUNIDADE
 TÊM INFLUÊNCIA POTENCIAL SOBRE OUTROS
COMPONENTES
APOIO
 PODEM FACILITAR PROCESSO DE ENSINO-APRENDIZAGEM
EXEMPLOS:
INVESTIMENTOS; INSTALAÇÕES PARA TREINAMENTO; MATERIAIS;
ATITUDES DA ORGANIZAÇÃO SOBRE O TREINAMENTO; PROPORÇÃO
APRENDIZ/INSTRUTOR; FORMAÇÃO ACADÊMICA E PEDAGÓGICA
DOS
INSTRUTORES,
TREINAMENTO..
SUPORTE
À
TRANSFERÊNCIA
DE
AMBIENTE:
DISSEMINAÇÃO
DISSEMINAÇÃO VARIÁVEIS QUE CONTRIBUEM PARA ADOÇÃO
DISSEMINAÇÃO
OU PROCURA DO TREINAMENTO
EXEMPLOS: MEIOS DE DIVULGAÇÃO DO
TREINAMENTO;ESTRATÉGIAS DE
DIVULGAÇÃO
RESULTADOS
EM LONGO
PRAZO
AMBIENTE:
RESULTADOS
A LONGO
PRAZO
CONSEQUÊNCIAS AMBIENTAIS DO TREINAMENTO
ESPERADAS E INESPERADAS
NÃO SÃO MEDIDAS LOGO APÓS TREINAMENTO
EXEMPLOS: DESEMPENHO NO CARGO; MUDANÇAS NA
ORGANIZAÇÃO; INDICADORES DE CUSTO-BENEFÍCIO; VALOR SOCIAL
AMBIENTE: Resultados (Longo prazo)
RESULTADOS
LONGO
PRAZO
INSUMOS
AMBIENTE: Resultados (Longo prazo)
INSUMOS
RESULTADOS LONGO PRAZO
NOS NÍVEIS DE:
Indivíduo
Equipe
Organização
Ambiente: Resultados ou Impactos a
Longo Prazo
No nível do indivíduo:
• afetivos (atitudes frente a pessoas, objetos, aspectos do
trabalho e não trabalho, si próprio e aprendizagem; motivação
no trabalho; auto eficácia; bem estar mental)
• cognitivos (uso de informações verbais, conceitos e regras e
solução de problemas ou criatividade)
• psicomotores (velocidade, fluidez)
• fisiológicos (saúde, doença e aptidão física)
• instrumentais intrínsecos (autonomia, elogios e ridicularização)
• Instrumentais extrínsecos (aumento, promoção e novos
trabalhos)
• instrumentais relacionais (networking, relações de colaboração,
capacitação de outras pessoas)
• instrumentais não relacionados ao trabalho (mudanças em
relações ou desempenhos fora do trabalho, novos papéis em
outras esferas de vida)
Ambiente: Resultados ou Impactos a
Longo Prazo
No nível da equipe:
• afetivos (coesão, satisfação, auto-eficácia,
ambigüidade de papéis e orientação para tarefa)
• cognitivos (conhecimento possuído e representado)
• de desempenho (comunicação interna, tomada de
decisão, solução de conflitos, níveis de participação)
• instrumentais intrínsecos (responsabilidades e
variedade de trabalho recebido)
• instrumentais extrínsecos (bônus)
• instrumentais de qualificação (certificações formais)
Ambiente: Resultados ou Impactos a
Longo Prazo
No nível da organização:
• relativos a metas de produtos (quantidade,
qualidade, variedade)
• relativos a metas do sistema (crescimento, lucro,
retorno de investimentos)
• aquisição de recursos (novos clientes, compra de
outras organizações)
• constituintes (satisfação de consumidores e
acionistas, imagem)
• de processos internos (novas tecnologias, clima,
absenteísmo, rotatividade, taxas de acidentes)
Modelo Empírico de Avaliação
Ambiente: Suporte / Restrições Situacionais
6. Suporte à
Transferência
2. Treinamento
3. Reações
5. Impacto
1. Clientela
7. Resultados
4. Aprendizagem
Representação esquemática do modelo IMPACT de avaliação de TD&E
(Abbad, 1999, 2003 e 2006)
Instrumentos de avaliação
• Resultados:
– Itens de escala de avaliação de Reações ao treinamento
– Aprendizagem
– Itens de escalas de Impacto do treinamento no Trabalho (em
amplitude e profundidade)
– Resultados e Valor Final
• Apoio ou Suporte
– Itens da escala de Suporte Psicossocial à Transferência
– Itens da escala de Suporte Material
• Procedimentos ou características do treinamento
– Itens do Roteiro de análise de materiais didáticos
– Itens do Roteiro de observação de instrutor
MEDIDAS DE REAÇÃO
• O que medir? Com o que? Como medir?
– Medida global ou múltiplas medidas com foco em
distintos
aspectos:
insumos,
procedimentos,
processos, resultados e ambiente (necessidades,
apoio, disseminação e resultados a longo prazo)
– Questionários específicos para cada organização,
extraindo-se
fatores
e
calculando-se
sua
confiabilidade (geralmente muito bons!)
– Lápis e papel, maioria de questões fechadas; ou
observação de eventos; ou análise documental
– Alto grau de correspondência entre resultados
quantitativos e qualitativos
– Houve avanços no sentido de enfrentar desafios
EXEMPLOS DE ITENS DE AVALIAÇÃO DE
REAÇÃO
Reação à Programação e ao Apoio
Ordenação do conteúdo.
Adequação dos conteúdos aos objetivos.
Definição de objetivos.
Carga horária total.
Qualidade e organização do material didático
Quantidade de material didático.
Carga horária diária.
Carga horária para atividades práticas.
Compatibilidade entre objetivos e necessidades
Qualidade das instalações.
Abbad (1999)
MEDIDAS DE APRENDIZAGEM
• Parâmetros
– fixados pelos objetivos ou pelo conteúdo?
– desempenho do grupo de treinandos e do indivíduo antes
e depois?
• Avaliador
– especialista em conteúdo ou em avaliação?
• Experiências (auto-relatos e pós-testes)
– poucas e baixas correlações com outros componentes do
modelo (insumos, procedimentos, processos e ambiente)
– medidas aparentemente frágeis
– houve poucos avanços e foi feito pouco esforço
MEDIDAS DE COMPORTAMENTO NO CARGO
Impacto do Treinamento no Trabalho
•
Medir observando ou
perguntando?
– Dificuldades para
observar desempenhos
complexos, ou não
rotineiros e para evitar
ingerências no trabalho
– Perguntas acabam
sendo melhor
alternativa, além de
exigirem custos e
esforços menores
– Análises de conteúdos
de perguntas abertas
muito freqüentemente
apoiaram dados
quantitativos
•
•
Auto (treinandos) ou
hetero (supervisores,
colegas ou clientes)
avaliações?
– Combinação seria o
ideal
– Validade e alta precisão
confirmadas
seguidamente
– Supervisores e colegas
às vezes mais rigorosos
que treinandos, outras
vezes foram estes.
Estudos permitiram
avanços importantes nesse
nível de avaliação
EXEMPLOS DE ITENS DE AVALIAÇÃO DE
IMPACTO EM AMPLITUDE
Auto-Avaliação de Impacto do Treinamento no Trabalho - Amplitude
Utilizo com freqüência as habilidades que aprendi no treinamento.
Sugiro com mais freqüência mudanças nas rotinas de trabalho.
Estou mais receptivo a mudanças.
Meus colegas aprendem comigo.
Aproveito as oportunidades que tenho para praticar as novas habilidades.
Cometo menos erros no meu trabalho
Recordo-me bem dos conteúdos que aprendi no curso.
Realizo meu trabalho com maior rapidez.
Melhorou a qualidade do meu trabalho.
Melhorou a qualidade do meu trabalho em tarefas não relacionadas ao
curso.
Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad.
EXEMPLOS DE ITENS DE AVALIAÇÃO DE
IMPACTO EM PROFUNDIDADE – Auto
Auto-Avaliação de Impacto do Treinamento no Trabalho - Profundidade
Promovo o processo de integração grupal de minha equipe,
potencializando os aspectos facilitadores e minimizando os
dificultadores desse processo.
Incentivo a participação dos membros da equipe na identificação de
problemas e suas possíveis causas.
Incentivo a participação dos membros da equipe no planejamento, nas
decisões e na busca de soluções.
Estimulo a criatividade da equipe potencializando os fatores
facilitadores e minimizando os dificultadores.
Solicito feedback aproveitando as observações feitas pelos pares e
outros colaboradores para fazer a auto-crítica.
Dou feedback aos colaboradores de maneira adequada e eficaz.
Transmito mensagens com clareza, certificando-me da compreensão.
Este tipo de instrumento é específico e construído para cada curso.
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM
PROFUNDIDADE
Hetero
IMPACTO
EM PROFUNDIDADE
TREINAMENTO
NO
TRABALHO - ECONOMIA APLICADA
1. Toma decisões com base nos impactos decorrentes da expansão/ contração dos meios de
pagamento da atividade econômica.
2. Prospecta oportunidades de negócio, gerando soluções inovadoras ao mercado em que
atua.
3. Detecta potenciais/reais ameaças ao desempenho do Banco, antecipando-se à
concorrência na apresentação de soluções.
4. Conduz o processo negocial de acordo com a estrutura do mercado em que o cliente
atua.
5. Utiliza indicadores econômico – financeiros para apoiar decisões negociais.
6. Avalia metas com base em seus indicadores econômicos financeiros.
7. Baliza decisões sobre oferta e demanda de produtos e serviços (exemplo créditos,
seguro) com base na evolução dos principais indicadores macroeconômicos do país (PIB,
juros, câmbio, finanças públicas, balança de pagamento) e nas análises setoriais.
8. Conduz o processo negocial de acordo com a análise do contexto da economia
internacional (comércio internacional, balança de pagamento, mercado cambial, blocos
econômicos, globalização, dívida externa).
MEDIDAS ORGANIZACIONAIS
•
Questões equivalentes às do nível anterior:
– Foco no comportamento da organização ou de suas unidades
– Medidas de observação e perguntas são usadas
– Mudanças (deduzidas dos objetivos) a serem detectadas na
cultura, valores, metas, estruturas, processos e desempenhos
organizacionais ou de equipes
•
Faltam sistemas organizacionais de controle e avaliação sensíveis
à detecção de efeitos de T&D
•
Escores relativos a comportamento no cargo sistematicamente
maiores que os de mudança organizacional
•
Há muito por avançar. Caminho está traçado e parece ser
equivalente ao do nível anterior
MEDIDAS DE VALOR FINAL
•
Muda o quadro de referências
– da Psicologia, Educação e Administração para a Economia
•
Identificação e cálculo dos parâmetros da avaliação
– Que objetivos de T&D aprendidos levariam a mudanças no
trabalho dos indivíduos e na organização, que levariam a
que indicadores de custo e benefícios?
– Existe tecnologia de coleta e análise de dados, dependente
de grande motivação e capacitação organizacionais e
elevados e duradouros investimentos em T&D
•
Raramente consegue-se implementar esse nível
– Existe relato de uma experiência nacional
– Experiências internacionais só relatadas por um grupo de
pesquisadores
Exemplo de Medida de Apoio
Suporte à Transferência: refere-se ao apoio de chefes e
colegas ao uso de novas habilidades no trabalho (fator 1).
Fator 1: Suporte Gerencial e Social à Transferência
Freq.
Meu chefe encoraja a aplicação.
Meu chefe planeja comigo o uso das novas habilidades.
Recebo as informações necessárias ao uso eficaz das novas habilidades.
Meu chefe remove obstáculos e dificuldades ao uso eficaz das novas habilidades.
Meu chefe encoraja-me a aplicar no trabalho o que aprendi no treinamento.
Recebo elogios pelo uso correto das novas habilidades.
Minhas sugestões são levadas em consideração.
Recebo as orientações e informações necessárias à aplicação eficaz das novas habilidades.
Recebo apoio dos colegas experientes.
Minhas tentativas de uso das novas habilidades passam despercebidas.
Tenho oportunidades de utilizar no trabalho o que aprendi no curso.
São ressaltados os aspectos negativos à aplicação das novas habilidades.
Abbad, 1999
Abbad e Sallorenzo, 2001
Exemplo de Medida de Apoio
Suporte Material à Transferência: refere-se à disponibilidade e
qualidade dos recursos materiais necessárias ao uso eficaz de novas
habilidades no trabalho (fator 1).
Suporte Material à Transferência
Os recursos materiais estão em boas condições de uso.
A organização fornece recursos em quantidade suficiente.
A organização fornece os recursos materiais necessários.
As ferramentas de trabalho são compatíveis com a aplicação eficaz das
novas habilidades.
O local de trabalho é adequado à aplicação das novas habilidades.
Freq.
Exemplo de Medida de Procedimento
Características do Treinamento: qualidade do projeto
instrucional e da execução do programa.
Roteiro de Análise Documental - (27 itens)
Objetivos Instrucionais (7 itens):
- Descrição em termos de desempenhos observáveis
- Precisão na escolha do verbo de ação
- Existência de critério qualitativo
- Descrição clara do objeto da ação
- Adequação do nível de complexidade do verbo às taxonomias
- Clareza nas definições de condições
Adequação de Estratégias e Meios (5 itens)
Exercícios (3 itens)
Recursos de Apoio (7 itens- textos, transparências, filmes, vídeos e
similares)
Fontes de Informação (2 itens - bibliografia e outros meios)
Planejamento de Atividades (2 itens)
Seqüência de apresentação dos conteúdos (2 itens)
Exemplo de Medida de Procedimentos
Características do Treinamento: qualidade do projeto
instrucional e da execução do programa.
Roteiro de Observação do Instrutor – 54 itens
Didática (44 itens)
-
Transmissão de objetivos
Uso de estratégias para motivar os treinandos
Apresentação de conteúdos e exemplificação
Uso de estratégias e meios instrucionais
Atividades Práticas e Avaliações de Aprendizagem
Sumarização
Organização e Administração do Tempo
Domínio do Conteúdo (6 itens)
Entrosamento com os Treinandos (4 itens)
Resultados de
Pesquisas
Científicas Nacionais
e Estrangeiras
Características metodológicas das pesquisas nacionais e estrangeiras
Método
Pesquisas nacionais
Pesquisas estrangeiras
Amostra
Profissionais de nível superior
e médio (2º grau completo).
16 a 65 anos de idade.
Profissionais de nível superior e
médio (2º grau completo) e
estudantes universitários.
Jovens
Organizações
Públicas, Privadas e de
diferentes setores econômicos.
Bancos, prestadoras de serviços
de telecomunicações, empresas
de pesquisa, saúde, financeira,
tribunais, escola técnica,
energia elétrica, transporte de
passageiros,universidades,
escola de governo, entre
outros.
Públicas, privadas, forças
armadas, universidades e
empresas de diferentes setores
econômicos.
Coleta de dados
Aplicação de questionários,
observação direta, análise
documental, entrevistas.
Aplicação de questionários e
testes.
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Características metodológicas das pesquisas (cont.)
Método
Pesquisas brasileiras
Pesquisas estrangeiras
Fontes de
informação
Auto-avaliação, hetero-avaliação
(pares e supervisores), análise
documental e bases secundárias de
dados.
Auto e hetero-avaliação.
Medidas de
efetividade
Reações (escalas específicas)
Aprendizagem (escores em provas,
exercícios práticos).
Medidas de impacto em
amplitude e profundidade.
Impacto em resultados e valor
final.
Reações (escalas
específicas)
Medida de impacto em
profundidade.
Análise do
relacionamento
entre variáveis
Regressão múltipla stepwise,
padrão e sequencial, correlação
canônica, equação estrutural,
ANOVAS, ANCOVA, Análise de
Clusters.
Equação estrutural,
regressão hierárquica,
ANCOVA, MANCOVA e
MANOVA
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Modelo de Avaliação Integrada e Somativa de Sistemas
Instrucionais – MAIS - Borges-Andrade
N
E
C
E
S
S
I
D
A
D
E
S
Apoio ou Suporte
Processo
Insumo Procedimento Resultados
Clientela
1e2
Processo
Disseminação
R
E
S
U
L 3
T 4
A 5
D
O
S
Insumos
Procedimentos
Processos
Apoio
Disseminação
Medidas de avaliação de Características da Clientela (Insumos)
Escalas Validadas
Autores
Auto-eficácia
Meneses, 2002.
Locus de controle
Meneses, 2002.
Auto conceito profissional
Tamayo, 2002.
Valor instrumental do treinamento
Lacerda, 2002; Pilati, 2004.
Motivação para aprender e para transferir a
aprendizagem
Comprometimento com a carreira
Abbad, 1999; Lacerda, 2002.
Comprometimento no trabalho
Estratégias de Aprendizagem
Bastos, 1994; Rodrigues, 2000;
Pilati, 2005.
Zerbini, 2003.
Hábitos de estudo
Zerbini, 2003; Brauer, 2005
Crenças sobre sistemas de treinamento
Freitas, 2005
Indicadores de prazer e sofrimento
Mendes, 1999; Mota, 2002.
Motivação para aplicar
Pilati, 2004.
Estratégias para aplicar no trabalho o
aprendido em treinamento
Pilati, 2004.
Rodrigues, 2000.
Insumos
Procedimentos
Processos
Apoio
Disseminação
Medida relativa a Procedimentos
Instrumento
Autor
Taxonomia de treinamentos (cinco categorias)
Pilati, 2005
Medidas de avaliação de Processos
Medidas
Autor
Uso dos recursos da internet em curso a distância
Escores em exercícios e testes intermediários
Pilati, 2005
BorgesFerreira, 2005
Insumos
Procedimentos
Processos
Apoio
Disseminação
Medidas de Avaliação do Ambiente - Apoio ou Suporte
Instrumentos Validados
Autores
Suporte organizacional
Abbad, Pilati e BorgesAndrade, 1999
Abbad, 1999; Abbad e
Sallorenzo, 2000.
Suporte à transferência de treinamento (Suporte
psicossocial e Suporte Material)
Falta de Suporte à transferência de curso a
distância
Suporte à aprendizagem contínua
Carvalho, 2003.
Suporte à Aprendizagem
Coelho Jr., 2004
Barreiras à conclusão de treinamento a distância
Brauer, 2005
Modernidade organizacional
Del Maestro, 2005
Freitas e Pantoja, 2003
Medida de Avaliação do Ambiente - Disseminação
Instrumento Validado
Autora
Disseminação de informações sobre treinamento
Meira, 2004
Insumos
Procedimentos
Processos
Apoio
Disseminação
Principais resultados das pesquisas nacionais e estrangeiras
Variáveis
Pesquisas Nacionais
Pesquisas Estrangeiras
Preditoras
Insumos ou
Clientela
Gênero, idade,
tempo transcorrido desde no
término de nível superior,
escolaridade,
cargo, motivação para aprender,
comprometimento, intenção em
aplicar o aprendido,
auto-eficácia,
valor instrumental,
motivação para aplicar,
crenças sobre o sistema de
treinamento,
conhecimento anterior sobre
temas abordados no treinamento,
estratégias para aplicar o
aprendido no trabalho.
Motivação para aprender,
conscienciosidade, ansiedade,
nível de agressividade, traço
de personalidade,
adaptabilidade, emoções, tipo
de orientação para objetivos,
estratégias de aprendizagem
(cognitivas e afetivas),
estratégias de aplicação das
habilidades, capacidade de
imaginação (imagery), autoeficácia, locus de controle e
idade.
Insumos
Procedimentos
Processos
Apoio
Disseminação
Principais resultados das pesquisas nacionais e estrangeiras
Variáveis Preditoras
Pesquisas Nacionais
Pesquisas Estrangeiras
Procedimentos
Similaridade entre situação de
treinamento e realidade de
trabalho, características do plano
instrucional (clareza e precisão
dos objetivos), natureza do
objetivo principal,
uso de exercícios práticos,
categoria taxonômica do
treinamento,
crenças sobre o sistema de
treinamento
Estabelecimento de objetivos
(específicos e difíceis) em
treinamento, estabelecimento
de objetivos combinado com
feedback, procedimentos
multimídia, abordagem
humanista, estímulo ao
desenvolvimento de
conhecimento estratégico,
estratégia instrucional
múltipla (aquisição de
conhecimentos e aplicação
da habilidade), modelação
comportamental.
Insumos
Procedimentos
Processos
Apoio
Disseminação
Principais resultados das pesquisas nacionais e estrangeiras
Apoio
Suporte
Climate to
transfer
Suporte à transferência
(psicossocial ou
gerencial/social e material),
suporte organizacional
(gestão do desempenho e
valorização do servidor),
expectativas de suporte após
o evento instrucional
(contexto pré-treinamento),
suporte à aprendizagem
falta de suporte à
transferência de treinamento
a distância
Clima para transferência
como preditor robusto
de impacto do
treinamento no
trabalho.
Discussão
Entre as mais fortes variáveis explicativas de impacto do treinamento (nível 3) foram:
•Suporte à transferência (gerencial/social),
•Reações ao treinamento
•Valor Instrumental do treinamento
•Estratégias para aplicar o aprendido no trabalho
Continuam pouco claros os resultados de pesquisas relacionando os primeiros três níveis
de avaliação (baixas correlações de aprendizagem com os níveis 1 e 3).
Grande parte das pesquisas incluiu variáveis de suporte (maior parte de suporte à
transferência) em seus modelos de avaliação.
Em quase todos os casos suporte psicossocial à transferência foi a variável que explicou
maior porção da variabilidade das respostas de impacto do treinamento no trabalho.
Resultados esses que corroboram outros similares aos obtidos por Roullier & Goldstein,
1993; Warr, Allan & Birdi, 1999 e outros mencionados por Salas & Cannon-Bowers, 2001
Variáveis como suporte organizacional e suporte à aprendizagem exercem influência
distal sobre transferência (nível 3), porém menor do que o exercido suporte à
transferência
Agenda de pesquisa
-Incluir variáveis de disseminação e processo nos
modelos
-Construir modelos multivariados e multinível de
avaliação
de necessidades de treinamento
-Investir na construção de medidas de avaliação
nos níveis 4 e 5
-Incorporar achados da literatura sobre avaliação
de programas
-Investigar processos de transferência vertical e
horizontal utilizando abordagem multinível
Obrigada!
[email protected]