Universidade de Brasília Instituto de Psicologia - IP Departamento de Psicologia Social e do Trabalho - DPST Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações - PG/PSTO Avaliação de Transferência e Impacto do Treinamento no Trabalho Mestranda: Daniele Martins Vitoria Orientadora: Gardênia da Silva Abbad Estrutura da Apresentação Referencial Teórico Revisão de Literatura Problema de Pesquisa Objetivos da Pesquisa Método Resultados Discussão Conclusão 2 de 45 Referenciais Teóricos Conhecimentos, Habilidades e Atitudes - CHAs Treinamento, Desenvolvimento e Educação Níveis de Avaliação de Treinamento 3 de 45 Revisão de Literatura Portais: Instituto Brasileiro de Informação em Ciência e Tecnologia – IBICT Base: Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) Periódicos Capes e PROQUEST: Bases: Web of Science (2007 a 2011) Academic Search Premier ASP-EBSCO, Science Direct, Wiley Online Library e Scielo (2011 a 2013) Línguas: Português e Inglês Anos: 2007 a agosto de 2013 Palavras-chave: Avaliação de treinamento; impacto de treinamento; transferência de treinamento; transfer of training; training transfer; outcomes of training 176 títulos em português e 854 títulos em inglês Descarte de duplicados e/ou que não tratassem de Impacto ou Transferência de Treinamento após leitura de títulos e resumos : 155 artigos (português) e 793 (inglês) Descarte após leitura devido ao contexto não ser o ambiente de trabalho (2011 a 2013) : 34 artigos (inglês) Ao final foram estudados 21 artigos em português e 27 em inglês 4 de 45 Objetivos da Pesquisa Objetivo Geral: Avaliar dois treinamentos (Abordagens Negociais e Gestão de Carteiras para Pessoa Física e para Pessoa Jurídica) nos níveis de Transferência e Impacto do Treinamento no Trabalho, (Comportamento no Cargo nos modelos de Kirkpatrick, 1976 e Hamblin, 1978), identificando a influência de características individuais e de suporte sobre os resultados do treinamento no desempenho individual. 5 de 45 Objetivos da Pesquisa Objetivos Específicos: Verificar se as Características da Clientela são bons preditores do Impacto e/ou da Transferência de Treinamento Verificar se o Suporte à Transferência influencia de forma a facilitar ou restringir os resultados no treinamento nos níveis de Impacto e Transferência de Treinamento 6 de 45 Método Características Gerais da Pesquisa Abordagens qualitativa e quantitativa Delineamento correlacional de campo Amostra não probabilística de conveniência 7 de 45 Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 8 de 45 Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 9 de 45 Método 10 de 45 Método Contexto de Estudo Organização Estudada: Instituição bancária de grande porte com ampla abrangência nacional e em expansão internacional Mais de 100 mil funcionários em todo o Brasil 11 de 45 Método Os Treinamentos Avaliados Contexto de Estudo Gestão de Carteiras e Abordagens Negociais Pessoa Física; e Gestão de Carteiras e Abordagens Negociais Pessoa Jurídica Características: • • • • • Presencial Carga horária: 24 horas – 1 semana Universidade Corporativa do banco Instrutores são ex-gerentes Objetivos cognitivos e afetivos para mudança de comportamento e atitude na realização de negócios e atendimento ao cliente. 12 de 45 Método Contexto de Estudo População Curso GECAN PF: 10.492 gerentes de relacionamento treinados em 2012 Curso GECAN PJ: 4.125 gerentes de relacionamento treinados em 2012 13 de 45 Método Contexto de Estudo Amostra 2 filtros: mesmo chefe antes e depois do treinamento; e chefe ter avaliado apenas um subordinado escolhido aleatoriamente Enviados 3.071 (GECAN PF) e 1.787 (GECAN PJ) Retorno: 1.803 - 58,7% (GECAN PF) e 928 – 51,9% (GECAN PJ); 1.274 chefes (GECAN PF) e 714 chefes (GECAN PJ). 14 de 45 Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 15 de 45 Método Construção do Instrumento de Transferência de Treinamento Análise do material didático do curso Validação semântica Validação por juízes Instrumento Final com 20 itens indicadores de desempenho 16 de 45 de Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 17 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho a) Adaptação da Escala de Suporte à Transferência Instrumento original construído e validado Abbad (1999) e Abbad e Sallorenzo (2001); por Construto bidimensional medido por dois fatores: •Suporte Psicossocial (suporte gerencial e social); o Apoio Gerencial o Fatores Situacionais: o Consequências do uso dos CHAs • Suporte Material • qualidade, quantidade e a disponibilidade de recursos materiais e financeiros, • qualidade e adequação do ambiente físico do local de trabalho. 18 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho a)Adaptação da Escala de Suporte à Transferência Escala Original (Abbad, 1999; Abbad & Sallorenzo, 2001) Escala Adaptada Escala de resposta do tipo Likert de 1 a 10 Escala de resposta do tipo Likert de 1 a 5 Suporte Psicossocial – 11 7 itens com cargas fatoriais itens com cargas fatoriais acima de 0,60 e Alpha de acima de 0,40 Cronbach =0,91 Suporte Material – 5 itens com 3 itens com cargas fatoriais cargas fatoriais acima de 0,40 acima de 0,57 e Alpha de Cronbach =0,91 Na escala original foi excluído o item sobre a carga de trabalho por não atingir carga fatorial mínima de 0,40, mas devido ao contexto de estudo optou-se por manter e após a aplicação esse item apresentou carga fatorial acima de 0,67 nas duas amostras. 19 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho b) Adaptação da Escala de Características da Clientela Necessidades de Utilização do Treinamento Dados demográficos e funcionais 20 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho b) Adaptação da Escala de Características da Clientela Necessidades de Utilização do Treinamento • Desenvolvida em estudos anteriores por pesquisadores da Divisão de Avaliação de Gestão de Pessoas da organização estudada. Busca identificar: Motivos que levaram o funcionário a participar do treinamento (A01); Percepção de importância dos CHAs adquiridos (A-02) Percepção de aquisição dos CHAs (A-03) Percepção de utilização dos novos CHAs no trabalho (A-04) Dados demográficos e funcionais 21 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho b) Adaptação da Escala de Características da Clientela • Necessidades de Utilização do Treinamento • Dados demográficos e funcionais Gênero Faixa Etária Escolaridade Local de Trabalho Experiência na Função 22 de 45 Método Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho c) Adaptação de Impacto do Treinamento no Trabalho – Desenvolvida em estudos anteriores por pesquisadores da Divisão de Avaliação de Gestão de Pessoas da organização estudada com base no modelo de gestão do desempenho profissional (GDP) que busca indicadores derivados do Balanced Scorecard. Busca medir os efeitos do treinamento sobre o desempenho geral do egresso no ambiente de trabalho. 7 itens numa escala do tipo Likert de 10 pontos, ancorada em sua extremidade por 1 “nenhuma contribuição” e 10 “contribuição foi muito grande”. 23 de 45 Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 24 de 45 Método Validação do Instrumento Procedimentos de Coleta e Análise de Dados nas Etapas 3 e 4: • Aplicação do instrumento final na amostra dos egressos dos cursos GECAN PF e GECAN PJ foi realizada por meio de formulário eletrônico disponibilizado na intranet da empresa durante o período de uma semana. • O convite ao empregados que participaram do treinamento foi realizado por meio de email convite. Na amostra dos chefes dos dois cursos foram aplicadas apenas as escalas de Transferência e Impacto do Treinamento e os dados demográficos e funcionais. Foram realizadas análises estatísticas descritivas, exploratórias, análises dos componentes principais e fatoriais. E análise de regressão múltipla padrão para atender os objetivos da Etapa 4. 25 de 45 Método Etapas Metodológicas da Pesquisa Método Contexto de Estudo Construção do Instrumento de Transferência de Treinamento Etapa 1 Adaptação das Escalas de Suporte, Características da Clientela e Impacto do Treinamento no Trabalho Etapa 2 Validação do Instrumento Teste das relações entre as variáveis Etapa 4 Etapa 3 26 de 45 Método Teste das relações entre as variáveis Impacto do Treinamento no Trabalho Modelos A e B da Etapa 4 Modelo A curso GECAN PF Modelo B curso GECAN PJ 27 de 45 Método Teste das relações entre as variáveis Transferência de Treinamento Modelos C e D da Etapa 4 Modelo C curso GECAN PF Modelo D curso GECAN PJ 28 de 45 Método Características da Clientela Suporte à Transferência Gênero (1-Masculino; 2-Feminino) Escolaridade (1- Ensino Fundamental; 2Ensino Médio; 3- Ensino Superior; 4- PósGraduação) Funcional (Local de Trabalho): 1- Unidade de negócios; 2-Unidade de Apoio; 3-Unidade Tática; 4- Outras Escala do tipo Likert de 10 pontos -Médias das respostas aos itens das escalas Suporte Psicossocial à Transferência Suporte Material Suporte Organizacional Faixa Etária ( “1”-18 a 24 anos; “2”- 25 a 30 anos; “3”-31 a 39 anos; “4”-40 a 49 anos; “5”- 50 anos ou mais. Percepção de importância (A-02), aquisição (A-03) e uso dos novos CHAs (A04) e Motivo que o levou a participar do treinamento (A-01) -Escala do tipo Likert de 10 pontos 29 de 45 Resultados Etapa 3 Fatorabilidade da matriz de correlações Escala de Transferência de Treinamento¹ Indicador Resultado GECAN PJ Resultado GECAN PF Chefes Resultado GECAN PJ Chefes Interpretação Tamanho da amostra 1571 casos válidos 916 casos válidos 1327 casos válidos 741 casos válidos Mais de 10 casos por item tamanho adequado. Matriz de correlações 100% dos coe-ficientes > 0,30 100% dos coeficientes > 0,30 100% dos coeficientes > 0,30 100% dos coeficientes > 0,30 Quantidade de correlações indica que a matriz é fatorável. Teste de Esfericidade de Bartlett´s 36023,927 (sig. = 0,000) 21379,794 (sig. = 0,000) 37061,312 (sig. = 0,000) 20234,785( sig,= 0,000) Matriz com quantidade de correlações significante entre suas variáveis. KMO Determinante Resultado GECAN PF 0,979 0,976 0,980 0,978 9,71 E-011 6,87 E-011 6,202 E-013 1,007E-012 Valor considerado ótimo, indica adequação da amostra para a análise. ¹. Os mesmos procedimentos adotados foram realizados em subamostras para aumentar a confiabilidade dos dados e foram encontrados resultados semelhantes. 30 de 45 Resultados Etapa 3 Escala de Transferência de Treinamento avaliação dos egressos¹ Análise fatorial - método PAF, sem rotação com tratamento listwise dos casos omissos. Eigenvalues iguais ou superiores a 1. Escala de Transferência de treinamento Cargas Alfa Nº de fatores Autoavaliação GECAN PF 0,75 a 0,89 0,978 1 Autoavaliação GECAN PJ 0,61 a 0,86 0,979 1 Nome do Fator Definição Realização de Negócios com Foco no Cliente e Adoção de Rotinas e Procedimentos para Identificação de suas necessidades Opinião dos egressos sobre o quanto o treinamento contribuiu para a mudança de seus comportamentos, ou seja, para que aplicassem no ambiente de trabalho as técnicas de atendimento ao cliente e adotassem as rotinas e procedimentos para mapeamento do perfil do cliente. % Explicada 70,179 e KMO = 0,979 (Autoavaliação GECAN PF); % Explicada 70,387 e KMO = 0,976 (Autoavaliação GECAN PJ) ¹. Os mesmos procedimentos adotados foram realizados em subamostras para aumentar a confiabilidade dos dados e foram encontrados resultados semelhantes. 31 de 45 Resultados Etapa 3 Escala de Transferência de Treinamento avaliação dos chefes² Análise fatorial - método PAF, sem rotação com tratamento listwise dos casos omissos. Eigenvalues iguais ou superiores a 1. Escala de Transferência de treinamento Cargas Alfa Nº de fatores Avaliação dos chefes GECAN PF 0,83 a 0,93 0,984 1 Avaliação dos chefes GECAN PJ 0,77 a 0,91 0,984 1 Nome do Fator Efetivação de Atendimentos e Realização de Negócios com Foco no Cliente e Adoção de Rotinas e Procedimentos para Identificação de suas necessidades Opinião dos chefes sobre o quanto o treinamento contribuiu para a mudança de comportamento dos seus subordinados (egressos do treinamento) para que eles aplicassem no ambiente de trabalho as técnicas de atendimento ao cliente e adotassem as rotinas e procedimentos para mapeamento do perfil do cliente. % Explicada 76,161 e KMO = 0,980 (avaliação dos chefes GECAN PF) % Explicada 76,625 e KMO = 0,978 (avaliação dos chefes GECAN PJ) ². Os mesmos procedimentos adotados foram realizados em subamostras para aumentar a confiabilidade dos dados e foram encontrados resultados semelhantes. 32 de 45 Resultados Etapa 3 Escala de Impacto do Treinamento no Trabalho Análise fatorial - método PAF, sem rotação com tratamento listwise dos casos omissos. Eigenvalues iguais ou superiores a 1. Escala de Impacto do Treinamento no Trabalho Cargas Alfa Nº de fatores Autoavaliação GECAN PF 0,881 a 0,911 0,963 1 Autoavaliação GECAN PJ 0,854 a 0,905 0,963 Nome do Fator Definição Impacto do Treinamento no Trabalho Opinião dos egressos do curso Gestão de Carteiras e Abordagens Negociais para a melhoria do seu desempenho geral considerando as perspectivas do Sistema de Gestão do Desempenho Profissional da organização, bem como sua satisfação, atitudes e motivação. Impacto do Treinamento no Trabalho do Egresso Opinião dos chefes acerca dos efeitos indiretos do curso para a melhoria do desempenho geral do subordinado considerando as perspectivas do Sistema de Gestão do Desempenho Profissional da organização, bem como a satisfação, as atitudes e motivação dos egressos. 1 Avaliação dos chefes GECAN PF 0,869 a 0,940 0,973 1 Avaliação dos chefes GECAN PJ 0.895 a 0,939 0,970 1 % Explicada 78,96 e KMO = 0,924 (Autoavaliação); % Explicada 84,26 e KMO = 0,939 (avaliação dos chefes GECAN PF) % Explicada 78,84 e KMO = 0,924 (Autoavaliação); % Explicada 82,53 e KMO = 0,929 (avaliação dos chefes GECAN PJ) ². Os mesmos procedimentos adotados foram realizados em subamostras para aumentar a confiabilidade dos dados e foram encontrados resultados semelhantes. 33 de 45 Resultados Etapa 3 Escala de Suporte à Transferência Análise fatorial - método PAF, sem rotação com tratamento listwise dos casos omissos. Eigenvalues iguais ou superiores a 1. Escala de Suporte à Transferência Autoavaliação GECAN PF Autoavaliação GECAN PJ Cargas 0,623 a 0,841 Alfa Nº de fatores 0,917 1 Nome do Fator Suporte à Transferência 0,614 a 0,807 0,918 1 Definição Opinião dos treinandos dos cursos Gestão de Carteiras e Abordagens Negociais(Pessoa Física e Pessoa Jurídica) acerca do apoio recebido de seus pares e chefes e da organização e quanto aos materiais e recursos disponibilizados. % Explicada 54,148 e KMO = 0,921 (GECAN PF); % Explicada 54,455 e KMO = 0,909 (GECAN PJ) ². Os mesmos procedimentos adotados foram realizados em subamostras para aumentar a confiabilidade dos dados e foram encontrados resultados semelhantes. 34 de 45 Resultados Etapa4: Teste das relações entre as variáveis Coeficiente de correlação de Pearson (r =0,103) indicou relação positiva entre as avaliações dos egressos e seus chefes. Sr² = 0,324 β = 0,319 Sr² = 0,152 β = 0,134 Sr² = 0,451 β = 0,422 Impacto do Treinamento no Trabalho Explicação do modelo 60,2% (R² ajustado = 60% ) R = 0,776 Modelo A da Etapa 4 Autoavaliação dos egressos de Impacto do Treinamento no Trabalho do curso GECAN PF 35 de 45 Resultados Etapa4: Teste das relações entre as variáveis Coeficiente de correlação de Pearson (r =0,147) indicou relação positiva entre as avaliações dos egressos e seus chefes. Sr² = 0,228 β = 0,216 Sr² = 0,217 β = 0,187 Sr² = 0,451 β = 0,409 Impacto do Treinamento no Trabalho Explicação do modelo 60,6% (R² ajustado = 60,2% ) R = 0,779 Modelo B da Etapa 4 Autoavaliação dos egressos de Impacto do Treinamento no Trabalho do curso GECAN PJ 36 de 45 Resultados Teste das relações entre as variáveis Coeficiente de correlação de Pearson (r =0,132) indicou relação positiva entre as avaliações dos egressos e seus chefes. Sr² = 0,348 β = 0,317 Sr² = 0,311 β = 0,261 Sr² = 0,432 β = 0,367 Transferência de Treinamento Explicação do modelo 66,6% (R² ajustado = 66,3% ) R = 0,816 Modelo C da Etapa 4 Autoavaliação dos egressos de Impacto do Treinamento no Trabalho do curso GECAN PESSOA FÍSICA 37 de 45 Resultados Teste das relações entre as variáveis Coeficiente de correlação de Pearson (r =0,123) indicou relação positiva entre as avaliações dos egressos e seus chefes. Sr² = 0,319 β = 0,284 Sr² = 0,283 β = 0,226 Sr² = 0,466 β = 0,388 Transferência de Treinamento Explicação do modelo 67,2% (R² ajustado = 66,9% ) R = 0,820 Modelo D da Etapa 4 Autoavaliação dos egressos de Impacto do Treinamento no Trabalho do curso GECAN PESSOA JURÍDICA 38 de 45 Discussão Escala de Transferência de Treinamento - válida e confiável (α ≈ 0,978 nas autoavaliações e α = 984 na avaliação dos chefes dos dois cursos). Único fator com Variância explicada >70% Escala de Impacto do Treinamento no Trabalho - válida e confiável. (α = 0,963 nas autoavaliações e α ≈ 0,970 na avaliação dos chefes dos dois cursos). Único fator com Variância explicada >78% Escala de Suporte à Transferência - válida e confiável (α ≈ 0,917 nas autoavaliações dos dois cursos). Único fator com Variância explicada > 54% 39 de 45 Discussão Comparação da Escala Original de Suporte à Transferência com a Escala adaptada no estudo Escala adaptada foi considerada válida e confiável, pois apresentou bons índices psicométricos e respaldo teórico. Escala original Escala adaptada 7 itens com cargas fatoriais variando de 11 itens com cargas fatoriais 0,67 a 0,83(GECAN PF) e entre 0,62 e variando de 0,46 a 0,86 e Alpha de 0,80(GECAN PJ) e Alpha de Cronbach = Cronbach = 0,91. 0,91 (GECAN PF e PJ). 3 itens com cargas fatoriais variando 6 itens com cargas fatoriais entre 0,57 e 0,76(GECAN PF) e Suporte material variando de 0,56 a 0,80 e Alpha de variando entre 0,61 e 0,79 (GECAN PJ) Cronbach = 0,86. e Alpha de Cronbach =0,91 (GECAN PF e PJ). Suporte psicossocial à transferência: Em comparação com os resultados obtidos na escala original obteve melhores cargas fatoriais. 40 de 45 Discussão O Suporte à Transferência foi um bom preditor tanto de Transferência quanto de Impacto do Treinamento no Trabalho (Sr² ≥ 0,422 e β ≥ 0,367 nos dois cursos). Resultados similares foram encontrados nos estudos de Pereira (2009), Silva (2011) e Santos Júnior (2012). Nos dois cursos a percepção de Aquisição e Utilização dos novos CHAs pelos treinandos apresentaram bom poder preditivo tanto de Transferência e quanto de Impacto do Treinamento no Trabalho; No presente estudo as características demográficas e funcionais não mostraram ser um bom preditor de Transferência ou de Impacto do Treinamento no Trabalho 41 de 45 Conclusão As variáveis contempladas no modelo geral de pesquisa explicaram juntas: • 67% da variabilidade de Transferência do treinamento nos dois cursos; e • 60% da variabilidade de Impacto do Treinamento no Trabalho nos dois cursos avaliados. Contribuições da Pesquisa: Uso de avaliações dos superiores hierárquicos; Validação de instrumento específico de Transferência 42 de 45 Conclusão Limitações da pesquisa Contexto muito específico da organização estudada o que reduz a possibilidade de generalização para outros contextos; Ausência de controle não treinado; Ausência de pré-testes para comparação com os resultados pós-treinamento; Não foi avaliado os níveis de reação, aprendizagem e resultados (mudança organizacional e valor final). 43 de 45 Conclusão Agenda de Pesquisa Avaliar os níveis de resultados: mudança organizacional e valor final; Incluir a realização de pré e pós testes; Propor o uso de heteroavaliações de pares e chefes em todas as escalas; Analisar outras características individuais como preditoras de Transferência e Impacto do Treinamento no Trabalho (i.e. autoeficácia, motivação, etc). 44 de 45 Universidade de Brasília Instituto de Psicologia - IP Departamento de Psicologia Social e do Trabalho - DPST Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações - PG/PSTO [email protected]