V Congresso Brasileiro de Psicologia Organizacional e do Trabalho MESA REDONDA: PREDITORES DE EFETIVIDADE E IMPACTOS DE TREINAMENTOS NO TRABALHO TRABALHO 3: TRANSFERÊNCIA E IMPACTOS DE TREINAMENTOS NO TRABALHO Gardênia da Silva Abbad (UnB – PSTO-PPGA e Thaís Zerbini (USP- Ribeirão Preto). Rio de Janeiro, 2012 V Congresso Brasileiro de Psicologia Organizacional e do Trabalho OBJETIVO GERAL: •Apresentar brevemente o contexto e o foco das pesquisas sobre as medidas de impacto do treinamento no trabalho, medido em profundidade e largura. OBJETIVOS ESPECÍFICOS: (1) Discutir a importância da mensuração da transferência de treinamentos presenciais e a distância e em contextos de qualificação profissional; (2) Distinguir os conceitos de transferência e impacto, em profundidade e amplitude; (3) Relatar o processo de construção e validação de instrumentos de impacto em profundidade e amplitude, e de transferência de treinamento; (4) Descrever procedimentos de aplicação destes instrumentos em contextos de organizações e trabalho. (5) Analisar resultados provenientes da aplicação dos Rio de Janeiro, 2012 instrumentos em questão Capítulos 8 e 9 V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Treinamento 1 Aprendizagem 2 Alternativas para melhorar conhecimentos e Habilidades (não treinamento) 3 Retenção Generalização 5 4 7 6 Outras influências sobre a memorização e generalização Influências externas não comportamentai s sobre a transferência Transferência de treinamento 8 Influências não comportamentai s sobre o desempenho Figura 1. Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e Driscoll (1998). Impacto em amplitude (comp. no cargo) V Congresso Brasileiro de Psicologia Organizacional e do Trabalho •Transferência de treinamento consiste na generalização de novas aprendizagens para o trabalho e é definida, para fins de mensuração, como a aplicação eficaz, no contexto de trabalho, dos CHAs adquiridos durante ações instrucionais. O conceito inclui a questão da mudança na forma de desempenhar as atividades de trabalho. No modelo de Hamblin (1978), esses efeitos são denominados comportamento no cargo e são medidos em termos de impacto em profundidade (transferência de treinamento) e impacto em amplitude (efeito da transferência sobre o desempenho do egresso). Impacto do treinamento em profundidade ou transferência de treinamento é definido como os efeitos diretos e específicos de um evento instrucional, extraídos diretamente dos objetivos de ensino, sobre o comportamento subseqüente do indivíduo em seu cargo dentro da organização. Impacto do treinamento no trabalho (ou impacto em amplitude) como a influência indireta exercida pela ação instrucional sobre o desempenho global, atitudes e motivação do egresso. Fonte: Pilati e Abbad (2005) V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em profundidade 1. Selecionar o programas de treinamentos que serão avaliados 2. Levantar os objetivos instrucionais do curso 3. Transformar os objetivos instrucionais em objetivos de desempenho 4. Construir a escala com os objetivos de desempenho e proceder à validação semântica da mesma 5. Submeter a escala a uma avaliação por juízes para se ter certeza de que se está medindo aquilo que de fato era esperado do curso 6. Definir os procedimentos de coleta de dados e implementar a coleta 7. Checar a fatorabilidade da escala e realizar a análise fatorial da mesma 8. Elaborar o relatório com a descrição dos resultados e as recomendações de ação a partir dos mesmos Fonte: Abbad e cols, 2012. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em profundidade Tópicos Ordenados para Formatação do Questionário: Nome do Questionário Nome do Curso Avaliado Período de Realização Instruções de preenchimento: 1. Objetivo da avaliação 2. Confidencialidade das respostas individuais 3. Tratamento agrupado dos dados 4. Descrição da escala e de seu uso (marcar com X, assinalar, digitar) 5. Apresentação da Escala de avaliação (reapresentar a cada nova página) Ex: Freqüência: o Ex: Concordância: 0 Discordo Totalmente 1 Discordo Pouco um 2 3 Não Concordo, Nem Discordo Concordo um Pouco 1. Itens e espaço para registro das respostas 2. Espaço para comentários Dados Sócio-Demográficos (quando pertinente) 3. Agradecimento e contato com o pesquisador 4 Concordo Totalmente V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em profundidade Fator Exemplos de Itens componentes das escalas IPGN 1. Identifico oportunidades de negócios por meio da utilização de diversas fontes de informação. 2. (Re)defino a missão do meu negócio a partir dos objetivos, produtos, serviços e mercado de atuação. 3. (Re)defino a missão do meu negócio em conjunto com os colaboradores. Planejamento 4. Descrevo, de forma simples e clara, a atividade principal do meu negócio. Estratégico 5. (Re)defino a missão do meu negócio, de forma que constitua um desafio e do Negócio um compromisso para os colaboradores. 6. Faço uma análise de mercado, utilizando informações já existentes (pesquisa em livros, publicações ou anuários). 7. Defino o mercado consumidor do meu negócio, descrevendo detalhadamente meu público-alvo, por meio de questionário ou entrevista estruturada. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em amplitude Treinamento 1 Aprendizagem 2 Alternativas para melhorar conhecimentos e Habilidades (não treinamento) 3 Retenção Generalização 5 4 7 6 Outras influências sobre a memorização e generalização Influências externas não comportamentai s sobre a transferência Transferência de treinamento 8 Influências não comportamentai s sobre o desempenho Impacto em amplitude (comp. no cargo) V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em amplitude Até o momento, a análise da literatura mostra o emprego de três tipos de itens de avaliação de impacto em amplitude, a saber: (1) itens gerais e aplicáveis a quaisquer tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho, como o desenvolvido por Abbad (1999); (2) itens que espelham objetivos gerais de programas educacionais ou de treinamento, aplicáveis na avaliação de programas específicos de capacitação, como os elaborados por Carvalho (2003), Pereira (2009), Soares (2009); (3) itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003). V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em amplitude Descrição dos Itens – Impacto do Treinamento no Trabalho Melhorou a qualidade do meu trabalho. Cometo menos erros no meu trabalho. Realizo meu trabalho com maior rapidez. Aumentou minha autoconfiança. Aumentou minha motivação para o trabalho. Melhorou qualidade do meu trabalho em tarefas não relacionadas ao curso. Sugiro com mais frequência mudanças nas rotinas. Utilizo com frequência as habilidades que aprendi no treinamento. Estou mais receptivo a mudanças. Aproveito as oportunidades que tenho para praticar as novas habilidades. Meus colegas aprendem comigo. Recordo-me bem dos conteúdos que aprendi no curso. Cargas Fatoriais 0,79 0,76 0,75 0,75 0,67 0,67 0,66 0,64 0,63 0,62 0,61 0,41 V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Impacto em amplitude Itens da Escala Impacto do Treinamento no Trabalho (em Amplitude). Curso IPGN - SEBRAE Invisto no modo de funcionamento interno da empresa (equipamentos, materiais, logística, layout etc.). Estruturo o ambiente da empresa, de forma a garantir o bom atendimento e a satisfação do cliente. Conheço todos os produtos/serviços oferecidos pela empresa, adequando-os ao mercado consumidor. Escolho o local adequado para abrir o negócio. Falo sobre as características dos produtos/serviços que ofereço. (Re)invisto recursos financeiros no negócio. Cumpro as datas de pagamento de impostos. Avalio a qualidade dos produtos/serviços em todas as áreas do negócio. Desenvolvo estratégias de marketing adaptadas aos produtos/serviços oferecidos pela empresa (cursos, página na internet, folheto, outdoor, promoções, mala direta,…). Fonte: Dissertação de mestrado Renata Carvalho, 2003, páginas: 91-92. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Procedimentos de Análise de Dados Tratamento das respostas numéricas aos itens ANÁLISES DESCRITIVAS ANÁLISES EXPLORATÓRIAS Fonte: Abbad e cols (2012). • Médias aritméticas e desvios padrões • Frequências absolutas e Percentuais • Valores mínimos e máximos • calcular a quantidade de casos omissos • localizar respostas atípicas e erros de digitação • verificar a aleatoriedade ou a presença de padrões de casos omissos • tomar decisões: eliminação de casos, estimação de dados, recodificação de variáveis. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Procedimentos de Análise Tratamento das respostas abertas e dados pessoais ANÁLISE DE CONTEÚDO ANÁLISES DE DADOS DO RESPONDENTE • Uma das técnicas recomendadas: Bardin • Sexo, idade, formação profissional, cargo, função, entre outras) devem ser pareadas a outras informações como: notas parciais e finais recebidas pelo participante no treinamento, reações do participante ao treinamento, impacto. • O pareamento deve ser feito por meio de variável chave . Fonte: Abbad e cols (2012). V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Relatório de retroalimentação EFEITOS DEVIDOS A DIFERENÇAS INDIVIDUAIS EFEITOS DO SUPORTE SOBRE A TRANSFERÊNCIA E O IMPACTO Fonte: Abbad e cols (2012). • Localizar eventuais diferenças nos efeitos do treinamento em função de variáveis pessoais (motivação, demográficas, estratégias de aprendizagem, experiência previa com conteúdos similares aos veiculados pelo treinamento). • Sugerir medidas garantir que os treinamentos se ajustem às necessidades e características de cada perfil de participante. • Identificação de ambientes pouco acolhedores das novas aprendizagens podem ser tratados de diversas maneiras. • preparação do participante para o enfrentamento de situações. • Oferta de orientações e informações aos gerentes, de modo que eles possam apoiar a aplicação de novas habilidades no trabalho. • Divulgação ampla dos objetivos instrucionais do treinamento e do questionário de avaliação de impacto para que os gerentes tenham conhecimento V Congresso Brasileiro de Psicologia Organizacional e do Trabalho Relatório de retroalimentação EFEITOS DIRETOS DO TREINAMENTO Fonte: Abbad e cols (2012). • Correlacionar notas, reações do participante ao curso com os níveis de transferência de treinamento e impacto em amplitude . • Identificar lacunas no desenho e falhas na execução do treinamento e propor melhorias no plano instrucional, adequando aos perfis de público-alvo. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho RELATÓRIO DE RETROALIMENTAÇÃO Os resultados das avaliações devem ser interpretados de modo a responder as seguintes questões: 1. O treinamento produziu os efeitos desejados no nível do desempenho o egresso? 2. Quantas pessoas e qual o perfil dos egressos que estão aplicando as novas aprendizagens no trabalho? 3. Em quais unidades organizacionais houve maior impacto do treinamento no trabalho? 4. O impacto é maior em unidades em que há maior suporte psicossocial (de chefes e colegas) à transferência de treinamento? Fonte: Abbad e cols (2012). V Congresso Brasileiro de Psicologia Organizacional e do Trabalho PESQUISAS: TRANSFERÊNCIA DE TREINAMENTOS A DISTÂNCIA •Foram encontradas poucas pesquisas sobre transferência de treinamento a distância e sobre efeitos sobre o desempenho no trabalho do egresso (impacto em amplitude), entre as quais há estudos realizados no Brasil (Carvalho, 2003; Carvalho & Abbad, 2003; Zerbini, 2003; Zerbini e Abbad, 2005: Coelho Jr, 2004a, Zerbini, 2007). •Seis pesquisas nacionais avaliaram reações, cinco avaliaram aprendizagem e cinco avaliaram impacto do treinamento no trabalho. •Reações favoráveis dos estudantes ao treinamento (procedimentos de ensino-aprendizagem, materiais, resultados e aplicabilidade e à interface gráfica do ambiente virtual de aprendizagem estão relacionadas com transferência de treinamento. Porém, estão fracamente relacionadas com aprendizagem, corroborando resultados obtidos em avaliações de treinamentos presenciais. Fonte: Abbad (2010), Abbad, Zerbini e Souza (2010) V Congresso Brasileiro de Psicologia Organizacional e do Trabalho PESQUISAS : TRANSFERÊNCIA E IMPACTO •Cerca de 28 pesquisas nacionais relacionaram variáveis de impacto em profundidade e/ou em largura com suporte, variáveis pessoais, reações dos participantes a treinamentos presenciais, no período de 1999-2011. • Já é possível mostrar que treinamentos produzem impactos no nível individual (reações, aprendizagem e transferência de treinamento). Entretanto, existem poucas pesquisas em nível de resultados organizacionais. •Entre nove estudos estrangeiros sobre transferência de treinamento no trabalho analisados por Laval (2011) havia: •Predomínio da variável transferência de treinamento (efeito direto e específico do treinamento sobre o comportamento do egresso) como variável critério. •Predomínio de variáveis independentes relacionadas aos fatores individuais (autoeficácia, orientação para objetivos, motivação para aprender) e aos fatores de contexto organizacional (suporte de supervisores e de pares, feedback, clima para transferência) para definirem as hipóteses de predição de transferência de treinamento e demais variáveis critério Fonte: Abbad (2010), Laval (2011). analisadas. V Congresso Brasileiro de Psicologia Organizacional e do Trabalho PESQUISAS: TRANSFERÊNCIA E IMPACTO Quanto aos resultados, Laval (2011) constatou que: •Oito estudos apresentaram encontraram influência de fatores individuais e fatores contextuais – suporte dos pares e supervisor, cultura de aprendizagem contínua, oportunidade de usar feedback, coaching e suporte gerencial, clima para transferência e oportunidade de usar – sobre transferência de treinamento. Fonte: Abbad (2010), Laval (2011).