Construção de Itens de Avaliação de Impacto em Profundidade Grupo Impacto 2002 Transparências confeccionadas por: Gardênia Abbad e Juliana Rios 1 Impacto, Transferência e Desempenho Análise das Expressões •Comportamento ou Impacto do treinamento no trabalho compreende os conceitos de retenção a longo prazo, generalização, transferência de aprendizagem e desempenho. •Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento. •O participante transfere para o trabalho uma nova forma de desempenhar antigas tarefas e/ou leva para o ambiente de trabalho as competências, habilidades, atitudes e/ou conhecimentos necessários à execução de uma nova tarefa. 2 Impacto do Treinamento no Trabalho: Análise das Expressões Certas competências, habilidades, capacidades, conhecimentos e/ou atitudes aprendidos em treinamentos podem afetar o desempenho em muitas atividades não diretamente ligadas ao curso. Treinamento pode afetar comprometimento e auto-eficácia. motivação, O conceito de impacto do treinamento no trabalho não se reduz ao conceito de transferência positiva de treinamento. 3 Impacto no Trabalho Transferência de Aprendizagem Generalização Retenção 4 Tipos de Impacto do Treinamento Impacto em largura ou amplitude: refere-se aos efeitos globais do treinamento no desempenho e atitudes do participante, medido em termos de indicadores genéricos de desempenho. Impacto em Profundidade: refere-se aos efeitos específicos do treinamento em atividades diretamente relacionadas às habilidades adquiridas no curso. 5 Exemplo de avaliação de impacto em largura ou amplitude Auto-Avaliação de Impacto do Treinamento no Trabalho - Amplitude Utilizo com freqüência as habilidades que aprendi no treinamento. Sugiro com mais freqüência mudanças nas rotinas. Estou mais receptivo a mudanças. Meus colegas aprendem comigo. Aproveito as oportunidades que tenho para praticar as novas habilidades. Cometo menos erros no meu trabalho. Recordo-me bem dos conteúdos que aprendi no curso. Realizo meu trabalho com maior rapidez. Melhorou a qualidade do meu trabalho. Melhorou qualidade do meu trabalho em tarefas não relacionadas ao curso. Aumentou minha motivação para o trabalho. Aumentou minha autoconfiança. 6 Exemplo de Avaliação de Impacto em Profundidade Auto-Avaliação de Impacto em Profundidade 1. Promovo o processo de integração grupal de minha equipe, potencializando os aspectos facilitadores e minimizando os dificultadores deste processo. 2. Estabeleço acordos baseados na adesão das partes envolvidas. 3. Incentivo a participação dos membros da equipe na identificação de problemas e suas possíveis causas. 4. Incentivo a participação dos membros da equipe no planejamento, nas decisões e na busca de soluções. 5. Valorizo as relações interpessoais, mantendo o equilíbrio dinâmico entre foco nas tarefas e nas relações interpessoais. 6. Estimulo a criatividade da equipe potencializando os fatores facilitadores e minimizando os dificultadores. 7. Solicito feedback aproveitando as observações feitas pelos pares e outros colaboradores para fazer a auto-crítica. 8. Dou feedback aos colaboradores de maneira adequada e eficaz. 9. Transmito mensagens com clareza, certificando-se da compreensão. 7 Algumas implicações dessas análises As medidas de avaliação de impacto envolvem indicadores de desempenho exemplar. Esses indicadores são descrições de competências, habilidades, atitudes, capacidades humanas. Essas competências podem ser classificadas de acordo com taxonomias de resultados de aprendizagem, cujos princípios organizadores são: complexidade para as capacidades cognitivas e metacognitivas, grau de internalização para atitudes e de automatização para habilidades psicomotoras. As ações educacionais não pautadas nas hierarquias de aprendizagem poderão fracassar. O uso de estratégias metacognitivas de alta complexidade como aprender a aprender e auto-gestão de carreira, não são facilmente adquiridas em eventos educacionais de curta duração, mas em programas educação continua. 8 Exemplo de Taxonomia do Domínio Cognitivo: Bloom Avaliação Síntese Análise Aplicação Compreensão Conhecimento 9 Exemplo de Taxonomia do Domínio Atitudinal ou Afetivo: Bloom Caracterização Organização Valorização Resposta Receptividade 10 Impacto em Profundidade de Objetivos Instrucionais Objetivos instrucionais ou de aprendizagem são descrições de CHAs, seqüenciadas de acordo com hierarquias de aprendizagem. O conjunto de objetivos instrucionais que compõem um plano instrucional contém descrições de comportamentos pré-requisitos, não requeridos e irrelevantes no ambiente pós treinamento. (Ex: um consultor de T & D saber descrever todas as etapas de um LNT. O que importa é que ele saiba fazer um LNT) Ao construirmos objetivos de desempenho ou descrições de efeitos do treinamento no trabalho, devemos excluir os comportamentos intermediários e extrairmos dos objetivos de aprendizagem apenas aqueles que emergirão no ambiente pós treinamento. Muitas vezes, esses objetivos de desempenho ou itens de impacto não estão descritos no material do curso. 11 Objetivos de Desempenho X Objetivos Instrucionais Em que se assemelham e em que diferem? Assemelham-se quanto à estrutura e às regras de construção: CONDIÇÃO + VERBO + OBJETO DA AÇÃO + CRITÉRIO Desempenho Omitido qdo. é “óbvio” Essenciais Omitido em tarefas (desempenhos) complexas 12 Objetivos de Desempenho ou Itens de Avaliação de Impacto em Profundidade Explicitam comportamentos esperados dos colaboradores no desempenho de atividades, após eventos instrucionais. São os resultados esperados após ações de treinamento e desenvolvimento, por exemplo. Eles deverão estar relacionados às habilidades abordadas durante um evento instrucional específico, ou um conjunto deles. Devem derivar do que foi trabalhado durante um treinamento ou um conjunto de ações instrucionais. 13 Objetivos de Desempenho A mensuração destes comportamentos pode nos fornecer informações acerca: Da adequação dos cursos/treinamentos às necessidades da clientela (voltados para a realização de atividades profissionais, por exemplo). Ou seja, nosso curso está voltado para as atividades que os treinandos deverão desempenhar? – Fala da “Qualidade” do Curso para aquela clientela. Do nível de aproveitamento do que foi trabalhado durante o curso. Ou seja, quais habilidades ensinadas efetivamente estão sendo aplicadas – Essa informação é complementar à Av. de Impacto em Amplitude. 1. 2. Esse tipo de informação compõe o que denominamos Avaliação de Impacto do Treinamento em Profundidade. 14 Objetivos de Desempenho •Não se esqueça de utilizar sempre verbos que descrevam ações observáveis!!! •Utilize verbos de ação, conforme tabela de Laaser •Use as taxonomias para classificar e ordenar os verbos OBSERVÁVEIS Identificar Descrever Demonstrar Assinalar Escolher Executar Definir Avaliar NÃO OBSERVÁVEIS (Ambíguos) Crer Apreciar Saber Compreender Conscientizar Conhecer Reconhecer Pensar 15 Objetivos de Desempenho X Objetivos Instrucionais Em que se assemelham e em que diferem? Diferem principalmente quanto à sua possível utilização no dia-a-dia de trabalho dos indivíduos: Isso significa que, muitas vezes, um objetivo instrucional caracterizase como intermediário para que se desenvolva uma habilidade mais complexa (durante o treinamento). Assim, nem todos os objetivos instrucionais devem ser transformados em objetivos de desempenho. Na prática, os objetivos instrucionais devem ser selecionados com base em sua relevância para a concretização das atividades (habilidades como ‘Definir um conceito’ muitas vezes não são realizadas no cotidiano dos colaboradores, mas foram essenciais no processo de ensino-aprendizagem). Devem, então, ser aprimorados de forma a traduzir ações desejadas na efetivação das atividades dos colaboradores. 16 Objetivos de Desempenho Essa adaptação realmente é muito complexa, exigindo informações acerca do cotidiano de trabalho que muitas vezes não dominamos. Mas tenha Calma!!!!! NESSE MOMENTO DEVEMOS CONTAR COM O AUXÍLIO DE UM CONSULTOR INTERNO DO CLIENTE. Essa figura é essencial (geralmente um colaborador que desempenha e domina a atividade ou supervisores, gerentes e/ou conteudistas). Como se pode ver, a construção de objetivos de desempenho possui diversas etapas e não é esperada perfeição em sua construção, antes da intervenção de um colaborador do cliente para validação dos mesmos. 17 Etapas da Construção de Itens de Impacto em Profundidade 1. Leitura do material do curso (apostilas, exercícios, objetivos..) ou realização do curso 2. Identificação e, em alguns casos, aprimoramento dos objetivos de aprendizagem 3. Listagem dos objetivos de aprendizagem, hierarquizando-os de acordo com as taxonomias correspondentes 4. Identificação dos objetivos de desempenho ou indicadores de feitos diretos do treinamento no desempenho posterior do participante em seu ambiente de trabalho 5. Redação dos objetivos de desempenho ou itens de impacto 6. Escolha da escala de avaliação 7. Validação por juízes (planejadores, instrutores, especialistas em conteúdo, etc) e validação piloto (ex-participantes) 8. Digitalização e formatação final para aplicação 18 Impacto em Profundidade O tempo adequado após um treinamento, para se realizar avaliações de impacto, varia de acordo com a NATUREZA do curso Alguns treinamentos podem ser avaliados após poucas semanas de seu término, enquanto outros mais complexos - podem demandar até mesmo anos para que todas as habilidades trabalhadas possam ser observadas (cursos como Gestão Estratégica de Negócios podem exemplificar esse ponto). 19 Fôlego e Bom Trabalho!!! Impacto 2002 Objetiv Desemp os de enho 20