Título do Trabalho: A Avaliação de Desempenho é um Instrumento Adequado para Medir
Impacto de Treinamento?
Autoria: Isa Aparecida de Freitas
Resumo
Avaliar as contribuições do treinamento para a melhoria do desempenho das pessoas treinadas
tem sido tema freqüente na literatura. Apesar da existência de metodologia já validada na
literatura, um dilema se mantém: é adequado utilizar os resultados da Avaliação de
Desempenho (AD) como medida de impacto de treinamento? Este artigo visa contribuir para
a reflexão sobre esse tema. Essa pesquisa envolveu a mensuração do impacto de treinamento
com a utilização de dois métodos: questionários de auto e heteroavaliação e comparação dos
dados da AD antes e depois do treinamento. Foram avaliados quatro diferentes treinamentos
direcionados para os gestores de equipes. A coleta de dados foi realizada em três momentos:
a) análise documental; b) aplicação dos questionários, 90 dias após o curso; c) coleta de dados
sobre a AD dos gestores. Retornaram 31,6% dos questionários de impacto. A comparação
entre os dois métodos mostrou resultados inconsistentes: bons impactos foram obtidos com o
uso dos questionários (médias acima de 8, numa escala de 1 a 10 pontos) e baixo impacto na
AD. A ANOVA para amostras repetidas mostrou que dos 32 possíveis fatores a serem
impactos, de acordo com a AD, apenas 4 apresentaram melhoria significativa. São discutidas
as razões da inadequação do uso da AD como medida de impacto de treinamento nas
organizações.
1. APRESENTAÇÃO
Pesquisadores e profissionais da área de recursos humanos das organizações têm se
preocupado cada vez mais em buscar alternativas de capacitação profissional que garantam a
aprendizagem necessária para que os indivíduos possam atuar em seus trabalhos, nos níveis
de desempenho desejados. Aliadas a essa necessidade crescem as expectativas quanto à
avaliação da contribuição das ações sistematicamente planejadas para promover
aprendizagem dentro das organizações: treinamento, desenvolvimento e educação
empresarial.
Uma das questões básicas para as organizações é como garantir que os conhecimentos,
habilidades e atitudes (CHAs) adquiridos no treinamento sejam efetivamente aplicados no
trabalho.
Desde a década de 70 podem ser vistas na literatura contribuições importantes sobre em
que aspectos os treinamentos deveriam ser avaliados (Kirkpatrick, 1976; e Hamblin, 1978).
Nas últimas duas décadas, estudos sobre avaliação de treinamento têm sido cada vez mais
freqüentes e alguns resultados de pesquisa são apontados como consistentes em termos das
variáveis que influenciam a transferência e o impacto de treinamento no cargo: variáveis do
indivíduo, do treinamento e do contexto de trabalho (Cheng e Ho, 2001; Sallas e CannonBowers, 2001; e Abbad, Pilati e Pantoja, 2003).
Apesar do desenvolvimento teórico e metodológico da área de treinamento e
desenvolvimento (T&D), algumas questões permanecem tanto para pesquisadores, quanto
para os profissionais: considerando que tanto a avaliação de desempenho, quanto a avaliação
de impacto de T&D tratam fundamentalmente do desempenho do indivíduo, é adequado
utilizar os resultados das avaliações de desempenho como medidas de impacto de T&D nas
organizações? Este procedimento não simplificaria a avaliação do resultado do treinamento?
Este estudo visa contribuir para a reflexão sobre essas questões e, para tanto, compara
os resultados da avaliação de impacto de treinamento, utilizando dois métodos diferentes: os
dados da avaliação de desempenho e os dos questionários de avaliação de impacto de T&D.
2. BASE TEÓRICA
1
Nessa seção serão destacados, a partir da literatura, aspectos teóricos e conceituais
relativos aos temas avaliação de treinamento (impacto de treinamento) e avaliação de
desempenho. Em alguns casos, a opção foi por explorar cada uma das palavras constantes
nestes termos.
Será dada ênfase inicialmente ao tema avaliação de treinamento. Avaliação é a coleta
sistemática de informações descritivas e de julgamento, necessárias para tomar decisões sobre
alguma coisa ou evento. Neste caso, sobre a efetividade do treinamento.
Goldstein (1991) define o processo de Treinamento como a aquisição sistemática de
atitudes, conceitos, conhecimentos, regras e habilidades que resultam em uma melhoria do
desempenho no trabalho. Assim, o treinamento é caracterizado como uma ação
intencionalmente planejada para produzir melhorias de desempenho dos profissionais de uma
empresa. Outras definições de treinamento como a de Borges-Andrade (2002), também
destacam, como característica essencial do treinamento, a intencionalidade da organização em
produzir mudanças positivas no desempenho das pessoas. O treinamento é, então, uma atividade
planejada para aperfeiçoar o desempenho atual ou promover o desempenho futuro dos
profissionais de uma empresa.
Nesse sentido, avaliar treinamentos significa atribuir o valor do treinamento em termos
de suas contribuições para o desempenho do indivíduo, do grupo e da organização (impacto),
bem como identificar as condições necessárias para que um evento de treinamento gere os
resultados esperados, e os procedimentos que precisam ser modificados para a promoção de
melhores resultados no futuro. Assim, avaliar treinamentos significa também colher subsídios
para tomada de decisões relacionadas à seleção, adoção, valor e modificação de atividades
instrucionais (Goldstein, 1991).
Outro conceito muito presente na literatura sobre avaliação de treinamento é a
transferência de treinamento, que pode ser definida como o grau em que os treinandos
aplicam, em seus trabalhos, conhecimentos, habilidades, comportamentos e atitudes
adquiridas em treinamento (Latham, 1989). Isso significa dizer que as pessoas aprendem um
conjunto de CHAs e transferem essa aprendizagem para uso em outro contexto. Assim,
quando se fala de transferência de treinamento está sendo retratada a aprendizagem de CHAs
que ocorre no contexto de treinamento e que pode ser transferida em algum grau para as
situações de trabalho. Nesse sentido, Pantoja e Borges-Andrade (2002) ressaltam que seria
mais adequado utilizar a expressão “transferência de aprendizagem”, já que o que é
transferido são os CHAs aprendidos em treinamento e não o treinamento, que é um evento
organizacional. Recentemente, Abbad e Borges-Andrade (2004) rediscutiram esses termos e
consideraram transferência de treinamento como uma subdimensão da transferência de
aprendizagem, uma vez que a transferência de aprendizagem se refere a qualquer tipo de
aprendizagem, natural ou induzida.
O conceito de transferência de treinamento inclui em sua essência a questão da mudança
na forma de desempenhar as atividades de trabalho, a partir das aprendizagens ocorridas em
treinamentos. O foco está no nível de aplicação dos CHAs aprendidos. Quanto aos resultados
esperados pelas organizações, pode-se considerar a aplicação das aprendizagens como uma
condição essencial para que haja mudanças, mas a produção de mudanças observáveis no
desempenho do indivíduo treinado já reflete outro conceito, que é o impacto de treinamento.
Sallorenzo (2000) destaca que a maioria das pesquisas adota os termos transferência de
treinamento e impacto de treinamento como sinônimos. Isso representa um erro conceitual.
Na verdade, a transferência, como aplicação no trabalho dos CHAs aprendidos em
treinamento, é uma condição básica para que ocorra impacto. O impacto de treinamento só é
observado quando a pessoa treinada aplica os CHAs aprendidos e essa aplicação gera
melhorias significativas no seu desempenho. Isso significa que o impacto é o resultado
positivo da transferência de aprendizagem e que pode haver transferência sem impacto
2
significativo.
Assim, pode-se conceituar impacto de treinamento no nível do indivíduo como a
ocorrência de melhorias significativas no desempenho específico ou no desempenho geral da
pessoa treinada, como resultado da aplicação, no trabalho, dos CHAs aprendidos em
treinamento. Desse conceito podem ser extraídos dois tipos de impacto:
• impacto em profundidade - representa as melhorias no desempenho em tarefas
diretamente relacionadas aos objetivos e conteúdos ensinados no treinamento; e
• impacto em amplitude ou em largura - refere-se às melhorias no desempenho
geral, em tarefas não diretamente relacionadas aos conteúdos ensinados no
treinamento.
No Brasil, é comum avaliar treinamentos utilizando esses dois tipos de impacto e os
pesquisadores têm encontrado evidências empíricas que indicam correlação positiva entre as
medidas de profundidade e largura (Abbad, Pilati e Pantoja, 2003).
Os pesquisadores também têm demonstrado que a aplicação dos novos CHAs não
depende exclusivamente do nível de aprendizagem do treinando ao final do treinamento. O
fato de o indivíduo aprender algo novo não garante que ele aplique o que aprendeu. Outras
variáveis entram em campo para explicar porque as pessoas aplicam ou não, no trabalho,
aquilo que aprenderam. Várias teorias tentam explicar porque a transferência de
aprendizagem ocorre na vida organizacional. Dentre elas se destacam as relativas às
características dos indivíduos, do treinamento e do contexto de trabalho.
A revisão de Freitas (2005) complementou estudo iniciado por Pantoja e BorgesAndrade (2002); e Abbad, Pilati e Pantoja (2003), que analisaram a produção nacional e
estrangeira no período de 1998 a 2004. A análise das pesquisas realizadas no Brasil e no
exterior teve como objetivo identificar as medidas de transferência utilizadas e os principais
preditores de impacto de treinamento no cargo.
No que se refere às características individuais, os preditores mais freqüentes foram
motivação para treinamento e escolaridade, presentes em 14% das pesquisas (3). O local ou
unidade de trabalho foi preditor em duas pesquisas (10%). As demais variáveis individuais
pareceram em apenas um estudo.
O preditor mais freqüente da categoria características do treinamento foi o tipo de
treinamento (cognitivo, afetivo ou psicomotor), presente em 19% das pesquisas (4).
Suporte à transferência foi a variável de contexto mais pesquisada. Suporte psicossocial
atuou como preditor em 81% das pesquisas (17) e o suporte material, em 24% delas (5).
Assim, os estudos realizados destacaram o suporte psicossocial como o principal preditor do
impacto de treinamento no desempenho do indivíduo. Essa variável aborda o apoio dado
pelos chefes e colegas à aplicação, no trabalho, dos CHAs aprendidos em treinamento. A
explicação do suporte psicossocial foi responsável por 20% a 54% da variância de impacto de
treinamento no desempenho do indivíduo.
Em termos de treinamento, o paradigma sistêmico tem sido o referencial teórico
predominante na literatura científica, tanto no Brasil quanto no exterior (Borges-Andrade e
Abbad, 1996). O treinamento é visto como um sistema, composto por três subsistemas:
avaliação de necessidades de treinamento; planejamento e execução; e avaliação do treinamento.
Esses componentes são interdependentes, já que cada um contribui com subsídios para os
demais, retroalimentando todo o sistema. Neste artigo, o foco será no subsistema avaliação de
treinamento.
O modelo clássico de avaliação de treinamento é o proposto por Kirkpatrick (1976), que
considerava a necessidade de avaliação em quatro níveis: reações, aprendizagem,
comportamento no cargo e resultados. Posteriormente, esse modelo foi ajustado por Hamblim
(1978), que propôs o desdobramento do último nível, em mudança organizacional e valor
final. O modelo de Kirkpatrick (1976) propõe a existência de uma relação causal e hierárquica
3
entre os níveis de avaliação, além da correlação positiva entre eles. Esses pressupostos nem
sempre encontram respaldo empírico. As pesquisas de Alliger e Janak (1989) têm mostrado
que os relacionamentos entre os níveis nem sempre são positivos e significativos. A avaliação
proposta neste artigo se situa no terceiro nível de Kirkpatrick (!976) e Hamblin(1978) que é o
comportamento no cargo.
Desde a década de 80, muitos modelos de avaliação de treinamento têm sido
formulados. Borges-Andrade (1982) concebeu o modelo de Avaliação Integrado e Somativo MAIS. Este modelo foi um dos primeiros, no Brasil, que ressaltou a importância da variável
ambiente como fator na predição do sucesso de programas instrucionais (Abbad, 1999). Essa
variável é vista como fator importante antes, durante e depois do treinamento, porque ela pode
facilitar ou dificultar o uso das habilidades aprendidas.
Os estudos em avaliação de treinamento, no nível de comportamento no cargo,
geralmente utilizam dados primários, coletados com o uso de questionários de auto e
heteroavaliação, respondidos pelos participantes do treinamento e seus superiores ou pares,
como pode ser observado nas pesquisas nacionais e estrangeiras (Sallas e Cannon-Bowers,
2001; e Abbad, Pilati e Pantoja, 2003). A construção desses instrumentos de avaliação requer
a análise do material didático do treinamento e a realização de entrevistas com planejadores
do curso e às vezes com os instrutores para verificar a adequação dos itens de avaliação de
impacto elaborados pelo pesquisador.
Exceção a essa tendência em utilizar dados primários, no Brasil, foi a pesquisa de
Sallorenzo (2000) e a desenvolvida por Nóbrega (2003), em uma instituição financeira. Ele
avaliou o impacto em profundidade de um treinamento comportamental voltado para o
desenvolvimento da liderança. Foi realizado um estudo quase-experimental, no qual se
comparou o desempenho dos gerentes de nível intermediário, antes e depois do treinamento
(208 casos), com o desempenho do grupo controle (343 casos), em dois indicadores medidos
pela organização na área de comportamento organizacional. Estes indicadores foram: o fator
estilo de gerência, medido na pesquisa de clima organizacional, e o fator liderança,
mensurado na avaliação de desempenho desses profissionais. Os resultados indicaram que o
curso não promoveu melhorias nos desempenhos dos gestores treinados, nos dois indicadores
estudados. O autor destaca, como possível explicação, a ocorrência de falhas no processo de
levantamento de necessidades de treinamento, uma vez que o grupo experimental já
apresentava, antes do treinamento, desempenho superior ao do grupo controle na avaliação de
desempenho.
O estudo de Nóbrega foi o primeiro estudo disponível na literatura que abordou o uso da
avaliação de desempenho como medida de impacto de treinamento e lançou discussões sobre
a adequação do uso dessa medida pelas organizações, estimulando a realização desse estudo.
A avaliação de desempenho é uma estratégia organizacional comumente utilizada pelas
organizações para acompanhar o trabalho, os objetivos propostos para os profissionais e
fornecer feedback para as pessoas (Pontes, 1991).
O termo avaliação já foi definido no corpo deste artigo. Aqui vale discutir o que
significa o termo desempenho e suas definições. Segundo Freitas (1992), ele pode ser visto
como cumprimento ou execução de uma função, onde a ênfase está na quantidade e qualidade
do trabalho produzido, o que representa uma visão mecanicista. O desempenho também pode
ser visto como relacionado a traços de personalidade tais como adaptação, iniciativa,
cooperação, capacidade de liderança, dentre outros. Essa concepção tem sido altamente
criticada em função da subjetividade da avaliação e da pouca aplicação dos resultados em
termos de melhoria do desempenho, uma vez que a personalidade é uma característica pouco
mutável. Esse termo também pode ser tratado em termos comportamentais tais como
topografia, duração e freqüência, podendo ser detectado por observação. Os sistemas
baseados em comportamentos enfatizam a forma como o trabalho é feito, deixa implícita a
4
necessidade de controle sobre o profissional, uma vez que o que interessa é a forma utilizada
para realizar determinada atividade. Duas pessoas podem se comportar de forma semelhante e
produzir resultados do trabalho muito diferentes.
Em função dessas discussões, os estudiosos têm destacado que tanto a forma de realizar
o trabalho (comportamento), quanto os resultados produzidos são relevantes como medida de
desempenho profissional. O primeiro descreve como o trabalho precisa ser feito, foca
requisitos de qualidade e de relacionamento, enquanto o segundo descreve o que se espera em
termos quantitativos, geralmente são destacados em termos de metas de desempenho.
A concepção de desempenho tem influência direta sobre a elaboração do instrumento de
avaliação de desempenho, da coleta de dados e dos objetivos da avaliação. Além disso, os
problemas inerentes a esses instrumentos são mais ou menos intensos dependendo da
definição de desempenho adotada (leniência, halo, proximidade, tendência central,
preconceito pessoal).
Os autores destacam a multiplicidade de objetivos como um dos principais problemas
relacionados à efetividade dos sistemas de avaliação de desempenho (Milani, 1988). Essa
multiplicidade representa uma tentativa de conciliar os interesses individuais com os
organizacionais e muitas vezes gera conflitos. Um sistema que deseja ao mesmo tempo
indicar necessidades de treinamento e remunerar por desempenho mostra claramente uma
tendência para gerar avaliações lenientes.
Hipólito e Reis (2002) destacam que a avaliação não pode se restringir a um recurso que
auxilia a isolar, observar e mensurar, formalizar e recompensar desempenhos, mas deve ser
visto como um instrumento de gestão, aliado a outras funções de recursos humanos. Sugerem
também desmistificar a relação usualmente estabelecida entre avaliação e punição e adotar
múltiplas fontes para mensuração do desempenho.
Uma vez concluídas as considerações teóricas entre avaliação de treinamento e
avaliação de desempenho, pode-se ressaltar a principal semelhança entre esses dois
instrumentos: os dois tratam do desempenho profissional. A avaliação de treinamento visa
identificar melhorias no desempenho, especificamente após o treinamento. O objetivo
fundamental é verificar se o treinamento foi efetivo, se contribuiu para a melhoria do
desempenho. O foco da avaliação é o treinamento, mesmo que ela seja feita com base na
melhoria do desempenho da pessoa treinada. Já a avaliação de desempenho visa mensurar
como o trabalho do profissional está sendo realizado, num determinado período. Portanto, o
foco da avaliação é o desempenho em si. A partir dessa semelhança é que pesquisadores e
profissionais de RH têm sugerido o uso de dados da avaliação de desempenho para avaliar
impacto de treinamento.
3. OBJETIVO DA PESQUISA
Este estudo foi realizado com o objetivo de comparar os resultados de impacto de
treinamento obtidos a partir da Avaliação de Desempenho Profissional (GDP) com os
identificados nos questionários de avaliação de treinamento.
4. MÉTODO
Nesta seção serão especificados os seguintes aspectos: a empresa estudada, a amostra
de participantes e de treinamentos avaliados, os instrumentos e medidas de impacto de
treinamento.
4.1 A empresa
O Banco do Brasil tem 195 anos de existência e a sua história se confunde, em muitos
momentos, com a história do País. É uma empresa que vem passando por mudanças
estruturais e negociais e possui uma área de T&D com experiência de mais de 40 anos.
Como resultado da atuação dessa área, a Empresa oferece atualmente cursos com
conteúdos voltados para negócios e apoio à realização de negócios, distribuídos em 13
grandes temas. No total, a Empresa tem à disposição 155 cursos, sendo 100 desenvolvidos
5
internamente e 55 contratados no mercado. Desse total, 52 cursos são a distância, com uso de
diversas mídias (material impresso, CD, vídeo, Web e TV). Ainda estão em fase de
desenvolvimento 14 treinamentos. No ano de 2004, houve aumento de 42,26% no número de
treinamentos em relação ao ano de 2003.
A empresa possui desde o ano 2000 um Sistema Integrado de Avaliação de Programas
de T&D (SIAP) que avalia os treinamentos em termos de reações, aprendizagem e
comportamento no cargo, possuindo também uma experiência em avaliar treinamento no
nível da organização.
4.2 Amostra
A amostra nesta pesquisa considera tanto os treinamentos avaliados como os
participantes desses treinamentos.
4.2.1 Treinamentos Avaliados
Foi realizada uma pesquisa documental para identificar o conjunto de treinamentos
oferecidos pela Empresa para os Gestores de nível intermediário, público-alvo escolhido para
este estudo. Foram escolhidos quatro treinamentos, em parceria com técnicos da Empresa,
sendo que um pertencia à área de negócios com o tema Varejo e três são da área de apoio e
abordam o tema Gestão de Pessoas. Essa escolha refletiu o interesse da Empresa em
investigar os resultados de treinamento em dois temas primordiais para o seu desempenho:
Varejo é a área onde atua o maior número de funcionários da Empresa e onde se efetua o
maior volume de negócios, pois a grande maioria dos clientes é formada por pessoas físicas.
Já a escolha do tema Gestão de Pessoas é decorrente da preocupação da Empresa com a
melhoria da atuação gerencial, que, segundo as diretrizes estratégicas, deveria ser focada no
desenvolvimento profissional e na busca de melhores resultados das unidades e da
organização. No ano de 2002, os treinamentos para os gestores de nível intermediário das
agências foram priorizados pelo BB, iniciativa que foi mantida no ano de 2003.
A Tabela 1 mostra os quatro cursos escolhidos e suas principais características. Dentre
os quatro cursos escolhidos, três foram desenvolvidos internamente e um contratado no
mercado. Em termos de conteúdos, três se referem a Gestão de Pessoas e um trata de negócios
(investimentos financeiros).
Tabela 1: Características dos treinamentos avaliados.
Curso
Domínio
Tema
Temático
Negócios
Varejo
CIF Consultoria em
Investimentos Financeiros
GD Gerente
Desenvolvedor
Local de
desenvolvimento
Interno
Apoio
Gestão de
Pessoas
Externo
AMANA Key
GERE Gestão de Equipes Apoio
para Resultados
Gestão de
Pessoas
Interno
Oficina GDP Oficina para Apoio
Avaliadores da GDP
Gestão de
Pessoas
Interno
Fatores de Desempenho
relacionados ao curso
Visão Estratégica
Ação Estratégica
Análise do Negócio
Conhecimento de Produtos
e Serviços
Conhecimento do Cliente
Liderança
Trabalho em Equipe
Autodesenvolvimento
Liderança
Trabalho em Equipe
Autodesenvolvimento
Excelência do Trabalho
Excelência do Trabalho
Gestão de Processos
Liderança
Os treinamentos descritos na Tabela 1, especialmente os de Gestão de Pessoas,
apresentam diferentes graus de abrangência dos conteúdos tratados. O curso Gerente
Desenvolvedor foca o papel do gestor como agente de desenvolvimento profissional de seus
subordinados. Nesse sentido, ele destaca um papel específico a ser executado pelo gestor. O
curso GERE aborda a liderança de equipes ou grupos como forma de garantir melhores
6
resultados. Assim, ele inclui um conjunto bastante extenso de conteúdos: motivação,
reconhecimento, gestão do desempenho, coesão de grupo, retroalimentação, alinhamento do
grupo com os objetivos da unidade etc. A Oficina Gerencial apresenta um conteúdo mais
restrito, ela trata de um microprocesso que é conduzido pelo gestor: a gestão do desempenho
profissional, visando aperfeiçoá-lo.
Esses treinamentos são oferecidos regularmente pelas GEPES Regionais, que são os
órgãos descentralizados de gestão de pessoas, responsáveis, dentre outras funções, pela
execução dos treinamentos. Esses Centros estruturam as turmas em função da demanda por
treinamentos, existente em suas regiões.
4.2.2 Participantes
Participaram da pesquisa Gestores de nível intermediário do Banco do Brasil, que
atuavam em Agências e Órgãos Regionais, nos diversos locais do País, e os membros da sua
equipe de trabalho. Para facilitar a categorização desse público-alvo, a partir deste momento,
o gestor de nível intermediário passa a ser designado apenas por “gestor”.
Em termos da caracterização das unidades pesquisadas, as Agências são unidades
autônomas, responsáveis pelo atendimento dos clientes da Empresa e pela realização de
negócios. Nas agências estão lotados mais de 70% dos funcionários da Empresa. Já os Órgãos
Regionais são setores que funcionam em todo Brasil para atender necessidades específicas de
seus públicos e que são vinculados às Diretorias ou Unidade da Administração Central em
Brasília.
4.3 Instrumentos e medidas de Avaliação de Impacto
Como já descrito ao longo desse artigo, foram utilizados dois tipos diferentes de
medidas. Será apresentado inicialmente o instrumento de gestão de desempenho da Empresa
e depois a descrição das medidas de impacto baseadas nos questionários.
4.3.1 Gestão do Desempenho Profissional - GDP
A metodologia de gestão do desempenho em vigor baseou-se nos pressupostos do
balanced scorecard (Kaplan & Norton, 1997), sendo o desempenho de funcionários e equipes
de trabalho avaliado em cinco diferentes perspectivas, associadas a um conjunto de fatores de
desempenho. A GDP foi, então, composta por Fatores e Metas, como especificado a seguir:
• as metas dizem respeito aos resultados do desempenho dos grupos e das unidades,
são definidas no acordo de trabalho para cada semestre e representam resultados em
termos quantitativos; e
• os fatores descrevem comportamentos necessários para o cumprimento das metas.
Nesse sentido, os fatores representam a maneira como as pessoas precisam atuar,
focam os processos de trabalho.
A Tabela 2 a seguir apresenta o conjunto de Perspectivas que são utilizadas pelo Banco
para mensurar as metas, bem como os fatores relacionados a cada uma dessas Perspectivas.
Tabela 2: Perspectivas, Fatores e Metas da Gestão de Desempenho Profissional - GDP.
Perspectivas
Fatores Avaliados
Metas
Comportamento
Autodesenvolvimento
Organizacional
Liderança
Trabalho em Equipe
Estratégia e Operações
Ação Estratégica
Visão Estratégica
Processos Internos
Gestão de Processos
Específicas para
Excelência do Trabalho
cada semestre
Resultado Econômico
Análise do Negócio
Espírito Empreendedor
Negociação
Satisfação do cliente
Conhecimento de produtos e serviços
Conhecimento do cliente
Relacionamento com o cliente
7
Como pode ser visto na Tabela 2 cada uma das perspectivas é formada por um conjunto
de fatores. As perspectivas representam desempenhos mais gerais, enquanto os fatores
descrevem desempenhos específicos. As metas são definidas para cada perspectiva e são
diferentes em cada semestre, em função dos resultados esperados pela Empresa. Elas são
estabelecidas para cada unidade da Empresa (agências, órgãos regionais e direção geral).
Cada uma das perspectivas e seus respectivos fatores estão definidos operacionalmente.
Além disso, o Sistema GDP também oferece um conjunto de referenciais de desempenho para
cada fator, de acordo com o segmento de cargo ao qual pertence o funcionário. Referenciais
de desempenho são descrições do desempenho esperado do profissional, em cada fator, em
função do papel ocupacional que esteja exercendo. Eles auxiliam no entendimento do fator a
ser avaliado e representam o que a literatura comumente denomina de indicadores
comportamentais de desempenho ou âncoras.
A avaliação de desempenho é realizada semestralmente e o processo avaliatório é
considerado um ciclo contínuo composto por três etapas: planejamento (acordo),
acompanhamento e formalização. O tipo de avaliação de desempenho se caracteriza como
descendente, uma vez que apenas o superior imediato avalia o desempenho de seus
funcionários nos fatores de desempenho.
A escala utilizada para mensurar o desempenho dos indivíduos nos fatores possui seis
pontos, com os seguintes significados: 1 = “não atendeu”, utilizado para casos de não
atendimento extremo; 2 = “não atendeu”; 3 = “atendeu parcialmente”; 4 = “atendeu
plenamente”; 5 = “superou”; e 6 = “superou de forma excepcional”. Vale destacar que a
escala possui dois pontos de não atendimento e dois de superação e que o valor que expressa
100% de atendimento é o ponto 4 da escala. Esse ponto significa que o desempenho
apresentado pelo indivíduo corresponde integralmente ao que foi acordado no início do
período de avaliação.
Na avaliação de desempenho dessa Empresa, podem ser visualizados dois tipos de
conseqüências diretas para os indivíduos: a indicação para o exercício de cargos de maior
complexidade; e o recebimento da Participação em Lucros e Resultados (PLR). Este último
estava vinculado à apresentação de um padrão mínimo de desempenho.
Na realização desta pesquisa, optou-se pela utilização dos fatores de desempenho, como
uma das formas de mensuração do impacto de treinamento no desempenho do indivíduo. Essa
opção foi feita porque os fatores são relativos aos processos de trabalho da pessoa treinada. O
gestor tem mais controle sobre o seu próprio comportamento e dos seus subordinados do que
sobre o atingimento de metas, uma vez que a quantidade de variáveis que afetam o alcance de
resultados da unidade é bastante diversa, podendo inclusive extrapolar os limites da
organização.
Nesta pesquisa, os fatores de desempenho que cada curso avaliado deveria desenvolver,
foram utilizados como uma das medidas de impacto de treinamento no desempenho do
indivíduo e isso só foi possível devido à existência de vinculação entre os objetivos
instrucionais dos cursos e os fatores de desempenho da GDP. Tal vinculação foi feita para
todos os treinamentos da empresa no Sistema Trilhas de desenvolvimento profissional
(Freitas, 2002).
4.3.2 Questionários de Avaliação de treinamento
A formulação dos itens de impacto do treinamento no desempenho do gestor foi feita de
forma diferente para os cursos externos e internos, tendo em vista a disponibilidade do
material instrucional em cada um deles.
Para os cursos internos, a elaboração dos itens foi baseada na análise do material
instrucional: Roteiro do Instrutor e Caderno do Treinando. Nesse material, encontram-se
descritos os objetivos gerais, os específicos, os conteúdos abordados, as técnicas didáticas
utilizadas, a duração de cada atividade, bem como o objetivo de cada atividade de ensino. Nos
8
cursos mais recentes, como foi o caso da Oficina Gerencial para avaliadores da GDP, o
Roteiro do Instrutor já continha os desempenhos esperados no posto de trabalho, o que
facilitou a atividade de formulação dos itens.
Uma vez elaborados, os itens foram discutidos com a equipe de planejadores
instrucionais. O objetivo foi verificar a pertinência dos desempenhos esperados para cada
curso, bem como os termos utilizados na redação dos itens. Participaram da discussão, no
mínimo, dois planejadores e, no máximo, três. Os itens foram ajustados em função dessas
discussões.
A elaboração dos itens para o curso externo (Gerente Desenvolvedor) foi realizada pela
equipe do SIAP – Sistema Integrado de Avaliação de Programas, que tinha avaliado o curso
em 2001. Para utilização dos itens nesta pesquisa foi feito um reexame, em parceria com o
Analista responsável pela contratação do treinamento, para verificar a pertinência dessas
formulações. Como não houve mudanças no curso, todos os itens foram mantidos.
Os procedimentos listados, até o momento, trataram das medidas de impacto de
treinamento no desempenho do indivíduo em profundidade. Para avaliar o impacto em
largura, foram utilizados os itens já validados pelo Banco, que descrevem operacionalmente
as perspectivas de desempenho profissional utilizadas na avaliação de desempenho.
A Tabela 3 a seguir, sintetiza as duas medidas de impacto de treinamento utilizadas e
comparadas nesta pesquisa.
Tabela 3: Medidas de impacto de treinamento no desempenho do indivíduo.
Tipo de Impacto
Medidas de Impacto de Treinamento
Profundidade
Com base na avaliação do curso
Com base na avaliação de
Fonte: Gestor e seu superior imediato
desempenho da Empresa
Fonte: Sistema GDP
Heteroavaliação
Auto-avaliação e Heteroavaliação
Questionário sobre desempenhos
Diferenças nas médias de desempenho
específicos, de acordo com os
do gestor treinado, antes e depois do
conteúdos do treinamento.
treinamento, em fatores específicos que
o curso visa desenvolver.
Auto-avaliação e Heteroavaliação
Heteroavaliação
Largura
Questionário sobre o impacto do
Diferenças nas médias de desempenho
treinamento nas cinco perspectivas de do gerente treinado, antes e depois do
desempenho da GDP.
treinamento, nas cinco perspectivas de
desempenho da GDP.
A primeira medida foi construída com base na percepção de melhoria do desempenho
do gestor, depois do treinamento, foi baseada nos objetivos instrucionais. Os itens sobre
impacto de treinamento em profundidade e largura foram os mesmos na auto e
heteroavaliação. Foi solicitado aos respondentes que avaliassem o grau de contribuição do
treinamento para a melhoria do desempenho no trabalho. Para tanto, foi utilizada uma escala
de 1 a 10 pontos, onde 1= nenhuma contribuição e 10= contribuição muito grande. O
questionário também contemplou um conjunto de variáveis demográficas tais como sexo,
escolaridade, tempo de empresa, idade, região de localização.
A segunda medida de impacto representa o desempenho do gestor, de acordo com a
GDP, formalizada semestralmente. O objetivo foi comparar o desempenho do gestor no
semestre anterior ao treinamento com o desempenho no semestre do treinamento, tanto nos
fatores específicos, previstos no curso (impacto em profundidade), quanto no desempenho
geral, descrito nas perspectivas de desempenho corporativo (impacto em largura). Essa
medida foi fornecida pelo Sistema GDP.
O uso das duas medidas foi uma forma de investigar se a percepção das pessoas sobre a
melhoria de desempenho, após o treinamento, pode ser confirmada pelo desempenho
observado pelo avaliador quando formalizou a avaliação do desempenho do gestor. Embora,
na maioria dos casos, o avaliador seja o mesmo nos dois tipos de avaliação, podem ser
observados resultados diferentes com as duas medidas, pois, ainda que as duas traduzam
9
percepções sobre o desempenho da pessoa treinada, os focos são diferentes. Além disso,
muitas outras variáveis do contexto organizacional e pessoal podem influenciar o desempenho
do indivíduo, além do treinamento, podendo contribuir para resultados de desempenho
inferiores na GDP.
4.4 Procedimentos de Coleta de Dados
A coleta de dados foi realizada em três fases. A primeira envolveu análise do material
didático de cada treinamento (Roteiro do Educador e Caderno do Participante), além das
especificações dos treinamentos presentes no Site da Universidade Corporativa do Banco do
Brasil. Essas análises foram necessárias para construir os questionários de impacto, identificar
quais fatores cada curso visava desenvolver e a área temática e o tema dos cursos.
A segunda fase de coleta foi realizada 90 dias após o treinamento e foram encaminhados
para o local de trabalho dos participantes os questionários de impacto de treinamento nos
desempenhos do indivíduo. Cada gestor recebeu dois conjuntos de questionários, sendo que
um deveria ser respondido por ele (auto-avaliação) e o outro pelo seu superior imediato
(heteroavaliação). Esses questionários foram codificados para garantir a confidencialidade das
respostas de cada respondente. No total foram enviados 1002 conjuntos de questionários,
sendo 271 do CIF, 398 do GERE, 65 do GD e 268 da Oficina GDP.
O prazo concedido para preenchimento e encaminhamento dos questionários de impacto
de treinamento foi de três a quatro semanas. Em função da coleta ter sido realizada no período
de férias, os questionários retornaram no intervalo de tempo que variou entre 98 e 182 dias
após o treinamento.
A terceira fase de coleta de dados consistiu na consulta ao banco de dados da Empresa
no que se refere aos resultados da GDP. Foram coletados dados sobre o desempenho
profissional no semestre anterior e no semestre do treinamento, assegurando que, a avaliação
de desempenho tenha sido realizada, no mínimo, 90 dias após o curso.
Com base no que foi descrito nesta seção pode-se considerar que o delineamento desta
pesquisa apresenta as seguintes características: adoção de avaliação somativa, onde se
analisam os resultados do treinamento, após o curso; uso de múltiplas fontes de pesquisa;
estudo longitudinal para algumas variáveis e corte transversal em outras (coleta de dados
sobre desempenho do treinado antes e depois do treinamento); utilização de dados primários
(questionários) e de dados secundários (GDP); técnicas diversificadas de coleta de dados
(análise documental, questionários). Abordagem metodológica foi quantitativa, caracterizada
como estudo de caso.
4.5 Procedimentos de Análise de Dados
As análises foram realizadas utilizando o Statistical Package for the Social Sciences SPSS, versão 10.0 para Windows. Para verificar a existência de mudanças significativas nos
escores dos fatores de desempenho antes e depois do treinamento foi utilizada ANOVA para
medidas repetidas. Para analisar os resultados do impacto de treinamento obtidos nos
questionários, considerou-se a magnitude das médias de impacto e do desvio padrão na auto e
heteroavaliação.
5.
RESULTADOS E DISCUSSÃO
Esta seção está organizada na seguinte sequência: o retorno dos questionários e a
caracterização da amostra pesquisada; os resultados da avaliação de impacto de acordo com a
GDP; os resultados obtidos com o uso de questionários e a discussão sobre os resultados
obtidos com os dois métodos.
Retornaram 336 questionários de auto-avaliação de impacto no desempenho individual
e 293 de heteroavaliação.
O percentual de retorno considerando a auto-avaliação de impacto no desempenho
individual foi de 31,6 (317 gestores). Esse índice de retorno foi bastante próximo dos
encontrados na maioria dos estudos (30%).
10
Observou-se que os participantes do curso tendem a responder mais aos questionários
de avaliação que os seus superiores imediatos. Essa tendência também foi observada em
outros estudos que utilizaram auto-avaliações e avaliações de superiores ou pares (Abbad,
1999; Carvalho e Abbad, 2003; Meneses e Abbad, 2003; Zerbini e Abbad, 2003 e Mourão,
2004) e sugere que os treinados, por terem participado do treinamento, parecem mais
envolvidos e motivados para dar informações sobre o resultado do treinamento em seus
desempenhos.
Em termos demográficos, a amostra pesquisada é caracterizada pela predominância de
gestores do sexo masculino, a maioria com, no mínimo, graduação e localizados na região sul
e sudeste do País, que já tinham participado de diversos treinamentos na empresa. Atuam na
Empresa, em média há 17,7 anos com desvio-padrão de 6,7 anos. A média de idade foi de 41
anos, com desvio-padrão em torno de 6,6. De maneira geral as características da amostra são
muito próximas das características da população de gestores intermediários das agências e
órgãos regionais.
No primeiro momento, foram comparadas as médias obtidas em cada um dos fatores
que cada treinamento visava desenvolver, de acordo com a Tabela 1. A técnica estatística
utilizada foi a ANOVA para medidas repetidas. Ela é indicada quando se pretende comparar
se uma mesma medida aplicada aos mesmos sujeitos apresenta algum grau de diferenciação
em função dos momentos da aplicação. Geralmente, a diferenciação nas médias é esperada
como decorrência de algum tipo de intervenção. No caso deste estudo, as médias dizem
respeito ao desempenho dos indivíduos nos fatores e perspectivas da GDP, antes e depois do
treinamento e a intervenção é o próprio treinamento. Assim, essa técnica permite verificar se
houve mudanças significativas nas médias dos fatores e perspectivas de desempenho, depois
que as pessoas foram treinadas.
Antes da realização da ANOVA para medidas repetidas, foram considerados os
pressupostos dessa técnica estatística conforme recomendação de Weinfurt (2002). Todas as
exigências foram cumpridas. Os 10 casos outliers foram retirados porque podiam influenciar
resultado dessa técnica estatística.
A Tabela 4 sintetiza os resultados obtidos em termos de impacto do treinamento, usando
os dados da avaliação de desempenho. Ela mostra o número possível de fatores e perspectivas
de desempenho a serem impactados e o impacto real observado.
Tabela 4: comparação entre o número de aspectos do desempenho a serem impactados pelo treinamento e o
impacto observado.
Cursos Avaliados
Avaliação de Desempenho
Nº de Fatores
N º de fatores
a serem impactados
impactados
Gestão de Equipes para Resultados – GERE
8
2
Gerente Desenvolvedor GD
7
0
Consultoria em Investimentos Financeiros - CIF
9
1
Oficina para Avaliadores da GDP
8
1
De maneira geral, pode-se dizer que o impacto dos treinamentos na GDP foi bastante
inferior ao esperado. Em todos os treinamentos, com exceção do Gerente Desenvolvedor, esse
impacto foi verificado em apenas um fator (impacto em profundidade) ou perspectiva
(impacto em largura).
Falta ainda analisar como foi a percepção dos participantes quanto à contribuição do
treinamento para a melhoria de seus desempenhos, com base nas respostas dadas aos
questionários de avaliação dos cursos. Essa análise foi realizada com o banco de dados sem
outliers, composto por 280 casos.
Na percepção dos gestores treinados e seus superiores, revelada nos questionários, o
impacto do treinamento foi maior que o observado quando se comparou o desempenho
formalizado na GDP, antes e depois do treinamento. A Tabela 5 apresenta as médias de
11
impacto em profundidade dos quatro treinamentos, de acordo com a auto-avaliação e com a
heteroavaliação.
Tabela 5: Impacto em profundidade, de acordo com os questionários de avaliação de treinamento.
Impacto de treinamento nos desempenhos específicos
Cursos
Auto-avaliação
Heteroavaliação
Média
DP
Média
DP
CIF
8,43
0,93
8,23
0,64
GD
8,35
0,65
8,27
0,98
GERE
8,36
0,87
8,10
1,08
Oficina GDP
8,25
0,97
8,37
1,08
Todos os cursos
8,36
0,89
8,20
1,01
N
280
257
Nota: escala de 1a 10 pontos, onde 1=nenhuma contribuição e 10=contribuição muito grande.
Considerando que a escala utilizada para mensurar o grau de contribuição do
treinamento para o desempenho individual foi de 1 a 10 pontos, pode-se considerar que as
médias de impacto dos treinamentos foram altas, todas se situaram acima do ponto 8 da
escala. Não foram identificadas diferenças de impacto entre os cursos na auto-avaliação. O
mesmo ocorreu com a heteroavaliação. Assim, em termos da contribuição do treinamento
para os desempenhos diretamente relacionados aos conteúdos e objetivos dos treinamentos,
não houve diferenças entre os cursos, no nível de significância de 0,05, de acordo com a
ANOVA. Os cursos promoveram bons índices de impacto, na percepção dos ex-treinandos e
nas heteroavaliações.
As médias de auto e heteroavaliação foram comparadas de forma global, considerando o
resultado de todos os cursos. Neste caso, foi detectada diferença significativa entre as duas
médias, onde os participantes do treinamento perceberam maior impacto do que os seus
superiores imediatos. A correlação entre as duas médias de impacto em profundidade foi de
0,43, ao nível de significância de 0,01. Isto representa uma variância compartilhada de 18%, o
que confirma a existência de percepções diferentes entre a auto e heteroavaliação.
Esses resultados sugerem que o treinando por ter participado do treinamento, conhece
melhor o que é esperado dele depois do curso e pode associar, com mais facilidade, a
aprendizagem adquirida no treinamento e com seu trabalho cotidiano. Por isso, percebe maior
impacto em profundidade que o seu superior imediato.
A utilização da auto e heteroavaliação vem ao encontro das sugestões dos estudiosos
sobre a necessidade de comparar as percepções dos diferentes agentes envolvidos, sendo uma
forma de garantir maior confiabilidade no julgamento sobre o impacto de treinamento (Leitão,
1996; Abbad, 1999; Sallorenzo 2000; Meneses e Abbad, 2003).
Os participantes da pesquisa também avaliaram a contribuição do treinamento para os
seus desempenhos gerais (amplitude). A Tabela 6 mostra as médias e os desvios-padrão
encontrados para a auto e heteroavaliação.
Tabela 6: Impacto em amplitude, de acordo com os questionários de avaliação de treinamento.
Impacto de treinamento nos desempenhos gerais
Cursos
Auto-avaliação
Heteroavaliação
Média
DP
Média
DP
CIF
8,53
1,11
8,44
0,93
GD
8,40
0,79
8,64
0,80
GERE
8,25
0,99
8,35
1,09
Oficina GDP
8,17
0,98
8,02
1,79
Todos os cursos
8,34
1,02
8,43
1,02
N
279
257
Nota: escala de 1a 10 pontos, onde 1=nenhuma contribuição e 10=contribuição muito grande.
A Tabela 6 mostra que as médias de impacto em amplitude também foram altas. Foi
utilizada a mesma escala de 10 pontos. Vale destacar o tamanho do desvio padrão da Oficina
GDP na heteroavaliação, o que sugere opinião diversificada sobre o impacto de treinamento.
12
Na auto-avaliação e na heteroavaliação, não foram observadas diferenças significativas entre
os cursos, ao nível de significância de 0,05. O nível de impacto de treinamento promovido
pelos diferentes cursos no desempenho geral pode ser considerado igual.
Os resultados das comparações das médias de impacto em amplitude para todos os
cursos indicaram diferenças significativas entre a auto e heteroavaliação, ao nível de
significância de 0,05. Neste caso, os superiores imediatos relataram maior impacto do
treinamento no desempenho geral que os gestores. A correlação entre essas duas médias foi de
0,28 ao nível de significância de 0,01. Essa correlação corresponde a uma variância
compartilhada de 7%, o que confirma diferenças nas percepções dos dois tipos de avaliadores,
com relação ao impacto do treinamento no desempenho geral da pessoa treinada.
O fato de os superiores imediatos serem mais benevolentes do que os gestores, em
termos de impacto em amplitude, pode ser compreendido pela mesma razão que as pessoas
treinadas percebem maior impacto em profundidade. Como o superior imediato conhece
menos os conteúdos e objetivos do treinamento que o ex-treinando, ele percebe a melhoria no
desempenho de forma global e atribui ao treinamento a responsabilidade pela melhoria.
Enquanto o funcionário treinado é capaz de discriminar melhor entre o desempenho
específico, relacionado ao treinamento, e o desempenho geral. Os estudos realizados por
Borges-Andrade, Gama e Oliveira-Simões (1999); e Mourão (2004) confirmam os resultados
desta pesquisa quanto à percepção de maior impacto em amplitude na heteroavaliação.
Vale ressaltar que, embora as médias na auto e heteroavaliação obtidas por meio dos
questionários sejam próximas, em magnitude, existem diferenças entre elas, indicando
percepções diferenciadas quanto ao mesmo aspecto. A mesma análise for feita usando
correlações e indicou similaridade na percepção de impacto em profundidade e largura dentro
de uma mesma fonte de avaliação. Isto significa que se um determinado avaliador considerou
que o treinamento promoveu impacto em profundidade, ele também avalia que houve impacto
em largura. Isso ocorreu tanto na auto quanto na heteroavaliação. No entanto, quando se
compara a percepção das duas fontes sobre um tipo de impacto em particular (profundidade
ou largura), as correlações são menores. Esse resultado reforça a necessidade de continuar
utilizando fontes diferentes para avaliação de impacto de treinamento.
Até esse momento, foi discutida a similaridade ou não entre as medidas de impacto na
opinião das diferentes fontes de coleta de dados, quando se utilizou o mesmo instrumento:
questionários. Outra questão importante a ser discutida neste estudo é a diferença observada
no impacto de treinamento no desempenho do indivíduo quando são utilizados instrumentos
diferentes para uma mesma fonte de avaliação. Cabe a pergunta: porque as médias de
impacto de treinamento identificadas por meio de questionários, na heteroavaliação, foram
mais expressivas que as verificadas na GDP, se as duas avaliações foram realizadas pela
mesma fonte: o superior imediato?
As diferenças observadas com o uso dos dois métodos de aferição de impacto de
treinamento podem ser decorrentes das características do instrumento de avaliação de
desempenho. Como ele está relacionado ao pagamento de benéficos (PLR) e à ascensão na
carreira, existe uma tendência natural para a leniência na avaliação, antes e depois do
treinamento. As médias dos fatores anteriores ao treinamento foram todas superiores ao ponto
quatro da escala de avaliação. Se esse ponto indica atendimento pleno do que era esperado
pela Empresa, pode-se considerar que esses profissionais não necessitavam ser treinados
naqueles aspectos ou ainda, que a avaliação de desempenho não vem sendo utilizada para
identificar necessidades de treinamento.
Outro aspecto que pode ter contribuído para a identificação de poucos fatores
impactados pelo treinamento foi o tipo de escala utilizada. Ela fornece pouco espaço para
crescimento, pois os dois pontos superiores a 4 já indicam superação. Isso significa dizer que
13
as médias já eram altas e que a tendência seria, de acordo com a estatística, de regressão e não
de aumento.
Assim, o instrumento de avaliação de desempenho atual mostrou-se pouco adequado
para identificar necessidades de treinamento, bem como para verificar os efeitos do
treinamento no desempenho dos indivíduos treinados. Apesar disso, os resultados encontrados
neste estudo foram mais promissores do que os de Nóbrega (2003), onde nenhum efeito de
treinamento foi observado no desempenho das pessoas treinadas, de acordo com a GDP. Esse
autor avaliou somente um curso e investigou a mudança no desempenho em um único fator.
Diferentemente da sugestão de Nóbrega (2003) que indicou a necessidade de revisão no
método de avaliação de treinamento da Empresa, a sugestão nesta pesquisa é que o
instrumento de avaliação de desempenho seja reestruturado, pois, da forma como ele se
apresenta hoje, parece inadequado comparar os resultados da avaliação de treinamento com os
de desempenho. Esta última precisa, primeiramente, ter seus objetivos finais modificados. O
foco principal precisa recair sobre o desenvolvimento profissional. Neste caso, o diagnóstico
de um desempenho discrepante não seria acompanhado de uma conseqüência negativa como
acontecia no período estudado, onde o funcionário não recebia a PLR. Neste novo foco, a
conseqüência seria positiva, a identificação de oportunidades de aquisição de novos CHA’s,
se o problema de desempenho estiver relacionado à falta de habilidade. Além disso, há
necessidade de revisar os pontos da escala de avaliação. Utilizar dois pontos de superação de
desempenho parece inadequado e pode levar os indivíduos, erroneamente, a considerar que o
desempenho pleno (ponto 4 da escala) pode ser visto como medíocre pela organização. Essa
percepção contribui, mais uma vez, para a leniência.
6. Conclusões, recomendações e limitações
De forma geral, pode-se concluir que o uso da avaliação de desempenho como indicador
de impacto de treinamento produz resultados pouco confiáveis, não sendo, portanto,
adequado. Na maioria das organizações, os instrumentos de avaliação têm múltiplos
objetivos, por vezes conflitantes. Assim, dependendo das outras conseqüências associadas ao
desempenho (ascensão, remuneração), o diagnóstico de desempenho abaixo do esperado gera
ações punitivas para o indivíduo, contribuindo assim para a ocorrência de avaliações
lenientes. O uso da avaliação de desempenho para avaliar impacto de treinamento exige que
esse instrumento esteja eminentemente voltado para a melhoria contínua do desempenho
profissional, sendo portanto capaz de identificar desempenhos deficientes e oportunidades de
melhoria, característica pouco freqüente nos instrumentos de avaliação das empresas.
Os teóricos do desempenho humano no trabalho indicam que muitos fatores influenciam
o desempenho no trabalho: características do indivíduo; da tarefa; do contexto de trabalho e
da organização. Em função desta realidade, o treinamento não pode ser visto como
responsável único pela melhoria do desempenho das pessoas. Por isso, usar somente os
instrumentos de avaliação de desempenho das empresas para verificar a efetividade dos
treinamentos precisa ser uma medida cuidadosamente questionada. A qualidade do
instrumento de avaliação é a primeira reflexão, os objetivos também precisam ser analisados.
Além desses cuidados, é necessário investigar outros fatores que contribuíram ou dificultaram
o desempenho no trabalho, para evitar conclusões inadequadas.
Para a empresa pesquisada, não é recomendada a utilização da avaliação de desempenho
como instrumento para avaliar efetividade de treinamento, na forma como ela está em vigor.
O instrumento precisa ser reformulado, focando o diagnóstico de necessidades de
desenvolvimento de novos CHAs, além de buscar objetivos menos antagônicos.
Uma das limitações desta pesquisa se refere ao fato da pesquisa ter sido realizada em
uma única organização, desta forma a ênfase foi na validade interna. Portanto, os resultados
ficam restritos à realidade da empresa estudada, não podendo ser generalizados para outros
14
contextos, mesmo considerando que muitos dos problemas dos instrumentos de avaliação de
desempenho sejam comuns às organizações.
A segunda limitação está na não investigação dos outros fatores que contribuíram ou
dificultaram o desempenho após o treinamento. Essa análise pode contribuir para a
compreensão dos motivos pelos quais foi possível ou não identificar impacto de treinamento
no desempenho da pessoa treinada. Pesquisas futuras precisam incluir esse tipo de estudo.
Em termos de contribuições desta pesquisa para a teoria e a prática das organizações, os
resultados encontrados incentivam as organizações a construírem sua própria sistemática de
avaliação de treinamento, aplicada à sua realidade e de acordo com os métodos de construção
de instrumentos já consagrados na literatura estrangeira e nacional. Encurtar caminhos para
avaliar a efetividade dos treinamentos pode levar a resultados tortuosos e a conclusões
inadequadas quanto à real contribuição do treinamento para a empresa.
REFERÊNCIAS BIBLIOGRÁFICAS
ABBAD, G. Um modelo integrado de avaliação do impacto de treinamento no trabalho –
IMPACT. 1999.262 p. Tese (Doutorado em Psicologia) - Universidade de Brasília, Brasília,
1999.
ABBAD, G.; BORGES-ANDRADE, J.E. Aprendizagem humana em organizações de
trabalho. Em ZANELLI, J.C., BORGES-ANDRADE, J.E.; BASTOS, A.V.B. (Orgs.),
Psicologia, Organizações e Trabalho no Brasil (p. 237-275). Porto Alegre: Artmed, 2004.
ABBAD, G., PILATI, R.; PANTOJA, M. J. Avaliação de Treinamento: Análise da literatura e
agenda de pesquisa. RAUSP - Revista de Administração, São Paulo, v. 38, n.3, p.205-218,
2003.
Alliger, G.M.; Janak, E.A. Kirpatrick’s levels of training criteria: thirty years later. Personnel
Psychology, 42, p.331-341, 1989.
BORGES-ANDRADE, J.E. Avaliação somativa de sistemas instrucionais: integração de três
propostas. Tecnologia Educacional, v. XI, n.46, p. 29-39, 1982.
BORGES-ANDRADE, J.E. Desenvolvimento de medidas em avaliação de treinamento.
Estudos de Psicologia (UFRN), v. 7, n. Especial, p. 31-43, 2002.
BORGES-ANDRADE, J.E.; ABBAD, G. Pesquisa em treinamento e desenvolvimento:
reflexões sobre as pesquisas científicas. Revista de Administração, 31(2), p.112-125. 1996.
BORGES-ANDRADE, J.E., GAMA, A.L.G.; OLIVEIRA-SIMOES, J.T. Impacto de
treinamentos no trabalho: o caso Banco do Brasil [resumo]. Em Sociedade Brasileira de
Psicologia (Org.), Resumos de Comunicação Científica, XXIX Reunião Anual de Psicologia
(p.53c). Ribeirão Preto, SBP, 1999.
CARVALHO, R.S.; ABBAD, G. Avaliação de um treinamento a distância: reação, suporte à
transferência e impacto de treinamento no trabalho. Encontro da Associação Nacional dos
Programas de Pós-Graduação em Administração. Anais eletrônicos do 27º ENANPAD,
Atibaia, 2003.
CHENG, E.W.K.; HO, D.C.K. A review of transfer of training studies in the past decade.
Personnel Review, 30 (1), p. 102-118, 2001.
FREITAS, I. A . Diagnóstico de problemas de desempenho no trabalho: uma aplicação do
modelo de Gilbert numa instituição de crédito. 1992.68 p. Dissertação (Mestrado em
Psicologia)- Universidade de Brasília, Brasília, 1992.
FREITAS, I. A. Trilhas de Desenvolvimento Profissional: Da teoria à prática. Encontro da
Associação Nacional dos Programas de Pós-Graduação em Administração. Anais eletrônicos
do 26º ENANPAD, Salvador, 2002.
FREITAS, I.A. Impacto de treinamento nos desempenhos do indivíduo e do grupo de
trabalho: suas relações com crenças sobre o sistema de treinamento e suporte à aprendizagem
contínua. 2005.278 p. Tese (Doutorado em Psicologia) – Universidade de Brasília, Brasília,
2005.
15
GOLDSTEIN, I.L. Training in work organizations. In: M.D. DUNNETTE.; L.M. HOUGH
(Orgs.), Handbook of industrial and organizational psychology (pp. 507-619). Palo Alto, Cal:
Consulting Psychologists, 2ª edição, 1991.
Hamblin, A.C. Avaliação e controle de treinamento. São Paulo: McGraw-Hill do Brasil,
1978.
HIPÓLITO, J. A.M.; REIS, G.G. Avaliação como instrumento de gestão. Em: vários autores.
As pessoas na organização (p.73-86). São Paulo, Editora Gente, 2002.
KAPLAN, R.S.; NORTON, D.P. A estratégia em ação: balanced scorecard. Rio de Janeiro:
Ed. Campus, 1997.
KIRKPATRICK, D.L. Evaluation of training. In: Craig R. L. (Org.), Training and
development handbook (18.1-18.27). New York: Mc Graw-Hill, 1976.
LATHAM, G.P. Behavioral approaches to the training and learning process. In: GOLSTEIN,
I. (Org.), Training and development in work organizations: frontiers of industrial and
organizacional psychology (p.35-52). San Francisco: Jossey Bass, 1989.
LEITÃO, J.S.S. Clima organizacional na transferência de treinamento. Revista de
Administração, 31(3), p. 53-62, 1996.
MENESES, P.P.M.; ABBAD, G. Preditores individuais e situacionais de auto e
heteroavaliação de impacto de treinamento no trabalho. RAC - Revista de Administração
Contemporânea, 7, Edição Especial, p.185-204, 2003.
MILANI, I. Sistemas de avaliação de desempenho: uma revisão de literatura. Revista de
Administração. 23(3), p.45-57, 1988.
MOURÃO, L. Avaliação de programas públicos de treinamento: um estudo sobre o impacto
no trabalho e na geração de emprego. 2004. 207 p. Tese (Doutorado em Psicologia) Universidade de Brasília, Brasília, 2004.
NOBREGA, F.O impacto de cursos comportamentais no fator liderança da pesquisa de clima
e da avaliação de desempenho de uma instituição financeira. 2003. 106 p. Dissertação
(Mestrado em Administração) - Universidade de Brasília, Brasília, 2003.
PANTOJA, M.J.B., LIMA, S.M.V.; BORGES-ANDRADE, J.E. Avaliação de impacto de
treinamento na área de reabilitação: preditores individuais e sociais. RAUSP – Revista de
Administração, 36(2), p.46-56, 2001.
PANTOJA, M.J.B.; BORGES-ANDRADE, J.E. Uma abordagem multinível para o estudo da
aprendizagem e transferência nas organizações. Anais eletrônicos do 26º ENANPAD,
Salvador, 2002.
PONTES, B.R. Avaliação de desempenho: uma abordagem sistêmica. São Paulo, LTr
Editora, 1991.
SALAS, E.; CANNON-BOWERS, J. The science of training: a decade of progress – Annual
Review Psychology, 52, p. 471- 499, 2001.
SALLORENZO, L.H. Avaliação de impacto de treinamento no trabalho: analisando e
comparando modelos de predição. 2000. 69 p. Dissertação (Mestrado em Psicologia) Universidade de Brasília, Brasília, 2000.
WEINFURT, K.P. Repeated measures analyses: ANOVA, MANOVA, and HLM. In:
GRIMM, L.G.; YARNOLD, P.R. (Orgs.), Reading and understanding more multivariate
statistics (p.317-360). Washington: American Psychological Association, 2002.
ZERBINI, T.; ABBAD, G. Avaliação de um treinamento via internet: estratégias de
aprendizagem, reações aos procedimentos e ao tutor, suporte à transferência e impacto de
treinamento no trabalho. Encontro da Associação Nacional dos Programas de Pós-Graduação
em Administração. Anais eletrônicos do 27º ENANPAD, Atibaia, 2003.
16