Avaliação
da formação na empresa
Ficha Técnica PRONACI
Edição 2002
Ficha Técnica PRONACI
“Avaliação da formação na empresa”
Fundação Manuel Leão
PRONACI - Programa Nacional de Qualificação de Chefias Intermédias
AEP - Associação Empresarial de Portugal
Setembro de 2002
1
ÍNDICE
Página 2
Introdução
Página 3
Conceitos e tipos de avaliação
Página 6
Porquê avaliar? Objectivos da avaliação
Página 7
O que avaliar? Níveis de avaliação
Página 10
A avaliação como uma fase no ciclo da formação
Página 11
Melhorias contínuas precisam-se!
Página 13
Diálogos sobre deformações da formação
Página 15
Quem envolver? O papel da chefia intermédia
Página 16
Como preparar a avaliação da formação
Página 19
Instrumentos e procedimentos
Página 23
Erros que não vai cometer
2
INTRODUÇÃO
Valoriza-se cada vez mais a avaliação nas práticas de formação. E
isto compreende-se à luz de três elementos novos: i) as empresas e
outras organizações não vêem a formação como uma mera
obrigação ou uma inevitabilidade, antes a consideram como uma
estratégia de gestão e inovação; ii) aos responsáveis pela formação
ou pela execução dos planos de formação exige-se agora o
conhecimento dos resultados dos investimentos realizados em
formação; iii) a formação permanente, ao longo de toda a vida, requer uma avaliação de cada etapa da formação que se desenvolve.
Sendo um investimento, é preciso, desde início, prever os seus
resultados. Assim, a avaliação da formação vai fazendo parte
integrante dos próprios planos de formação, constituindo, à
medida que estes vão sendo executados, uma preciosa fonte de
informação para a gestão das pessoas, ao serviço das organizações
e dos seus projectos.
Avaliar a formação não é, contudo, uma tarefa fácil. Fácil e usual é
reproduzir os modelos de avaliação escolar e aplicá-los à avaliação
da formação contínua nas organizações. E esta é uma tendência
que importa combater, evoluindo para uma avaliação mais
completa e complexa do impacto da formação tanto nas pessoas e
no seu desempenho como nas equipas de trabalho e na evolução
da organização.
Daí, pois, esta publicação, que pretende constituir um instrumento
de apoio a todos quantos estão envolvidos na formação e na gestão
das pessoas, sobretudo das PME.
3
CONCEITOS E TIPOS DE AVALIAÇÃO
Avaliação da formação pode ser definida como a apreciação da
qualidade ou do grau de eficácia de um processo de formação. Por
outras palavras, a avaliação resulta de uma reflexão sobre todos os
momentos e factores que intervêm na formação, a fim de
determinar quais podem ser, estão a ser ou foram os resultados da
mesma.
Esta, como qualquer outra definição, não esgota as possibilidades
de sentido que a avaliação de uma acção de formação pode encerrar. De facto, uma intervenção com carácter formativo, ao assumir e colocar em prática diversos itinerários/formatos, pode originar actividades de avaliação específicas e directamente
relacionadas com uma dada vertente formativa em particular.
As possibilidades de definição do que é avaliação da formação
podem, desde logo, estar também aliadas a práticas de avaliação
realizadas tendo em conta tanto o momento da avaliação como o
processo de avaliação.
Neste sentido, a avaliação da formação quanto ao momento, dentro deste universo de possibilidades de definição, pode compreender os seguintes tipos de formação:
Avaliação inicial ou diagnóstica
É feita no início da formação e serve quer para orientar os formandos quer para verificar o nível de conhecimentos face ao tema
a desenvolver e o seu posicionamento perante ele. Este tipo de
avaliação é de grande importância, de modo particular, quando,
previamente à actividade formativa, não foi traçado um perfil de
entrada dos formandos.
Avaliação formativa ou contínua
É feita ao longo da formação e serve para o formando identificar as
suas dificuldades e verificar de que modo está a atingir os seus
objectivos. Tem uma finalidade de regulação da aprendizagem e da
acção do formador. Por outras palavras, permite avaliar o grau de
envolvimento e interesse dos formandos pela actividade formativa
e seu progresso em termos de aprendizagem.
Avaliação sumativa ou final
É feita no final da formação, procurando verificar o que foi
aprendido, bem como apurar a qualidade da relação pedagógica.
É globalizante e avalia o resultado final da formação, podendo
servir para a certificar.
4
Avaliação prognóstica
É efectuada algum tempo após o final da formação. Serve para estabelecer uma previsão sobre os resultados ou sobre o comportamento posterior das pessoas avaliadas. Por outras palavras, serve para saber em que medida a actividade formativa irá contribuir
para alterar qualitativamente as suas competências profissionais a
nível de conhecimentos, aptidões e atitudes.
Avaliação de impacto
Esta avaliação tem como principal objectivo apurar o impacto da
aprendizagem na valorização humana e técnico-profissional dos
formandos e na organização. Este tipo de avaliação procura
responder às seguintes perguntas:
• Os formandos mudaram mesmo?
• E a empresa ou organização? Também mudou?
A avaliação da formação quanto ao processo pode, por seu turno,
compreender os seguintes tipos de formação:
Avaliação normativa
Este procedimento consiste em submeter um grupo de formandos
ao mesmo teste. Os formandos são escalonados pelo valor obtido
no teste e colocados por ordem decrescente (ou crescente). Esta
avaliação consiste em estabelecer uma classificação das pessoas,
na base de uma medida ou de uma observação.
Avaliação criterial
Pretende-se verificar os conhecimentos alcançados pelos
formandos, em função de um critério, que são os objectivos ou
comportamentos que têm que adquirir. Este critério é absoluto e
não depende dos outros formandos.
Não raras vezes a definição de avaliação é confundida com outras definições vizinhas e que também encerram práticas e princípios de avaliação. Neste sentido, é útil referenciar aqui as definições de avaliação
do nível de formação, de avaliação de competências e também as
definições, pelo menos duas, do âmbito da avaliação e certificação.
A avaliação do nível de formação pode ser entendida como a
apreciação dos conhecimentos obtidos num curso ou programa de
formação, podendo exigir uma prova de conhecimentos ou um
exame final.
5
A avaliação de competências tem vindo a ganhar uma importância
crescente, dado que muitas vezes não existe uma correspondência
necessária entre a aquisição de saberes e a capacidade para os
mobilizar ou aplicar no contexto de trabalho. De facto, deter um saber
não confere a capacidade de o usar nos vários contextos laborais e de
vida. Por outro lado, a crescente desvalorização dos certificados
escolares tem originado, por parte das entidades empregadoras, a
procura de colaboradores que apresentem um leque de competências, para além das tradicionais credenciais escolares.
Cada vez mais os processos de avaliação podem ter como intuito a
certificação. Neste sentido, podemos falar de certificação da
formação profissional ou de certificação profissional.
A certificação da formação profissional é o reconhecimento oficial
do saber ou do saber-fazer adquiridos em acções de formação,
tendo em conta a natureza das acções. Esta certificação pode ter
em conta o reconhecimento de formações e a correspondência de
qualificações no âmbito da União Europeia.
A certificação profissional consiste no reconhecimento e na comprovação da formação, da experiência adquirida ou das qualificações profissionais, bem como a verificação de outras condições
requeridas para o exercício de uma dada actividade profissional. É
um processo mediante o qual é reconhecido oficialmente o nível de
qualificação, o saber e o saber-fazer e é emitido um certificado.
Note-se, finalmente, que é crescente o número de pessoas que
alcança um emprego e que acede à formação, ao longo da vida, sem
que haja lugar seja à verificação das certificações seja à emissão de
certificações da formação.
6
PORQUÊ AVALIAR? OBJECTIVOS DA AVALIAÇÃO
Apesar de subsistirem dúvidas, diríamos quase eternas, sobre qual
a melhor forma de proceder ou quais as melhores práticas a adoptar
na avaliação da formação, parece-nos que todos os actores directa
ou indirectamente relacionados com a formação demonstram interesse em conhecer os resultados, os impactos e o valor acrescentado da formação em que estão envolvidos e para a qual, cada
um à sua maneira, contribuem. Certamente com posicionamentos
diferentes, todos os intervenientes na formação reveriam e melhorariam a sua actuação, a vários níveis, se pudessem contar com uma
informação e avaliação credível sobre a formação realizada.
De facto, por um lado, muitos responsáveis e dirigentes querem
saber os resultados que as suas empresas obtêm com as acções
que realizam e promovem. Por outro, os formadores e gestores de
formação querem saber qual o impacto que os seus programas têm
nos indivíduos e nas empresas e, por outro lado ainda, os
formandos e as suas chefias querem saber que tipo de valor
acrescentado podem esperar do tempo que passam fora do local de
trabalho para participar em acções de formação.
Estas questões fornecem, desde logo, o mote para estabelecer,
acolher e articular vontades em conhecer e acompanhar, por via de
práticas de avaliação, todas as fases de um programa de formação.
Cada empresa, ao mobilizar recursos para empreender um
programa de formação, deve, antes de mais, preocupar-se em
definir o que é para a empresa um programa de formação bem
sucedido.
Com as devidas adaptações ao contexto específico, actual e
desejável de cada empresa, podemos definir que um programa de
formação é bem sucedido quando os participantes certos
(selecção) desenvolvem os conhecimentos, os comportamentos e
as atitudes esperadas, através de processos de aprendizagem
fomentados por métodos, meios e formadores adequados, no
momento e no local certo, de forma a satisfazer as necessidades do
indivíduo e da organização em que se insere.
7
O QUE AVALIAR? NÍVEIS DE AVALIAÇÃO
Como vimos, dependendo do tipo de avaliação e dos seus objectivos, o que é objecto de avaliação pode assumir diferentes níveis e
configurações.
Os resultados de um processo de avaliação podem estar
orientados, entre outros, para o conhecimento:
• das diferenças entre os objectivos e referenciais inicialmente
fixados e os resultados efectivamente alcançados;
• dos efeitos da formação ao nível do desempenho dos
formandos nos postos de trabalho;
• dos factores explicativos que estão na base dos resultados
esperados, quer estes tenham sido superados quer tenham
ficado aquém do esperado.
Uma das metodologias mais referenciadas em toda a investigação
sobre avaliação é a de Donald Kirkpatrick, que, há mais de quarenta
anos, identificou os seguintes quatro níveis de avaliação:
Nível 1 – Reacção
Os formandos gostaram do curso?
É uma das formas mais tradicionais e usadas para avaliar. É fácil,
rápida e com baixo custo de aplicação. Os resultados negativos
podem significar dificuldades de aprendizagem no curso.
Nível 2 – Aprendizagem
Os formandos aprenderam com base nos objectivos do curso?
A aprendizagem pode ser medida através de pré e pós-testes, bem
como através de testes escritos ou testes de performance.
Nível 3 – Comportamento
O comportamento dos formandos no posto de trabalho mudou? Os
formandos aplicam o que aprenderam?
Difícil de operacionalizar. Podem ser utilizados questionários ou
grelhas de observação, após a formação.
Nível 4 – Resultados
Qual o impacto da formação na organização?
Trata-se de avaliar o impacto da formação em termos de resultados
na actividade da empresa. Este nível de avaliação é geralmente
aplicado a cursos de formação que procuram resolver problemas
específicos causados por falta de conhecimentos e qualificações. O
autor nunca define, de uma forma simples e clara, como se
processa este nível de avaliação. Dá alguns exemplos, entre outros,
de reduções nos custos e no absentismo. Apesar de ser um nível de
avaliação bastante atractivo e almejado por várias empresas, a sua
8
aplicação é extremamente difícil. As dificuldades em estabelecer
relações causais directas entre formação/resultados da empresa,
bem como a dificuldade em isolar factores de influência nos
resultados, não permitem afirmar, categoricamente, que uma dada
acção de formação originou um aumento percentual de x nos
resultados y da empresa. Se estabelecemos relações directas entre
uma dada formação e um certo tipo de resultados, podemos estar
a “enredar” muitos outros factores, externos à formação, e que
podem ter actuado em simultâneo para a obtenção desses mesmos
resultados.
Mais recentemente, temos vindo a assistir à emergência de um
“novo” nível de avaliação, que procura ir um pouco mais além do
nível 4.
Nível 5 – Retorno do investimento (ROI – Return On Investment)
O retorno do investimento é a comparação, em valores monetários,
dos resultados líquidos obtidos face ao custo do programa
formativo (expresso em percentagens). Este novo nível de avaliação
tornou-se muito popular. Muitos directores não estão dispostos a
empreender um projecto de formação se não lhes é garantido um
bom nível de retorno do investimento que foi exigido para o levar a
cabo. Não lhes basta bons resultados, querem garantir uma
recuperação do investimento. É importante não confundir Retorno
do investimento com Índice custo/ benefício.
Vejamos a diferença:
IBC =
Benefícios brutos da formação
Custos do programa
ROI =
Benefícios líquidos da formação
Custos do programa
Suponhamos o seguinte exemplo:
Os custos de um dado programa de formação são 20.000 euros e os
benefícios são de 100.000 euros (os benefícios podem ser calculados com base em múltiplos indicadores, tais como o aumento de
produtividade e a redução de absentismo, entre outros); logo:
IBC =
100.000
20.000
=5
ROI =
80.000
20.000
x 100 = 400%
9
Como se pode constatar, a diferença fundamental consiste no facto
de o IBC considerar os benefícios brutos e o ROI considerar os benefícios líquidos, descontando os custos e sendo expresso em
percentagens.
O problema de fundo deste quinto nível de avaliação consiste em
isolar os benefícios ligados directamente ao programa de formação,
isto é, saber como quantificá-los separadamente.
Esta técnica tem, evidentemente, dificuldades, mas, apesar disso,
não deixa de ser um exercício relevante.
Mas afinal o que é que se pode avaliar?
Muitos elementos se podem avaliar. Por exemplo:
- Os objectivos da formação;
- As necessidades de formação;
- A satisfação dos formandos;
- Os métodos pedagógicos;
- O desempenho dos formandos;
- O desempenho dos formadores;
- A competência dos formadores;
- A adequação dos conteúdos;
- A adequação dos programas aos formandos;
- A duração da acção de formação;
- A documentação de apoio;
- O material pedagógico;
- O funcionamento do grupo de formação;
- A participação dos formandos;
- As relações entre formandos e entre formandos e formadores;
- As condições materiais e ambientais;
- A aplicação dos conhecimentos adquiridos;
- O grau de cumprimento dos resultados previstos;
- Os efeitos inesperados da formação;
- As mudanças no meio envolvente;
- O impacto na instituição / empresa;
- ...
Esta listagem, que não é exaustiva, mas indicativa, serve para
salientar que a focagem da avaliação depende sobretudo dos
objectivos e das finalidades da avaliação.
10
A AVALIAÇÃO COMO UMA FASE
NO CICLO DA FORMAÇÃO
Olhar para a formação como um ciclo possibilita perspectivar as
actividades e intervenções de carácter formativo como algo que
não se esgota no momento em que se efectiva a realização de uma
dada acção de formação.
O ciclo da formação
Concepção
Planeamento
Organização
Diagnóstico
Desenvolvimento
Avaliação
De facto, de entre os vários domínios de intervenção (expressão da
responsabilidade do INOFOR para designar as fases de um
processo formativo), não constituirá exagero afirmar que a
avaliação tem vindo a constituir o centro prioritário das atenções.
Da avaliação das entidades formadoras (a acreditação junto do
INOFOR) à importância crescente atribuída pelo IEFP aos momentos avaliativos que fundamentam (diagnóstico de necessidades) e
validam (acompanhamento e avaliação) os projectos de formação
submetidos a financiamento, passando pelo controlo exercido pelo
Departamento de Homologação de Cursos de Formação Inicial de
Formadores do IEFP (em particular, no que diz respeito ao
intensificar de exigências na definição/estruturação das estratégias avaliativas) e ainda pela emergência de um movimento
nacional no sentido da certificação de competências, são vários os
indicadores a fazer crer que a avaliação é, cada vez mais, entendida
como uma peça central do processo formativo, assumindo a tripla
função de diagnosticar, regular e certificar.
No entanto, este contexto de exigências não parece ter vindo a
encontrar suficiente eco no que diz respeito às capacidades e competências avaliativas instaladas, quer por entidades formadoras quer
por formadores. No caso das entidades formadoras, atente-se na
diminuta percentagem de entre elas que obteve acreditação nos
domínios do diagnóstico de necessidades (na prática, o primeiro
momento avaliativo de uma acção de formação) e do acompanhamento e avaliação da formação. Esta é, efectivamente, uma
das áreas em que importa promover melhorias sensíveis nos processos de formação.
11
MELHORIAS CONTÍNUAS PRECISAM-SE!
A formação conheceu nos últimos anos um grande incremento,
tornando-se uma forte aliada das empresas, que reconhecem que é
necessário manter os seus colaboradores a par de novos métodos,
técnicas, tecnologias ou conceitos.
As mudanças no mundo empresarial são constantes, situando-se
estas não só no plano tecnológico como também no plano organizacional e no domínio das atitudes. Não raras vezes as mudanças
procuradas pelas empresas situam-se sobretudo ao nível dos
comportamentos e da maneira de pensar perante novas exigências
de desempenho profissional.
A avaliação da formação pode dar um contributo precioso,
fornecendo novas referências e sugestões de aperfeiçoamentos
para incorporar tanto no decurso de acções de formação como em
futuras acções. Para além das melhorias que se podem introduzir
nos dispositivos de formação, muitas vezes as informações obtidas
a partir de processos contínuos de avaliação também permitem,
inclusive, transportar de novo e directamente para o universo
laboral ideias, sugestões e soluções válidas e directamente
aplicáveis.
A formação e a sua avaliação são duas faces de uma mesma moeda
que fomentam a melhoria das organizações, na medida em que
procuram que as actividades formativas sejam consequentes,
ajustadas e com impacto positivo nos processos de trabalho.
As repercussões da formação ao nível dos processos de trabalho só
podem ser apreendidas se a sua avaliação for de facto aproveitada
e incorporada em processos de melhoria contínua. De facto, saber
que uma dada acção correu bem ou mal não chega. É preciso
conhecer os desvios entre uma situação desejada e a situação a
que efectivamente chegámos. A avaliação deve ajudar-nos a
(re)pensar as situações-problema na óptica da sua solução.
Mais do que proceder meramente ao controlo de resultados, é
importante aliar às actividades formativas momentos de reflexão
interactivos para captar efeitos de mudança. Por outras palavras, é
importante aliar a prática à análise, transformar uma vivência numa
experiência que ajude a tomar consciência, a verificar o valor e
atribuir um sentido ao que é feito em formação. Esse sentido
assume cada vez mais importância enquanto sentido de mudança,
de mudança necessária e contínua.
Avaliar é como aprender, é um processo contínuo. A avaliação
ganha um sentido acrescido e utilitário a partir do momento em que
é percebida como um processo de aprendizagem e conhecimento
contínuos. Se é verdade que uma acção de formação isolada só por
si não provoca a mudança, também é verdade que uma avaliação
de uma dimensão isolada não se revela útil. É importante captar,
12
absorver e adaptar os resultados da avaliação e inseri-los nas
actividades formativas de forma contínua.
O desenvolvimento das organizações e dos indivíduos que as
integram é um processo que implica mudanças, sendo importante
acolher a formação enquanto oportunidade facilitadora para que
essas mudanças ocorram. Cabe à avaliação fornecer o sentido do
que é feito, encontrar formas para que as melhorias desejadas
sejam, de facto, alcançadas.
13
DIÁLOGOS SOBRE DEFORMAÇÕES
DA FORMAÇÃO
A necessidade de reduzir os atrasos em termos de qualificações
profissionais tem levado os poderes públicos a promover e a
disponibilizar recursos financeiros para a realização de acções de
formação profissional. Em Portugal e em especial a partir da
chegada dos fundos comunitários, registou-se uma explosão da
actividade formativa sem precedentes. No entanto, como é do
conhecimento geral, a par de bons exemplos de práticas formativas
verdadeiramente inovadoras e portadoras de mais-valias para os
indivíduos e para as organizações, emergiram também algumas
práticas formativas menos boas.
Quando falamos em formação e, em particular, em avaliação da
formação, existe sempre a necessidade de perceber as intenções
que estão na origem da realização de uma dada acção de formação.
Na base da realização de uma acção deve existir sempre um
conjunto de necessidades reais que a justifiquem e sustentem.
Quando estas necessidades não existem ou quando as trajectórias
de chegada dos indivíduos à formação não são acompanhadas por
alguma vontade própria em mudar, aprender, aperfeiçoar ou
progredir, as avaliações que se fizerem apontarão sempre para
resultados débeis. Não é a avaliação que endireita a sombra de
uma vara torta.
Para demonstrar aquilo de que estamos a falar, de seguida
apresentamos algumas deformações ou falsas utilizações da
actividade formativa referenciadas por Paulo da Trindade Ferreira,
em parte, citando Jean Dubois. Ambas as referências às
“deformações” estão guarnecidas com afirmações frequentemente
ouvidas a dirigentes e gestores. É curioso notar que, apesar de o
autor citado ter utilizado estes qualificativos em 1971, estes
revelam um grande realismo e oportunidade nos nossos dias.
A “Formação-castigo”
Do director de produção para o encarregado de manutenção:
– “ Se a avaria de ontem tornar a repetir-se, vejo-me forçado a mandá-lo para um curso de formação”.
A “Formação-recompensa”
Do gerente da empresa para o técnico administrativo:
– “Dada a grande fidelidade que sempre tem demonstrado, a gerência
decidiu mandá-lo tirar um curso de formação”.
A “Formação-tapa-buracos”
De um gestor de formação para um cliente:
– “Quando a carteira de encomendas baixa, entretemos os trabalhadores com uns ‘cursinhos’ de formação. É uma forma de estarem
ocupados”.
14
A “Formação-férias”
Do director comercial para o adjunto:
– “Se o curso em que vai participar não interessar, aproveite o
tempo... e descanse”.
A “Formação-analgésico”
Do director de pessoal para um consultor externo:
– “ Para acalmar os refilões, nada melhor do que ‘despachá-los’ para
um curso de formação. Vêm de lá mansos que nem uns cordeiros”.
A “Formação-moda”
De um gerente de empresa:
– “Para que não digam que a nossa empresa está ultrapassada ou
já perdeu o comboio, vamos começar a organizar umas acções de
formação”.
A “Formação-enlatado”
De um director-geral para um administrador:
– “Não podemos perder muito tempo com essas coisas da formação. Sempre que precisamos de um curso, encomendamo-lo a
empresas de fora que já têm tudo confeccionado”.
A “Formação-saque”
De um director financeiro para um director de pessoal:
– “Para ver se também nos calha ‘algum’, contratamos um consultor
para fazer um projecto de formação e tratar da papelada
necessária”.
A “Formação-engodo”
De um director de produção para um chefe de equipa:
– “Se, para nos candidatarmos aos financiamentos para a modernização das empresas, nos obrigam a fazer determinadas horas de
formação, há que fazê-las, custe o que custar”.
A “Formação-seca”
De formandos para formador:
– “De vez em quando, fazem-se lá na empresa uns cursos que ninguém sabe bem para que servem. Chamam um ‘craque’ de fora, que,
durante horas seguidas, faz ao pessoal uma verdadeira ‘lavagem ao
cérebro’...”.
15
QUEM ENVOLVER?
O PAPEL DA CHEFIA INTERMÉDIA
Um processo de avaliação entendido como um processo de análise e
reflexão deverá envolver um leque alargado de interlocutores. Este
envolvimento é tanto mais importante quanto esperamos que da
formação haja resultados positivos nas pessoas e nas organizações.
Neste sentido, para além dos formandos e formadores que têm um
envolvimento directo na formação, há que perspectivar a participação das chefias intermédias. Em quê e como pode ser eficaz a
acção das chefias intermédias nas empresas, sobretudo nas PME?
a) na identificação das lacunas de formação nos colaboradores a
formar;
b) na ajuda à definição dos objectivos da formação, dando
informações pertinentes e oportunas;
c) na mobilização e incentivo dos colaboradores das equipas de
trabalho para adesão à formação;
d) no incentivo aos colaboradores em formação e já formados a
aplicar os conhecimentos e competências adquiridos;
e) cooperando na avaliação do impacto real da formação na
organização;
f ) contribuindo para melhorar a eficácia e eficiência da formação.
Por estas razões, a chefia intermédia pode constituir uma peça-chave no processo de avaliação da formação, devendo ser eleita o
elemento prioritário, a ser ouvido e envolvido em qualquer processo avaliativo.
16
COMO PREPARAR A AVALIAÇÃO DA FORMAÇÃO
A - Antes e durante a preparação da formação
1. Definição dos objectivos e resultados esperados da avaliação:
- Hierarquia
- Chefia directa
- Formandos
- Formador
- Serviço de formação.
2. Listagem dos aspectos que vão ser objecto de avaliação.
3. Definição de indicadores, em função dos objectivos da formação e
da avaliação.
4. Definição dos papéis dos diferentes actores no processo de
avaliação, para cada um dos objectivos e em cada momento da
avaliação (fornece informações / é informado / valida / participa /
conduz / anima directamente).
5. Concepção dos instrumentos de avaliação a utilizar.
6. Concepção do dispositivo de avaliação.
7. Divulgação do dispositivo de avaliação.
Instrumentos:
entrevistas; questionários; reuniões.
17
B - Durante a formação
1. Apreciação pelos formandos das componentes da acção de formação, no final da cada módulo / acção de formação.
Instrumentos:
entrevistas; questionários; reuniões.
2. Avaliação pelos formadores dos componentes da acção de
formação, no final de cada módulo / acção de formação.
Instrumentos:
entrevistas; questionários; reuniões.
3. Avaliação da aprendizagem realizada.
Instrumentos:
testes; grelhas de observação.
4. Aplicação dos conhecimentos no posto de trabalho
(sobretudo se se tratar de formação em alternância ou formação-acção).
Instrumentos:
diário de bordo; relatórios; observação directa; entrevista à chefia
directa; reuniões.
5. Divulgação de informação seleccionada aos diferentes actores,
para garantir o seu envolvimento e mantê-los informados.
Instrumentos:
comunicações internas; boletim da empresa; reuniões.
18
C - Depois da formação
1. Aprendizagem efectiva.
Instrumentos:
grelhas de observação; questionários; entrevistas; reuniões.
2. Repercussões da formação observadas pela chefia directa.
Instrumentos:
entrevistas; reuniões.
3. Aplicação dos conhecimentos adquiridos e seus resultados.
Instrumentos:
reuniões com formandos e chefias; informações de gestão e
produção.
4. Efeitos inesperados da formação.
Instrumentos:
entrevistas individuais; observações da hierarquia.
5. Novos pedidos de formação.
Instrumentos:
entrevistas com a hierarquia sobre os projectos do serviço;
elementos decorrentes da avaliação do desempenho; análise de
pedidos individuais.
Em síntese:
Avaliar a formação é, pois, uma forma de encontrar um sentido,
compreender um investimento, apreender uma direcção que norteie a
melhoria contínua do desempenho dos indivíduos e das organizações.
19
INSTRUMENTOS E PROCEDIMENTOS
A avaliação da formação é, como já vimos, um processo amplo e
complexo que supõe a necessidade de recolher informação em
diferentes momentos e a diferentes níveis tendo em vista a melhoria
do dispositivo de formação e dos seus resultados.
Para levar a cabo um processo de avaliação importa, por um lado,
levantar um conjunto de questões, no sentido de estabelecer os
critérios de escolha dos instrumentos de avaliação e as condições necessárias à utilização dos instrumentos de avaliação. Por outro lado, é
importante observar os pontos-chave para construir um projecto de
avaliação e ter a noção que é importante privilegiar a utilização de
mais de um instrumento. Neste sentido e antes da apresentação de
alguns instrumentos de avaliação, passamos em revista cada um dos
aspectos mencionados.
Critérios de escolha dos instrumentos de avaliação
1. Em que medida correspondem aos objectivos enunciados?
2. Custos (elaboração; aplicação; tratamento da informação).
Em função das informações a recolher e da sua complexidade, qual
é o tempo a investir no tratamento das respostas?
3. Grau de adesão dos actores.
Quais as facilidades e dificuldades que o instrumento apresenta
para o actor a quem deve ser aplicado (formando, chefia directa,
etc)? Qual a utilidade para o actor?
4. Grau de integração no processo de formação.
Como é apresentado? Que tempo lhe é consagrado? Qual a
utilização prevista para os resultados (sob que forma serão
apresentados? Em que prazos?)
5. Grau de utilização das informações existentes.
Em que medida são exploradas as informações de gestão corrente
da empresa?
6. Grau de adesão de quem tem que aplicar o instrumento (formador,
responsáveis operacionais).
Quais as precauções tomadas para que o utilizador do instrumento
de avaliação esteja ao corrente dos seus objectivos, da forma de
aplicá-lo correctamente?
20
Condições necessárias à utilização dos instrumentos de
avaliação
1. Clareza quanto à finalidade da avaliação
2. Clareza quanto às regras do jogo: utilização dos resultados,
confidencialidade.
3. Compreensão da utilidade do instrumento por parte de todos os
actores.
4. Retorno rápido da informação.
5. Compreensão das mudanças produzidas pela avaliação.
6. Facilidade de utilização (conteúdo, linguagem, apresentação).
Pontos-chave para construir um projecto de avaliação
1. Quem avalia?
2. O que vai ser avaliado?
3. Quem são os destinatários da avaliação?
A utilização que cada um dos destinatários pode fazer dos
resultados da avaliação determina o tipo e tratamento das informações a prestar-lhe. A avaliação de um determinado aspecto da
acção de formação, dirigida ao responsável pela formação, não tem
o mesmo conteúdo que a enviada ao responsável hierárquico. Do
mesmo modo, o responsável pela formação ou o formador podem
apoiar-se nos resultados da avaliação para iniciarem um diálogo
com o responsável operacional; este pode basear-se na avaliação
para fazer evoluir determinados aspectos do funcionamento do seu
serviço.
4. Em que contexto decorre a formação e vai fazer-se a avaliação?
A análise do contexto permite esclarecer os constrangimentos ou
limitações que devem ser respeitados pelo processo de avaliação
(normas, prazos, meios, etc.).
5. Com que finalidade?
A decisão sobre o método de avaliação a utilizar (participativo,
conduzido por um especialista, etc.) e os instrumentos de avaliação
a aplicar depende da finalidade principal da avaliação.
A resposta a estas cinco perguntas permite definir o conjunto de
instrumentos a utilizar na avaliação da acção de formação.
21
Porquê utilizar um conjunto de instrumentos?
- Porque a aplicação isolada de um instrumento pode corresponder
mais a um juízo, enquanto vários permitem avaliar a tendência, as
variações, a complexidade, os vários intervenientes.
- Porque cada momento do processo de formação presta-se a
diferentes tipos de avaliação.
- Porque cada objectivo de avaliação requer um instrumento
apropriado.
Segue-se uma listagem de instrumentos de avaliação e uma
explicitação das condições da sua utilização.
Instrumentos de avaliação
1. Observação (pelo menos meio dia)
Vantagens:
Contacto directo com o terreno.
Desvantagens:
Custos em tempo (construção de grelhas de observação; tempo de
observação; exploração dos resultados).
2. Entrevista individual semiestruturada (uma hora/pessoa
aproximadamente)
Vantagens:
Contacto personalizado; possibilidade de expressão livre.
Desvantagens:
Custos em tempo (preparação da entrevista; entrevista; tratamento
da informação); a imagem global fornecida acentua as opiniões
individuais, em detrimento das colectivas ou institucionais.
3. Entrevista de grupo pouco estruturada (cerca de 1 h 30 m)
Vantagens:
Economia de tempo; possibilidade de analisar a situação para além
da expressão individual.
Desvantagens:
Influência do clima ou características do grupo pode ser inibitória
da expressão individual; falta de tempo para recolha de opiniões
individuais.
4. Reunião (cerca de 1 h 30 m)
Vantagens:
Economia de tempo; possibilidade de tomar decisões; implicação
da hierarquia.
22
Desvantagens:
Carácter oficial; peso da participação dos responsáveis
hierárquicos; pouca participação dos formandos na organização da
reunião.
5. Questionários (5 a 20 minutos)
Vantagens:
Economia de tempo na recolha da informação; possibilidade de
utilizar diferentes questionários (anónimo/identificado; curto/extenso, etc.), com diferentes apresentações (perguntas abertas/fechadas; gráficos para completar; perguntas de escolha múltipla;
frases para completar; etc.) em diferentes momentos da formação.
Desvantagens:
Necessidade de esquematizar os aspectos propostos; custos em
tempo de elaboração; necessidade de conceber questionários
específicos, de acordo com os objectivos a atingir e o aspecto a
observar.
6. Utilização de diversos tipos de informação decorrentes da
actividade da empresa (Gestão, Produção, etc.)
Vantagens:
Ligar a formação aos objectivos da empresa; implicar a hierarquia.
Desvantagens:
As informações não têm relação directa com a acção de formação,
pelo que têm muitas vezes de sofrer adaptações.
7. Aplicações informáticas, software específico ou desenvolvido à
medida.
23
ERROS QUE NÃO VAI COMETER
Um processo rigoroso de avaliação da formação deverá facultar
informação credível e, tanto quanto possível, liberta de alguns
procedimentos e decisões menos correctos.
Sem pretendermos ser exaustivos, de seguida apresentamos um
conjunto de causas e/ou factores que com frequência originam a
ocorrência de equívocos, imprecisões e/ou resultados avaliativos
débeis:
Factores de não qualidade:
- A formação não resulta de necessidades, estratégicas ou operacionais, devidamente explicitadas e resultantes de processos
credíveis de análise e diagnóstico.
- Ausência de coerência e eficiência nos sistemas de formação, em
termos de programas adequados, com processos pedagógicos
que privilegiem as aprendizagens em ambientes mais próximos
da “produção”.
- A formação implica investimentos desmesurados para os resultados pretendidos.
- As empresas e outras organizações, aquando da organização da
formação, não criam condições de acolhimento que potenciem a
transferência e a manutenção do saber adquirido para o
contexto do trabalho.
Enquanto avaliadores, há que proceder com alguns cuidados:
- Não efectuar, abusivamente, juízos de valor directamente
centrados nas pessoas.
- Não utilizar critérios implícitos, ainda que evidentes, mas que
não foram explicitados, em referência a vivências pessoais.
- Não atribuir à formação todas as aquisições de capacidades
observáveis num dado momento.
Factores de subjectividade do avaliador:
- Ausência de critérios comuns.
A maior parte dos enviesamentos e da subjectividade presente
na avaliação tem como causa a ausência de critérios comuns aos
diferentes avaliadores. Com objectivos definidos, explicitados e
partilhados, evita-se a utilização de critérios pessoais, necessariamente diferentes entre avaliadores. Neste sentido, o
processo de avaliação/verificação das aquisições/evoluções
torna-se mais objectivo e comummente aceite.
- Informação prévia.
Geralmente, o conhecimento de informação prévia relativa aos
formandos tende a influenciar o avaliador, podendo influenciar o
24
juízo, ideia e opinião e, deste modo, criar um preconceito, tendo
repercussões sobre a avaliação;
- Efeito de halo.
Diz respeito à impressão produzida por uma pessoa que, ao ser
posteriormente avaliada, pode condicionar a avaliação no
sentido da impressão produzida (positiva ou negativamente);
- Efeito de estereotipia.
Tem a ver com o preconceito criado acerca de um dado formando, fazendo com que a avaliação tenha sempre um dado sentido,
independentemente da sua evolução ou retrocesso. “Os bons
tendem a avaliar-se sempre bem e os maus sempre mal”.
- Efeito de ordem de avaliação.
Também designado por efeito contraste. A subjectividade está
aqui presente por via da comparação entre avaliações. Se, por
exemplo, é efectuada uma avaliação excelente sobre um
formando num dado momento, a avaliação seguinte de outro
formando normal tende a ser medíocre. O inverso pode também
ocorrer.
- Infidelidade do mesmo avaliador.
Resulta da discordância ou infidelidade do mesmo avaliador em
avaliações sobre o mesmo objecto de avaliação, em momentos
diferentes. A razão principal desta subjectividade pode
encontrar-se na ausência de critérios rigorosos ou, ainda, em
alterações de comportamento do avaliador, estado físico,
mental, etc..
Avisado sobre estes possíveis desvios nas práticas de avaliação, o
avaliador pode evitar cair em equívocos e falhas que possam
desvirtuar de modo evidente os resultados do processo de
avaliação.
BIBLIOGRAFIA GERAL
BENTO, Luís e SALGADO, Cristina Tavares. A formação pragmática –
Um novo olhar, Cascais: Editora Pergaminho, 2001
CÂMARA, Pedro B. Da. Humanator – Recursos humanos e sucesso
empresarial, Lisboa: Publicações D. Quixote, 1997
CRUZ, Jorge Valadas Preto, Formação Profissional em Portugal – Do
Levantamento de necessidades de formação, Lisboa: Edições
Silabo, 1998
FERREIRA, Paulo T., Guia do Animador – Animar uma actividade de
formação, Lisboa: Multinova, 1999
HADJI, Charles, A Avaliação, regras do jogo – Das intenções aos
instrumentos, Porto: Porto Editora, 1994
MÃO-DE-FERRO, António, Na Rota da Pedagogia, Lisboa: Edições
Colibri, 1987
MARC, Edmond e GARCIA-LOCQUENEUX, Guia de métodos e práticas
em formação, Instituto Piaget, 1995
MÉNDEZ, J.M. Álvarez, Avaliar para conhecer, examinar para excluir,
Porto: Edições ASA, 2002
PAIN, Abraham, Évaluer les actions de formation, Paris: Les Éditions
d’Organisation, 1992
PARRY, Scott B. Evaluating the impact of training – a collection of
tools and techniques, Alexandria: ASTD, 1997
ROLDÃO, Maria do Céu et al., Avaliação do impacto da formação: um
estudo dos centros de formação da Lezíria e Médio Tejo – 1993/1998,
Lisboa: Edições Colibri, 2000
TIRA-PICOS, António, A avaliação da formação profissional, Lisboa:
IEFP, 1990
A produção de ferramentas de trabalho para os encarregados e para as
chefias intermédias das nossas empresas constitui uma das tarefas mais
importantes do PRONACI.
AEP - Associação Empresarial de Portugal
O desenvolvimento integrado das empresas depende cada vez mais de projectos que recorrem a metodologias e instrumentos de formação diferenciados e adaptados aos seus destinatários.
Gpf - Gabinete de Coordenação de Parcerias e Formação Profissional
UNIÃO EUROPEIA
Fundos Estruturais
AEP - Associação Empresarial de Portugal • PRONACI - Programa Nacional de Qualificação de Chefias Intermédias
4450-617 Leça de Palmeira • Tel.: 22 998 15 00 / Fax: 22 998 17 71 • www.aeportugal.pt/pronaci