MEDIDAS DE AVALIAÇÃO
DE PROCEDIMENTOS,
PROCESSOS E APOIO
INSTRUCIONAIS EM
TD&E
Denise Furlanetto
2011
ALGUNS CONCEITOS
APOIO:
 É parte do conceito de ambiente;
 Abrange fatores do contexto interno e externo
que podem afetar todas as atividade de um
sistema de TD&E;
 condições ou restrições impostas à realização do
evento instrucional enquanto ele ocorre;
 Exemplos: equipamentos; instalações; facilidade
de acesso a material de apoio; transporte;
alimentação
ALGUNS CONCEITOS
PROCEDIMENTOS INSTRUCIONAIS:
 Refere-se, no Modelo MAIS, à ação de TD&E
propriamente dita;
 refere-se a operações, ocorrências e estratégias
instrucionais utilizadas durante o treinamento,
com a finalidade de levar o participante a
alcançar os objetivos instrucionais.
 são as características do desenho instrucional
postas em prática.
 Exemplos: apresentação de objetivos do curso;
tempo destinado a atividade teóricas e práticas,
seqüência de conteúdos, etc
ALGUNS CONCEITOS
PROCESSOS:
 referem-se aos resultados parciais ou
intermediários ocorridos durante a
implementação do evento e observados
principalmente no comportamento do
participante.

Exemplos: erros e acertos em provas,
absenteísmo, desistências, interações
(participante-participante/participante-instrutor.
POR QUE AVALIAR
PROCEDIMENTOS, PROCESSOS E APOIO?
Procedimentos
Processos
São a essência do treinamento;
Possibilitam descrição detalhada do
sistema instrucional;
Permitem verificar quais operações
instrucionais são + eficazes e eficientes para
diferentes clientelas.
Podem subsidiar predições sobre ações de
TD&E de médio e longo prazos;
Permitem saber o que funcionou ou não e
aprimorar (caráter somativo).
POR QUE AVALIAR
PROCEDIMENTOS, PROCESSOS E APOIO?
Pesquisas empíricas mostram que tal
variável é fundamental na predição de
impacto do treinamento no trabalho.
Apoio
Os fatores de apoio à execução do
treinamento vêm se mostrando, na prática,
importantes variáveis que indicam as razões
para abandono, absenteísmo e falta de
motivação para o treinamento.
AO PLANEJAR UMA AVALIAÇÃO DE UM
PROGRAMA INSTRUCIONAL DEVEMOS
PERGUNTAR:


1- O que medir?
Remete à necessidade de definir constructos
envolvidos na avaliação. Ex: apoio,
procedimentos, processos.
Medidas são geralmente extraídas das definições
de cada constructo;
INDICADORES DE AVALIAÇÃO
Em cursos presenciais
Constructo
Indicadores
Salas de aulas: ventilação, tamanho, mobiliário,
layout, acústica
Hospedagem: proximidade do local, hóspedes
por quarto, alimentação
Apoio
Coordenação: facilidade de acesso, presteza no
atendimento
Instalações: banheiros, salas para estudo,
consultas a materiais didáticos
Serviços e recursos de apoio: equipamentos,
materiais
Planejamento ou desenho instrucional:
objetivos instrucionais, seqüência de conteúdos,
Procedimentos estratégias instrucionais
Execução: Desempenho do instrutor, interações
requeridas pelos exercícios
INDICADORES DE AVALIAÇÃO
Em cursos presenciais
Constructo
Indicadores
Resultados de testes ou exercícios práticos
Motivação desenvolvida durante o curso
Quantidade de tempo dedicado ao estudo
individual
Processos
Interações participante-participante,
participante-instrutor
Reações dos participantes às atividades propostas
durante o curso
Nível de absenteísmo não justificado
Quantidade de pessoas que abandonam o curso
INDICADORES DE AVALIAÇÃO
Cursos à distância
Constructo
Indicadores
Interface gráfica
Serviço de apoio técnico
Apoio
Sistema de tutoria: passiva ou ativa,
quantidade de alunos por tutor
Ambiente de estudo: adequação do curso ao
computador, aos locais, preferências e hábitos de
estudos dos participantes, apoio ao participante
na administração do tempo para conclusão das
unidades do curso
Interação com o tutor: natureza e freqüência
Procedimentos
Interação com outros participantes: natureza
e freqüência
Interatividade: tipo de participação exigida
pelas atividades (ativa ou passiva)
Qualidade das avaliações de aprendizagem
INDICADORES DE AVALIAÇÃO
Cursos à distância
Constructo
Indicadores
Resultados de testes, exercícios, provas
Participação em chats, fóruns, listas de discussão
Tempo para conclusão de cada unidade
Interações participante-participante,
participante-instrutor (natureza, freqüência e
qualidade)
Processos
Mensagens de satisfação ou insatisfação com
curso e componentes do curso
Tempo dedicado à realização de exercícios e
estudo individual
Atrasos na entrega de trabalhos
Nível de absenteísmo não justificado a momentos
de atividade síncrona
Quantidade de abandonos
AO PLANEJAR UMA AVALIAÇÃO DE UM
PROGRAMA INSTRUCIONAL DEVEMOS
PERGUNTAR:
2- Com o que medir?


Leva à escolha ou construção e validação de um
instrumentos capazes de gerar informações válidas e
precisas sobre o que se quer avaliar;
Os instrumentos mais utilizados são:
 Questionários de avaliação de reação dos participantes
 Observação com roteiros para registro
 Análise documental do curso
 Testes e/ou provas (na avaliação de variáveis de
processos)
INSTRUMENTOS DE MEDIDA –
PONTOS CRÍTICOS


A escolha dos instrumentos deve levar em conta:
 Características do evento: presencial ou à
distância
 Características da clientela
 Contexto em que o treinamento está inserido
Encontram-se disponíveis instrumentos de
avaliação de reações à procedimentos, processos e
apoio, construídos e validados de acordo com
recomendações técnicas oriundas da psicometria.
EXEMPLOS DE INSTRUMENTOS
Reação ou satisfação com a programação
Pontuação
1-Clareza na definição dos objetivos do curso
2-Compatibilidade dos objetivos com suas
necessidades de treinamento
3-Carga horária programada para as atividades
teóricas
4-Ordenação dos conteúdos
5-Carga horária programada para as atividades
práticas
6-Carga horária diária
7-Adequação do conteúdo aos objetivos
8-Qualidade das instalações
9-Qualidade e organização do material didático
10- Quantidade do material didático
Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruim
Fonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)
EXEMPLOS DE INSTRUMENTOS
Desempenho do Instrutor (cursos presenciais)
Pontuação
1-Transmissão dos objetivos do treinamento
2-Nível de profundidade com que os temas e
assuntos foram abordados, tendo em vista os
objetivos do curso
3-Ritmo de apresentação dos tópicos
4-Uso de estratégias instrucionais (estudos de caso,
exposições orais, discussão em grupo) em relação à
apreensão dos conteúdos
5-Qualidade das avaliações de aprendizagem
6-Conhecimento dos temas abordados
7-Segurança na transmissão do conteúdo
8-Disposição para esclarecer dúvidas
Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruim
Fonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)
EXEMPLOS DE INSTRUMENTOS
Nota
Reações à Interface Gráfica do curso
( )
Relação entre os nomes e as siglas dos comandos e suas
funções
( )
Relação entre o ícone e sua função
( )
Manutenção da função de um mesmo comando em todas as
telas
( )
Quantidade de passos para chegar na função que preciso
( )
Quantidade de conteúdo por tela
( )
Adequação do ambiente eletrônico do curso à minha
experiência com o uso da Internet
( )
Letras (cor, tipo, tamanho) usadas nos textos
( )
Qualidade das mensagens que recebo do ambiente eletrônico
quando cometo erros de navegação
Escala de 11 pontos, em que 0 corresponde a péssimo, e 10, a excelente
Fonte: Carvalho (2003)
AO PLANEJAR UMA AVALIAÇÃO DE UM
PROGRAMA INSTRUCIONAL DEVEMOS
PERGUNTAR:
3- Como medir?

Leva à definição e seleção de estratégias de coleta e análise
de dados.
4- Como emitir julgamentos de valor a
partir da mensuração?

Requer a escolha do tipo mais adequado de avaliação:
baseada em critério o u norma (dependente da situação)
ETAPAS DE PROCEDIMENTOS
DE AVALIAÇÃO
1-Definir os constructos
2-Listar indicadores
4-Escolher ou construir e
validar instrumentos
3-Identificar instrumentos
5-Escolher fontes e meios
6-Definir avaliadores
8-Definir procedimentos de
análise de dados
7-Definir procedimentos de
coleta de dados
9-Definir relatório e devolução
dos resultados
FONTES, MEIOS E AVALIADORES




Fontes: Primárias ou Secundárias (arquivos e
materiais preexistentes)
Meios: Material impresso, meio eletrônico
Avaliadores: Participantes, instrutores,
desenhistas instrucionais, especialistas em
conteúdo, profissionais de TD&E
A escolha das fontes, meios e avaliadores deve
levar em conta:
Características dos eventos (presenciais ou à
distância)
 Características da clientela
 Contexto em que a ação de TD&E está inserida
 Custos

PARA DEFINIR PROCEDIMENTOS DE
AVALIAÇÃO É PRECISO:



Estudar o caso (características dos eventos, da
clientela e do contexto);
Escolher um modelo de avaliação que defina
claramente seus componentes;
Seguir as etapas 1 a 8 (descritas anteriormente)
DISCUSSÕES FINAIS
Sobre procedimentos:
apesar da importância, há pouca pesquisa, por
ex, sobre operações instrucionais;
Há evidências de que objetivos instrucionais
claros afetam a aprendizagem e que a realização
de atividades práticas aumenta o impacto do
treinamento no trabalho.
DISCUSSÕES FINAIS
Estudos estrangeiros afirmam que reações
favoráveis não garantem necessariamente a
aprendizagem ou a mudança no comportamento do
participante no trabalho.
 Estudos brasileiros já mostram correlações
favoráveis entre reação e impacto do treinamento no
trabalho.
 Abbad, Gama e Borges-Andrade (2000) concluíram
que:


Aprendizagem depende das características do
treinamento, somadas às características pessoais e de
suporte à transferência.
DISCUSSÕES FINAIS


Abbad, Gama e Borges-Andrade (2000) concluíram,
ainda, que:
 Reações dependem de combinações diferentes dos
mesmos conjuntos de variáveis preditoras de
aprendizagem.
 Impacto do treinamento depende fortemente do
suporte à transferência e de variáveis de reações
aos resultados dos treinamentos.
Há avanços na área, mas a multiplicidade de
medidas com definições e estruturas empíricas
diferentes, dificulta a comparação e a análise da
generalidade dos resultados de pesquisas que
tentem correlacionar reação com aprendizagem e
mudanças de comportamento no trabalho
REFERÊNCIA

Abbad, Borges-Andrade, Mourão. Treinamento,
desenvolvimento e educação em organizações e
trabalho: fundamentos para a gestão de pessoas.
Artmed: Porto Alegre, 2006 p.443-468