Avaliação de Projectos
Alguns Modelos de Avaliação
Modelos de avaliação
Predomínio

Abordagens
centradas
na
verificação
do
cumprimento de objectivos de aprendizagem (Tyler)

Abordagens centradas no processo formativo
(Stufflebeam)

Abordagens centradas nos resultados/benefícios
da formação para os destinatários (Kirkpatrick)
Modelos de avaliação

Multinível de KirkPatrick RACR

CIRO de Warr

CIPP de Stufflebeam

Hadji, Figari e Roegiers

R. Brinkerhoff (sete áreas de intervenção FDRAAGM)

Abordagem P E R T A
Donald Kirkpatrick
Modelo hierárquico de resultados da formação

Visa medir a qualidade de uma intervenção formativa
a partir da análise de quatro níveis de avaliação:

Nível 1 - Avaliação da reacção dos participantes

Nível 2 - Avaliação das aprendizagens dos participantes

Nível 3 - Avaliação do comportamento dos participantes

Nível 4 - Avaliação dos resultados da formação
Donald Kirkpatrick
Pressupostos do modelo hierárquico de resultados da formação

Cada nível é importante e tem impacto no nível
seguinte

Conforme se avança nos níveis, o processo torna-se
mais complexo

Nenhum dos níveis deve ser ignorado, por considerar o
nível seguinte mais importante
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

Os formandos gostaram do curso?

É uma das formas mais utilizadas na avaliação

É fácil, rápida e com baixo custo de aplicação

Os resultados negativos podem significar
dificuldades de aprendizagem no curso
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

Tem por objectivos:

Recolher as reacções, as opiniões dos
formandos sobre determinados aspectos da
formação (formador, métodos...)

Detectar disfuncionalidades no sistema de formação

Regular as práticas formativas, tendo em conta as
necessidades do público alvo
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

Pode ser efectuada de forma contínua...

Assim os formandos são avaliados de acordo com
vários critérios:




A forma como participam na acção
O desempenho nas actividades propostas
A forma como utilizam os recursos disponibilizados
A capacidade de interacção com o grupo de formação
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

A generalidade as avaliações efectuadas consiste na
recolha de opinião e do grau de satisfação dos
formandos com determinados aspectos da formação

Neste sentido, importa considerar diferentes tipos de
reacção:



As reacções afectivas, de satisfação
As reacções instrumentais, de utilidade
As reacções de dificuldade, da aprendizagem
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

Técnicas mais utilizadas:





Inquéritos por questionário sobre o grau de
satisfação
Realização de focus group
Inquérito por entrevista
Registo de comentários em fóruns de discussão
Realização de observações de comportamentos
dos participantes
Donald Kirkpatrick
Nível 1 - Avaliação do grau de satisfação

Dimensões de análise nos questionários de satisfação:









Expectativas iniciais
Objectivos de aprendizagem
Desempenho do formador
Conteúdos programáticos
Estratégicas pedagógicas
Suportes de apoio utilizados na formação
Documentação de apoio à formação
Apoio logístico
Espaços/instalações
Donald Kirkpatrick
Nível 2 - Avaliação das aprendizagens

Os formandos aprenderam
objectivos do curso?

Objectivos:
com
base
nos

Verificar se os formandos estão a adquirir as aprendizagens
pretendidas

Proporcionar ao formando um feedback sobre o modo como
está a evoluir na auto-aprendizagem orientada

Permitir a reformulação da acção, corrigindo eventuais
fragilidades, e a melhoria constante dos formandos
Donald Kirkpatrick
Nível 2 - Avaliação das aprendizagens

Diz respeito à aquisição, aumento ou melhoria das
competências e atitudes dos formandos

Este nível pode-se realizar-se
abordagem mais completa:
através
de
uma

Que contempla a recolha de dados antes, durante e após a
formação

Que não se circunscreve apenas ao aprofundamento de
conhecimentos, mas inclui a demonstração prática de
aptidões e competências apreendidas
Donald Kirkpatrick
Nível 2 - Avaliação das aprendizagens

Técnicas mais utilizadas










Testes escritos (de entrada/de progresso/finais) e orais
Role playing (simulação/dramatização sobre situações)
Elaboração de projectos
Jogos pedagógicos para a resolução se situações/problemas
Estudos de caso (análise de situações e construção de planos)
Aplicação de instrumentos de auto-avaliação
Realização de observações
Registo e análise de incidentes críticos
Elaboração de portefólios de competências
Elaboração de mapas conceptuais
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

O que mudou ao nível dos comportamentos dos
indivíduos?


Sinalizar com rigor antes da formação que comportamentos se
pretendem alterar...
Em que medida as alterações nos comportamentos
contribuíram
para
alcançar
os
objectivos
individuais de desempenho?

Determinar quais os indicadores para avaliar o impacto da
formação nos desempenhos dos formandos
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

Objectivo:


Averiguar em que medida os formandos transferem para o
contexto de trabalho as aprendizagens (conhecimentos,
competências e comportamentos)
Requer o desenvolvimento de planos que permitam
comparar o comportamento antes e depois da
formação, podendo ser feito através de:



Auto-relatos
Observações de superiores hierárquicos
Pares
Donald Kirkpatrick (1998)
Nível 3 - Avaliar a transferência da formação

Técnicas mais utilizadas:








Entrevista de chegada (quando o formando regressa...)
Aplicação de questionários para avaliar a transferência e resultados
no desempenho individual
Aplicação do instrumento LTSI - Learning Transfer System Inventory
www.edholton.com; http://reviewing.co.uk/reviews/evaluation-transfer.htm
Construção de um plano de intervenção específico
Observações no posto de trabalho
Análise de performance (através de avaliação inter-pares)
Registo de análise de incidentes críticos (análise comparativa)
Auto-avaliação
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

Modelo de análise da transferência da formação

Características
dos
formandos

Design da formação (características do projecto de mudança,
(motivação, experiência
profissional, prontidão para mudar, atitude face à formação, autoeficácia
modelos pedagógicos, conteúdos, conhecimento e oportunidade para
transferir)

Contexto organizacional (valores e cultura, política de recursos
humanos, apoio e suporte, consequências da transferência)
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

Características dos formandos

Competências


capacidade cognitiva (tempo, energia, disponibilidade mental no
trabalho para transferir)
experiência profissional (nível de proficiência atingido, cargo
ocupado e antiguidade na organização)

Factores de personalidade - satisfação com o trabalho,
crenças de auto-eficácia, atitude face à mudança

Variáveis motivacionais - Motivação para aprender e
motivação para transferir
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

Concepção/design da formação

Garantir o ajustamento dos conteúdos (relevância
aprofundamento) às exigências do trabalho dos formandos
e

Assegurar que os modelos e práticas pedagógicas permitem
aos formandos aprender o que se pretende que aprendam

Incluir conhecimentos sobre o modo de transferir a
aprendizagem para o local de trabalho
Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

Contexto organizacional

Capaz de promover a aprendizagem contínua dos
trabalhadores
terá
maior
probabilidade
de
obter
comportamentos pós-formativos

Capaz de propiciar um clima facilitador de transferência
concretizado:

pela frequência de feedback sobre o desempenho

pelo apoio dos pares e da hierarquia

pela percepção das consequências positivas da utilização das
aprendizagens no desempenho profissional
Donald Kirkpatrick
Nível 4 - Avaliação de Resultados

Qual o impacto da formação nos resultados da
organização?

Objectivos:

Avaliar o impacto da formação em termos de resultados na
actividade da organização

Ou avaliar a variação de indicadores concretos previamente
estabelecidos que resultaram da análise de necessidades
Donald Kirkpatrick
Nível 4 - Avaliação de Resultados

Indicadores de eficácia da formação:

Mais reuniões de trabalho em equipa entre professores

Melhoria nas práticas pedagógicas e de avaliação

Menor número de reclamações por
relativamente às avaliações dos alunos

Melhoria no sucesso escolar dos alunos

Aumento da procura da escola por parte dos pais e alunos
parte
dos
pais
Donald Kirkpatrick
Nível 4 - Avaliação de Resultados

Técnicas mais utilizadas:

Análise dos resultados de intervenção específicos

Análise de painel de indicadores de performance

Aplicação da fórmula ROI (Return of Investment)

Análise custo-benefício
Donald Kirkpatrick

Segundo a American Society for Training and Development
(2002):

78% das organizações avaliam as acções formativas ao nível da
satisfação dos formandos - nível 1 reacção;

Somente 32% avaliam o nível 2, aprendizagem;

9% o nível 3, comportamento;

6% o nível 4, resultados

Assim, os níveis mais interessantes são os menos utilizados
Retorno do investimento (ROI)

Não basta obter bons resultados


É preciso garantir a recuperação do investimento feito
Objectivos do cálculo do Retorno do Investimento

Conhecer se a implementação de uma acção é rentável para a
organização do ponto de vista financeiro

Identificar as vantagens e os inconvenientes de uma dada
acção formativa
Retorno do investimento (ROI)

Não confundir Retorno do Investimento com
Índice custo/benefício

ICB= benefícios brutos da formação/custos do
programa

ROI= benefícios líquidos da formação/custos do
programa
Retorno do investimento (ROI)
Benefícios da formação

Evidentemente que a formação em
organização gera benefícios e custos

É mais complexa a identificação dos benefícios

Existem três tipos de benefícios

Melhorias no trabalho (mais fácil de quantificar)

Inovação e a criatividade

Satisfação/realização (mais difícil de quantificar)
qualquer
Retorno do investimento (ROI)

Exemplo:

Os custos de um dado programa de formação são 20.000
euros (custos podem ser relativos a viagens, à realização da
formação, à preparação material...) e os benefícios são de
100.000 euros (os benefícios podem ser relativos ao aumento
da produtividade, à redução do absentismo...)

ICB = 100.000/20.000 = 5

ROI = 80.000/20.000 x 100% = 400%
Benefícios brutos
Benefícios líquidos
Kirkpatrick
Quais os objectos de avaliação?

A satisfação dos formandos

O desempenho dos formadores

A adequação dos programas aos formandos

A aplicação dos conhecimento adquiridos

Os efeitos inesperados da formação

O impacto nos resultados da instituição
Modelo CIRO de Warr
Domínios da avaliação

Contexto ou ambiente de partida da formação

Inputs a mobilizar para a intervenção educativa

Reacções dos participantes à formação

Outcomes (resultados) da formação
Modelo CIRO de Warr

A avaliação do contexto pretende compreender:

As razões que justificam a intervenção formativa

A distância entre as competências reais dos formandos e as
desejadas

O tipo de saber a desenvolver na formação

O que se deseja modificar com a intervenção
Modelo CIRO de Warr

A avaliação dos inputs pretende analisar:

O processo de selecção dos formandos e dos formadores

Os conteúdos e a estratégia de formação

Os recursos materiais, humanos e financeiros de apoio
Modelo CIRO de Warr

A avaliação das reacções pretende:

Averiguar o grau de satisfação dos participantes em
relação à formação desenvolvida
Modelo CIRO de Warr


A avaliação dos outcomes visa aferir os resultados da
formação em termos:

Das competências desenvolvidas

Da aplicação das competências nos contextos de trabalho
Importa responder à questão: que mudanças
ocorreram após a realização da formação?
Stufflebeam
Modelo CIPP

A intenção da avaliação
 é servir de guia à tomada de decisões

A avaliação
 tem por finalidade o aperfeiçoamento do processo formativo
 a partir do levantamento de necessidades

O processo de decisão
 não acaba num dado momento é cumulativo e orientado
 por reajustamentos constantes rumo ao aperfeiçoamento
Modelo CIPP
Domínios de análise

Contexto

Inputs da formação

Processo formativo

Produtos resultantes da formação
Modelo CIPP

A avaliação de contexto incide sobre:

As suas características

As necessidades de formação

As características dos participantes da formação

Os problemas que originaram as necessidades identificadas

A coerência entre necessidades sinalizadas e os objectivos
de aprendizagem propostos
Questões para avaliar o contexto

Que objectivos se pretendem alcançar ao realizar o
diagnóstico de necessidades?

Que tipo de informação se obtém quando se efectua o
diagnóstico?

De quem se obtém essa informação e com que
métodos?

Quanto tempo é necessário?

Como se processam os dados?
Modelo CIPP

A avaliação de inputs incide sobre:

A suficiência de recursos materiais e humanos

Medidas alternativas à formação

A capacidade de resposta do sistema de formação

A sinalização de eventuais entraves à formação

A adequação da proposta formativa e as estratégias
de intervenção
Questões para avaliar os “inputs”

Quais os critérios para
formandos e os formadores?
seleccionar
os

Os formadores têm provas dadas na área da
formação?

Quais são as expectativas dos formandos?

Qual o conhecimento, os interesses, as atitudes
e as preocupações dos formandos?
Modelo CIPP

A avaliação do processo incide na:

Implementação das intervenções formativas

Observação de processos de ensino-aprendizagem





Conduta do formador
Conduta dos formandos
Relação entre formador e formandos
Interacção dos formandos com os materiais pedagógicos
Sinalização de eventuais aspectos a melhorar
Questões para avaliar o processo

Como está a decorrer a formação?

Os conteúdos planificados estão a ser desenvolvidos?

O formador demonstra conhecimento e competência?

Os formandos tiveram oportunidade de praticar (simulações)?

Houve um equilíbrio entre as componentes teóricas e práticas?

Qual foi o ambiente durante a formação?

Os conteúdos têm aplicabilidade nos contextos de trabalho?
Modelo CIPP

A avaliação dos produtos incide sobre:

Resultados da formação (satisfação)

Resultados face a objectivos pré-definidos

Resultados face a necessidades do contexto
Questões para avaliar o produto

O que muda em consequência da proposta formativa:

A formação proporcionou aos formandos conhecimentos,
competências, atitudes que antes não possuíam ?

Teve repercussões no contexto de trabalho (melhor
desenvolvimento das tarefas, maior motivação e satisfação) ?

Teve repercussões na instituição (coesão, organização,
participação, trabalho em equipa, resolução de conflitos) ?
Modelo CIPP

Segundo Roegiers (1997) este modelo teve
sucesso na avaliação da formação devido:

À associação entre a avaliação e a tomada de
decisão

À superação da avaliação reduzida aos produtos

À ênfase dada ao contexto
Hadji (1994)
Modelo de “avaliação plural”

Remete para a dimensão pragmática e instrumental da
avaliação: para que é que serve ?

Realça a temporalidade que é inerente ao processo de
avaliação de uma acção (antes, durante e depois)

Destaca as diversas funções da avaliação
Hadji
Funções na sequência da acção
Temporalidade
Antes
Durante
Depois
Avaliação
Diagnóstica
Prognóstica
Formativa
“Progressiva”
Sumativa
Terminal
Função
Orientar
Adaptar
Regular
Aperfeiçoar
Verificar
Certificar
Centrada
No produtor e
suas
características
Nos processos
Nas actividades
Nos produtos
Hadji e os dispositivos de avaliação

Dispositivo é o conjunto das modalidades
previstas de levantamento e tratamento da
informação:




Circunstâncias e momentos
Natureza das informações a recolher
Instrumentos de ajuda nesse trabalho
Não pode haver dispositivo sem plano prévio
Hadji e os dispositivos de avaliação

Construir um dispositivo é organizar os
meios (instrumentos, actores) de acordo
com um plano estruturado em função:

Da natureza do projecto de avaliação

Da natureza do projecto de formação
Operações essenciais para construir
dispositivos de avaliação

Questionar-se sobre o projecto de avaliação

Precisar o projecto de formação

Prever os procedimentos
Questionar-se sobre o projecto de
avaliação

Qual é a intenção dominante do projecto de avaliação



Medir, apreciar, interpretar?
Controlar, regular, compreender?
Que concepção dominante se tem da realidade
avaliada (Para que serve?)

Modelo de funcionamento privilegiado
Precisar o projecto de formação

Finalidades

Transformações desejadas (a que níveis?)

Tipo de expectativa em relação aos formandos

Actualização de conhecimentos?

Competências?

Qualidades pessoais?

Atitudes?
Prever os procedimentos

Determinar a informação útil


Explicitar como é recolhida a informação útil




Porquê é que nos vamos interessar (objecto)?
Quem vai efectuar a recolha?
Quando?
Por meio de que Instrumentos?
Definir o quadro de interpretação dessa informação
Hadji
Objectos na avaliação das acções

O processo de formação

Os efeitos da formação
O processo de formação

O dispositivo




O projecto (coerência e rigor)
O plano (exequibilidade)
Formadores (Quem? Lugar e papel? Formação?
Competências? Função? Estatuto?
O processo pedagógico (acção propriamente dita)


Trabalho dos formadores (escolha dos conteúdos, das
actividades)
Funcionamento da acção (métodos de trabalho, técnicas de
animação e dispositivo de avaliação)
Os efeitos da formação

Efeitos pedagógicos (resultados dos formandos)




Aprendizagens realizadas
Evoluções assinaláveis
Satisfação dos formandos
Impactes (consequências)


Evolução das práticas
Eficácia das práticas
Figari e os conceitos em cascata
Referente, referencial, referencialização

Para Lesne (1984) “avaliar é por em relação, de
forma explícita ou implícita, um referido (o que
é constatado ou aprendido de maneira imediata,
o que é objecto de uma investigação
sistemática) com um referente (o que
desempenha o papel de norma, o que deve ser,
o objectivo pretendido...)
Figari e os conceitos em cascata
Referente, referencial, referencialização

Referencial

Modelo geral preexistente

Sistema de referências construído em torno da experiência e
que apela a critérios elaborados em função da situação
específica a tratar, representando a combinação de um
conjunto de factores:




População em formação
Contexto económico e técnico
Competências dos professores e formadores
Meios e métodos...
Referencialização: o que é?

“ (...) é um processo de elaboração do referente (...). A
referencialização consiste em assinalar um contexto e em
construir, fundamentando-o com os dados, um corpo de
referências relativo a um objecto (ou a uma situação), em relação
ao qual poderão ser estabelecidos diagnósticos, projectos de
formação e avaliações (...).

Pretende ser um método de delimitação de um conjunto de
referentes e nisso se distingue do referencial que, por sua vez,
designa um produto acabado e, mais exactamente, uma
formulação momentânea da referencialização” (Figari, 1996, 52)
Referencialização como metodologia de
avaliação



Operação de avaliação = elucidação do pedido

Qual a origem?

Qual é o contexto e as finalidades da avaliação?
Objecto a avaliar

O quê avaliar?

Que dimensões do objecto vão ser avaliadas?
Referentes


Em relação a quê se vai atribuir um sentido à informação? (leis, projectos,
contexto nacional e internacional)
Critérios

Que aspectos representativos do objecto a avaliar vão ser escolhidos para
proceder ao julgamento?
Referencialização como metodologia de
avaliação

Indicadores




Que índices, que características observáveis são escolhidas para verificar o
grau de alcance do critério
Itens de recolha de dados

Quais serão, para cada critério,os descritores tomados em linha de conta?

Que instrumento(s) construir ?
Interpretação dos resultados

Que cruzamento de dados efectuar?

Que significados atribuir aos resultados
Divulgar os resultados

Que dizer aos diferentes actores da avaliação?Como?

Como explorar os dados?
Modelo ICP de Figari
Dimensões
Lógica de
Gestão
Função de
Avaliação
Sequência
temporal
Contexto
de Análise
Induzido
Projecto
Prognóstica
Antes
Social,
profissional e
individual
Construído
Aprendizagem
Formativa
Durante
Institucional e
as estratégias
de
liberdade
Produzido
Avaliação
Sumativa
Depois
Pedagógico
Efeitos e
Resultados
Características do modelo de Figari

Dinâmico


Indissociável


Embora haja uma sequencialidade temporal irreversível (antesdurante-depois) as dimensões têm um carácter relacional e
interaccional
Porque não só as dimensões estão imbricadas entre si e têm
zonas de intersecção, como também se legitimam mutuamente
Iterativo

As várias dimensões são interdependentes e mutuamente
enriquecedoras: o “induzido” é a base do “construído” que, por sua
vez, dá origem ao “produzido” e este novamente ao “induzido”
Roegiers (1997)
Modelo de “caixa aberta”

A construção de um dispositivo de formação é um processo de
“referencialização progressiva”, atendendo à diversidade de
referentes

Esta referencialização procura responder à necessidade de:

Situar o dispositivo de avaliação no seu contexto

Relacionar as diversas componentes internas a partir dos dados do
contexto
Roegiers (1997)
Modelo de “caixa aberta”

É assim caracterizado por duas razões:

Porque há uma permamente interacção com o meio, numa
lógica de mútua influência

Porque permite delimitar os seus componentes internos
para efeitos de análise de uma acção de formação
Roegiers (1997)
Modelo de “caixa aberta”

Existe assim um duplo conjunto de elementos na
análise de uma acção de formação:

Os referenciais que contribuem para contextualizar a acção
(elementos externos)

Os componentes que caracterizam a acção (elementos
internos)
Roegiers (1997)
Modelo de “caixa aberta”

O autor distingue quatro tipos de referenciais em
interacção:

O contexto geral

As necessidades dos actores

O funcionamento da instituição

O quadro normativo
Roegiers (1997)
Modelo de “caixa aberta”

O contexto geral

Contexto alargado e abrangente

No qual devem ser considerados os aspectos sociais, culturais,
económicos e políticos

Que directa ou indirectamente influenciam o funcionamento da
instituição ou do dispositivo de formação
Roegiers (1997)
Modelo de “caixa aberta”

As necessidades dos actores

Trata-se das “necessidades que estão ligadas às estratégias
dos actores, às pessoas e às histórias, ao funcionamento
quotidiano, às interacções de diversa natureza, aos desafios e
aos projectos”
Roegiers (1997)
Modelo de “caixa aberta”

O funcionamento da instituição

É o conjunto de desafios que se consubstancia na política
oficial da instituição (plano estratégico, política educativa,
projecto educativo, plano de formação...) e nas informações
sobre o seu funcionamento (organigramas, regulamentos...).
Roegiers (1997)
Modelo de “caixa aberta”

O Quadro normativo

É constituído pelo conjunto de dispositivos normativos
(legislativos, jurídicos, éticos, deontológicos...) aos quais a
instituição está submetida, quer sejam de natureza externa,
quer sejam de natureza interna.
Roegiers (1997)
Modelo de “caixa aberta”

O autor identifica os seguintes componentes internos
que caracterizam uma acção:

Os objectivos

Os produtos

Os meios

Meios previstos e meios efectivos
Roegiers (1997)
Modelo de “caixa aberta”

Os objectivos

Dizem
respeito
à
definição
das
acções
a
desenvolver, tendo em vista a modificação de um
contexto esperado.
Roegiers (1997)
Modelo de “caixa aberta”

Os produtos

Embora se possam distinguir vários tipos (os
resultados, os efeitos indirectos e os produtos
intermédios), este elemento constitui os efeitos do
desenvolvimento da acção.
Roegiers (1997)
Modelo de “caixa aberta”

Os meios

É o conjunto de estratégias e recursos através do
qual se realiza o trânsito entre os objectivos e os
produtos, garantindo o sucesso da acção de
formação
Roegiers (1997)
Modelo de “caixa aberta”

Meios previstos e meios efectivos

É a diferença relevante entre o que se previu
potencialmente utilizar e o que efectivamente se
realizou,
relacionando-se
desenvolvimento da acção.
com
o
próprio
Roegiers (1997)
Modelo de “caixa aberta”

Para compreender a importância deste modelo não
podemos ficar por esta apresentação analítica e
estática

Trata-se de um modelo complexo e dinâmico, que
implica uma combinatória de elementos e factores
que entram em jogo numa acção de formação
Modelo de R. Brinkerhoff
Sete áreas de intervenção

Focalizar a avaliação

Desenhar a estratégia avaliativa

Recolher informação

Analisar e interpretar a informação recolhida

Apresentar resultados

Gerir o processo avaliativo

Avaliar a avaliação
(atenção à checklist que agora vamos desenvolver por área cf. pag. 27 do Guia de avaliação da formação)
Modelo de R. Brinkerhoff
Focalizar a avaliação/questões críticas

Que dimensões avaliar?

Qual a finalidade da avaliação?

Quem será
avaliação?

Que factores poderão afectar o processo?

Quais as principais questões avaliativas?

A avaliação tem potencial para ser bem
sucedida?
implicado
no
processo
de
Modelo de R. Brinkerhoff
Desenhar a estratégia/questões críticas

Quais as abordagens
disponíveis?
avaliativas

Que aspectos deve contemplar uma
estratégia avaliativa?
Modelo de R. Brinkerhoff
Recolher informação /questões críticas

Que tipo de informação deverá ser recolhida?

Que procedimentos utilizar na recolha de
informação?

Que quantidade de informação é preciso
recolher?

Que instrumentos serão seleccionados?

Como proceder para recolher informação ao
mais baixo custo?
Modelo de R. Brinkerhoff
Analisar informação /questões críticas

Como se pretende tratar os dados recolhidos?

Vale a pena tratar os dados recolhidos?

Como se pretende analisar a informação e
interpretar os resultados obtidos ?
Modelo de R. Brinkerhoff
Apresentar resultados /questões críticas

Quem deverá receber os resultados da avaliação?

Qual deverá ser a estrutura do relatório?

Como poderão ser apresentados os relatórios?

Como poderão ser ajudados os destinatários na
interpretação dos resultados?

Quando devem ser apresentados os relatórios?
Modelo de R. Brinkerhoff
Gerir o processo /questões críticas

Quem pode acompanhar o processo de avaliação?

A quem compete a responsabilidade pelo processo?

Quanto custa implementar o processo?

Como poderão ser sequenciadas e calendarizadas
as actividades avaliativas?

Que obstáculos poderão surgir no processo?
Modelo de R. Brinkerhoff
Meta-avaliação /questões críticas

Em que circunstâncias deverão ser implementados processos
meta-avaliativos?

A quem compete desenvolver o processo meta-avaliativo?

Que critérios deverão ser definidos?

Como poderá ser implementado um processo meta-avaliativo?

Que procedimentos podem ser associados ao processo?
Questões para orientar a Meta-avaliação
0’ Sullivan, Jones e Reid (1990)

A avaliação foi suficientemente abrangente?

Foram obtidos dados suficientes através de múltiplas fontes?

Podem ser tomadas decisões com base nas avaliações?

O desenho da avaliação teve qualidade técnica?

Os dados foram apresentados de forma clara e compreensível?

Os resultados foram válidos?

A avaliação foi realizada de modo adequado?

Os participantes foram implicados?
Modelos de avaliação
Abordagem PERTA

Preparar a intervenção avaliativa

Elaborar e testar instrumentos para recolha de dados

Realizar a estratégia de avaliação

Tratar e analisar os dados

Apresentar os resultados da avaliação
(ver guia de avaliação da formação que enviei em pdf , sobretudo a parte que diz
respeito ao desenvolvimento de uma estratégia avaliativa pag.83-111 )
Fase I - Preparar a intervenção avaliativa

Conhecer o contexto de partida da formação

Planear as intervenções avaliativas
Conhecer o contexto

Compreender as razões que deram origem à
formação

Analisar a proposta de formação

Sinalizar e compreender as características dos
destinatários da formação

Sinalizar as
acolhimento
características da organização
de
Planear as intervenções avaliativas

Quais os objectivos da avaliação pretendida?

Quais as questões avaliativas a efectuar?

Em que momentos deverão ser desenvolvidas as
intervenções avaliativas?

Quem são os actores da avaliação?

Qual o quadro de referência avaliativo ?

Que métodos de avaliação são os mais adequados?

Como serão apresentados os resultados?
Fase II - Elaborar e testar instrumentos para
recolher dados
Construir instrumentos para aplicar nas actividades de
avaliação



Que tipo de informação deverá ser recolhida?

Que procedimentos utilizar na recolha de informação?

Que quantidade de informação é preciso recolher?

Que instrumentos serão seleccionados?

Como proceder para recolher informação ao mais baixo custo?
Analisar os instrumentos de avaliação do ponto de vista da
validade e fidelidade
Fase III - Realizar a abordagem avaliativa

Realizar intervenções avaliativas antes da execução da
formação (avaliação ex-ante)

Realizar intervenções avaliativas durante a execução da
formação (avaliação on-going)

Realizar intervenções avaliativas após a execução da
formação (avaliação ex-post)
Realizar intervenções avaliativas antes
Avaliação ex-ante
Ter presente as várias perspectivas da avaliação diagnóstica


Os objectivos que norteiam a realização de uma avaliação diagnóstica

Reanalisar resultados de diagnósticos de necessidades já realizados

Decidir qual a abordagem mais adequada para o contexto em análise

Informar os vários actores dos objectivos da avaliação a realizar

Decidir a intervenção de avaliação diagnóstica
Preparar resultados para serem comparados com resultados intermédios e
finais da formação


Reanalisar os resultados da avaliação diagnóstica no decurso da formação

Reanalisar os resultados da avaliação diagnóstica no final da formação
Realizar intervenções avaliativas durante
Avaliação on-going
Preparar e realizar as avaliações de reacções (nível 1)


Ter presente o âmbito de uma avaliação de reacção

Verificar se são contempladas na avaliação as dimensões críticas da formação

Considerar a diversidade de técnicas disponíveis

Preparar os formandos para participarem na avaliação

Realizar as intervenções antes e no final
Preparar as avaliações de aprendizagens (nível 2)


Ter presente o âmbito de uma avaliação de aprendizagens

Verificar se são contempladas na avaliação os saberes e competências a desenvolver

Considerar a diversidade de técnicas disponíveis

Preparar os formandos para participarem na avaliação

Realizar as intervenções antes, durante e no final
Realizar intervenções avaliativas após
Avaliação ex-post
Preparar uma avaliação de 3º nível


Ter presente o âmbito de uma avaliação de 3º nível

Sinalizar os factores que podem inibir ou facilitar o processo de transferência

Mobilizar os actores para a realização de actividades que potenciam a transferência

Sinalizar as técnicas a aplicar numa avaliação de 3º nível

Reflectir sobre a importância da entrevista de “saída”
Realizar a intervenção (uma proposta possível)


Realizar uma entrevista de “chegada”

Elaborar um plano de acção

Disponibilizar ao ex-formando um instrumento para autoavaliação e acompanhamento
de progressos

Realizar uma reunião de acompanhemento/avaliação de progressos
Realizar intervenções avaliativas após
Avaliação ex-post
Generalizar as
organização

mais
valias
da
formação
no
contexto

Definir estratégias de acção

Mobilizar os actores a implicar na execução das estratégias pré-definidas
da
Avaliar impactes da formação na organização (nível 4)


Ter presente as razões fundamentais que conduziram à formação

Analisar os indicadores susceptíveis de sofrerem impacte na sequência da
formação

Sinalizar outras medidas que possam ter impactes nos mesmos indicadores

Estimar os benefícios da formação (valor acrescentado percepcionado pelos
vários actores directos ou indirectos da formação)
Realizar intervenções avaliativas após
Avaliação ex-post
Generalizar as
organização

mais
valias
da
formação
no
contexto

Definir estratégias de acção

Mobilizar os actores a implicar na execução das estratégias pré-definidas
da
Avaliar impactes da formação na organização (nível 4)


Ter presente as razões fundamentais que conduziram à formação

Analisar os indicadores susceptíveis de sofrerem impacte na sequência da
formação

Sinalizar outras medidas que possam ter impactes nos mesmos indicadores

Estimar os benefícios da formação (valor acrescentado percepcionado pelos
vários actores directos ou indirectos da formação)
Fase IV - Tratar e analisar os dados e produzir
relatórios de avaliação
Tratar os dados recolhidos






Decidir que tipo de dados tratar e como tratar
Validar os dados seleccionados
Codificar os dados seleccionados para respectivo tratamento
Verificar se a amostra de respondentes é representativa
Verificar se os métodos de recolha de dados foram adequados
Analisar os dados após respectivo tratamento





Verificar se as questões avaliativas pré-estabelecidas foram respondidas
Aferir sobre o tipo de análise mais adequada
Verificar se da análise efectuada resulta informação relevante para a tomada
de decisão
Verificar se a informação produzida é suficientemente credível
Fase IV - Tratar e analisar os dados e produzir
relatórios de avaliação
Produzir os conteúdos do relatório






Discutir com os actores a natureza e os conteúdos dos relatórios
Destacar as mensagens mais importantes do processo de avaliação
Apresentar vários cenários para propostas de melhoria de práticas
Utilizar uma linguagem acessível
Optar por uma estrutura adequada
Elaborar recomendações





Elaborar recomendações com base nas informações produzidas
Considerar os custos associados à concretização de cada recomendação
Considerar na elaboração das considerações a capacidade de decisão dos
actores para as pôr em prática
Sinalizar os resultados a alcançar com a concretização das recomendações
Fase IV - Tratar e analisar os dados e produzir
relatórios de avaliação
Produzir os conteúdos do relatório






Discutir com os actores a natureza e os conteúdos dos relatórios
Destacar as mensagens mais importantes do processo de avaliação
Apresentar vários cenários para propostas de melhoria de práticas
Utilizar uma linguagem acessível
Optar por uma estrutura adequada
Elaborar recomendações





Elaborar recomendações com base nas informações produzidas
Considerar os custos associados à concretização de cada recomendação
Considerar na elaboração das considerações a capacidade de decisão dos
actores para as pôr em prática
Sinalizar os resultados a alcançar com a concretização das recomendações
Fase V - Apresentar os resultados da
avaliação
Definir uma estratégia para apresentar os resultados da avaliação




Decidir a quem, como, quando, quem e onde devem ser apresentados os
resultados
Ter presente as várias possibilidades para apresentação dos resultados
Recolher informação sobre a satisfação relativa à forma como foram
apresentados os resultados
Elaborar planos de acção





Sinalizar previamente recomendações de melhoria a implementar
Sinalizar acções e os actores que vão implementar as medidas propostas
Identificar os resultados que se espera alcançar
Desenvolver o calendário mais adequado à produção dos resultados
Bibliografia
Consultar textos:
Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento
Figari (1996). Avaliar: que referencial? Porto: Porto Editora
Flor Cabrera, A. (2003). Evaluación de la formación.Madrid: Ed. Síntesis
Garcia (1999). Formação de Professores. Porto Editora (pp. 212-222)
IQF (2006). Guia para a avaliação da formação (pp. 78-110).
Rodrigues (2002). Avaliação da formação pelos participantes em entrevista
de investigação.Lisboa: FCG