Avaliação de Projectos
Noções Essenciais
Planificação, Gestão e Avaliação de Projectos
Objectivos

Geral
 Analisar as problemáticas da avaliação

Específicos
 Distinguir os sentidos da avaliação
 Caracterizar as modalidades de avaliação
 Conhecer alguns modelos de avaliação

Comportamental
 Construir
um plano de avaliação que possa apoiar o
desenvolvimento do projecto ou de acções educativas
Conteúdos

Avaliação de projectos

Algumas definições de avaliação

Introdução às modalidades de avaliação

Estudo de alguns modelos de avaliação

Construção de um plano de avaliação
Estratégias

Exposição participativa com recurso ao power-point e a
debates em torno do conceito, das modalidades e dos
modelos de avaliação

Desenvolvimento de ideias sobre os trabalhos-projecto

Supervisão dos trabalhos-projecto a realizar em grupo
Projecto

É projéctil “que se lança sobre, proeminente,
saliente, transbordante…”
Machado (1977). Dicionário Etimológico da Língua Portuguesa. Lisboa: Livros
Horizonte

“O que se pretende fazer = plano. (…)
Empreendimento que alguém se propõe levar a cabo
dentro de um determinado esquema e visando
objectivos bem definidos.”
Dicionário da Língua Portuguesa Contemporânea (2001). Academia das Ciências de
Lisboa e FCG (II Vol.). Editorial Verbo
Projecto



“(…) é um problema programado para ser resolvido” Juran (s.d)
“(…) é um trabalho a ser executado, com um objectivo final
bem definido” Duffy (2006)
“(…) escolar é sempre uma actividade (uma tarefa ou conjunto
de tarefas), seja ela realizada por alunos, por professores ou
por ambos”. “(…) procura responder a uma interrogação,
simples curiosidade ou expressão de um problema; (…) é
normal que para o desenvolver se forme um grupo.”
(Freitas,1997)

“(…) educativo traduz-se na formulação de prioridades de
desenvolvimento pedagógico, em planos anuais de actividades (…),
devendo ser avaliado” (Freitas, 1997…)
Conceito de avaliação

Existem entendimentos diferentes sobre o conceito de
avaliação

Os vários paradigmas que sustentam as abordagens
remetem os avaliadores para diferentes conceitos

A pluralidade de sentidos remete para diferentes
estratégias e propostas de intervenção
Sentidos atribuídos à avaliação

Avaliar é determinar
determinado projecto
a

Remete para os resultados

Donald Kirkpatrick (1959)
eficácia
de
um
Sentidos atribuídos à avaliação

Avaliar é averiguar os efeitos de determinado programa
em relação aos objectivos pré-estabelecidos, de forma a
apoiar a tomada de decisões que resultem na
introdução de melhorias

Remete para tomada de decisões relativas ao processo
formativo

Weiss (1972), Peter Rossi e Howard Freeman (1993)
Sentidos atribuídos à avaliação

Avaliar é uma recolha sistemática de informação sobre
um conjunto de dimensões de um projecto, sobre as
quais se emitem juízos de valor.

Remete para a recolha de informação - função
utilitária da avaliação

Posição defendida por Michael Patton (1978), R. Brinkerhoff
(1983), Barbier (1985)
Sentidos atribuídos à avaliação

Avaliar é uma acção sistemática que permite determinar
o valor, o mérito de determinada actividade ou processo
de intervenção

Remete para a apreciação com base em critérios

Posição defendida por Jack Phillips (1991) e Stufflebeam &
Shinkfield (1995)
Definição de avaliação

“A avaliação educativa é um processo sistemático de obter
informação objectiva e útil para apoiar o juízo de valor sobre a
planificação, desenvolvimento e os resultados da formação,
com o fim de servir de base à tomada de decisões pertinentes
e de promover o conhecimento e compreensão dos êxitos e
fracasso da formação” (Cabrera, 2003).
Definição de avaliação

Para Stufflebeam (citado por Garcia, 1999) a avaliação
“é o processo de conceber, obter e utilizar
informação que descreva e julgue o valor, o mérito
dos objectivos, concepção, implementação e
impacto de um determinado programa, para
promover o seu aperfeiçoamento, servir a
necessidade
de
controlo
e
aumentar
o
conhecimento”
Duas lógicas avaliativas

Scriven (1967) distingue entre a função formativa e a
sumativa:

A primeira tem como propósito o aperfeiçoamento de uma
actividade ou programa em funcionamento


O feedback é integrado no processo formativo
A segunda pretende fazer um balanço depois de várias
sequências de um ciclo de formação

O feedback é terminal relativamente aos resultados alcançados

Estes são julgados com base nos critérios estabelecidos
Modalidades de avaliação
Avaliação diagnóstica


Avaliação formativa

Avaliação sumativa

Avaliação do impacto
Avaliação diagnóstica

É feita normalmente no início da formação

Tem por objectivos:

Orientar os formandos e formadores

Verificar os pré-requisitos
conhecimentos dos formandos

Traçar um perfil de entrada dos formandos
e
o
nível
de
Avaliação formativa

É feita ao longo da formação

Tem por objectivos:

Fazer com que o formando identifique as suas
dificuldades

Regular a aprendizagem e a acção do formador

Permitir avaliar o grau de envolvimento e interesse
dos formandos
Avaliação sumativa

É feita no final da formação

Tem por objectivos:

Verificar o que foi aprendido

Apurar a qualidade da relação pedagógica

Avaliar o resultado final da formação

Certificar
Avaliação de impacto

É feita no local de trabalho

Tem por objectivo:


Apurar a influência da aprendizagem na valorização
humana e técnico-profissional dos formandos e na
organização
Procura responder às seguintes perguntas


Os formandos mudaram o seu comportamento?
E a organização também mudou?
Componentes da avaliação

Segundo Figari (1996), a avaliação, com vista à emissão de
juízos, põe em confronto duas ordens de dados: o referido e o
referente.
-transformação de representações factuais em normalizadas…

Referido
 O que é constatável ou apreensível através do referente

É o conjunto de elementos
representativos do objecto
observáveis

O que serve para ajuizar sobre um desempenho
considerados
Componentes da avaliação
Referente

Diz respeito aos critérios que orientam a leitura do objecto a
avaliar

É um modelo que estipula o desejado, o esperado, o ideal

Desempenha um papel instrumental na produção de um juízo
de valor
Características dos critérios de avaliação

Critério é uma formulação que serve para discriminar, para
distinguir os êxitos dos fracassos, ou para emitir um juízo de valor
de forma a medir a qualidade de uma avaliação.

abstracção (a evidência, a clareza, a rapidez..)

discriminação

Relativamente à clareza convém saber como discriminar uma frase clara
de uma pouco clara ou uma frase mais clara do que outra
Características dos critérios de avaliação

operacionalização através de indicadores

Um indicador é uma característica quantitativa ou
qualitativa que dá informação sobre o estado e as
mudanças de grandeza de um dado objecto

Exemplo - 95% dos alunos sabem diferenciar de um
conjunto de frases as mais claras
Avaliação de Projectos
Critérios

Os critérios estabelecidos pelo Joint Committee on
Standards for Educatinal Evaluation, que visam a
orientação, o controlo e regulação do processo
avaliativo, agrupam-se em 4 grandes eixos:

O rigor

A utilidade

A exequibilidade

A justiça
Avaliação de Projectos
O Rigor

Inclui alguns aspectos, como sejam:

Análise do contexto da formação

Descrição dos objectivos e dos processos de avaliação

Fontes de informação defensáveis (quantitativa e
qualitativa)

Informação válida, fiável e sistemática

Conclusões justificadas

Relatório imparcial
Avaliação de Projectos
A Utilidade

Reporta-se essencialmente à(ao):

Identificação das audiências e respectivas necessidades

Credibilidade do avaliador

Selecção e abrangência da informação

Identificação e clarificação dos juízos de valor

Conclusão atempada, clareza e difusão do relatório

Impacto da avaliação
Avaliação de Projectos
A Exequibilidade

Como a avaliação decorre em contextos reais, exige conduzi-la
com:

Procedimentos práticos (não perturbadores e facilitadores de
cooperação)

Validade política (requer imparcialidade na representação de todas as
perspectivas e grupos de interesse)

Custo-eficácia (de modo que os benefícios justifiquem os recursos
dispendidos)
Avaliação de Projectos
A Justiça

A avaliação deve:

Ser orientada legalmente e eticamente com base num acordo
formal que considere e ausculte todos os interessados

Considerar os direitos e o bem estar das pessoas envolvidas
(respeito pela dignidade humana, auto-estima e pelos
sentimentos)

Ser completa, apresentando os pontos fortes e fracos
Critérios e indicadores de avaliação
de um programa de formação
Critérios
Indicadores
Pertinência
Relação com o projecto da organização; Análise
prévia de necessidades; Precisão na definição do
perfil dos destinatários; Resultados que se
esperam alcançar
Coerência
Relação com o sistema de promoção e
desenvolvimento pessoal; Compatibilidade com o
funcionamento
da
organização,
dos
departamentos...
Consistência interna
Congruência entre os objectivos do plano e
outros componentes da formação; Seleccão de
modalidades
de
formação
variadas
e
inovadoras...
Adequada cobertura
Adequação às necessidades de formação de
todos os participantes; Variabilidade de
actividades formativas
Critérios e indicadores de avaliação
de um programa de formação
Critérios
Indicadores
Aceitação
Implicação dos actores na planificação;
Realização de negociações e de compromissos
pertinentes; Adequação dos canais de
informação
Legalidade
Respeito pelas disposições legislativas e
regulamentares do sistema de formação;
Consistência entre os regulamentos da formação
e da organização
Eficiência
Pertinência dos meios utilizados com os
objectivos; Coerência entre os meios aplicados
na formação e os meios da organização;
Adequação dos meios às necessidades
formativas
Processo de revisão
Actualização do processo formativo; Introdução
de
actividades
inovadoras;
Apoio
e
acompanhamento sistemático
Construção do referencial de avaliação
(Figari, 1996)
Operação de avaliação = elucidação do pedido


Qual a origem?

Qual é o contexto e as finalidades da avaliação?
Objecto a avaliar


O quê avaliar?

Que dimensões do objecto vão ser avaliadas?
Referentes/Critérios


Que aspectos representativos do objecto a avaliar vão ser escolhidos para
proceder ao julgamento?
Construção do referencial/dispositivo de
avaliação (Figari, 1996)
Indicadores


Que índices, que características observáveis são escolhidas para verificar o
grau de alcance do critério?
Momentos e fontes de informação


Quando recolher os dados ?

Que instrumento(s) construir ?
Interpretação dos resultados


Que cruzamento de dados efectuar?

Que significados atribuir aos resultados?
Divulgar os resultados


Que dizer aos diferentes actores da avaliação?Como?

Como explorar os dados?
Dificuldades na implementação de
dispositivos de avaliação


Complexidade de alguns modelos
Fraca apropriação da teoria avaliativa - “avaliar para
aprender a avaliar”

A problemática da subjectividade

Implementação de intervenções avaliações após o
desenvolvimento das acções

Fraco envolvimento dos vários actores

Uso indevido e inconsistência dos dados recolhidos

Fraca sustentabilidade dos processos de avaliação
Olhar sobre as práticas de avaliação

Definição de um quadro conceptual no domínio da avaliação clarificação de estratégias de intervenção

Maior investimento na fase de caracterização do contexto de partida,
no momento “antes” do projecto

Construção/adaptação de instrumentos
determinados aspectos de um projecto

Envolvimento dos vários actores na construção e implementação
das estratégias de avaliação (antes, durante e após)
que
visem
avaliar
Avaliação de Projetos Formativos
O que tem sido?

Tem-se limitado a analisar:
- algumas variáveis de entrada (características dos formandos e
formadores)
- alguns efeitos nos formandos ao finalizar o programa a partir de
respostas a questionários

É preciso juntar outras investigações directas e sistemáticas para indagar
os verdadeiros efeitos da formação

Sabemos muito pouco o que acontece nos contextos de trabalho
Dimensões da avaliação da formação
Barbier (1990)
Objecto
Meios
Perfil de partida:
Conjunto de
indivíduos no meios, materiais
estado Y do
utilizados no
desenvolviment
quadro da
o da sua
acção de
personalidade
transformação
no momento
pessoal
que começa a
(Proposta
acção de
formativa)
transformação
Relações
Resultados
Distribuição
específica dos
papéis e
funções
mantidos pelos
diferentes
actores
implicados
(Proposta
pedagógica)
Perfil de
chegada:
indivíduos no
estado y+1 do
desenvolviment
o da sua
personalidade
no momento em
que acaba essa
acção
Níveis de avaliação da formação
Ryan e Crowell (1982)
Níveis de avaliação
Exemplos
Percepções dos professores
Relatórios do professor sobre o que
aprendeu
Conhecimento do professor
Aquisição de conhecimento necessário
para aplicar uma nova competência
Conduta do professor
Capacidade do professor para aplicar uma
estratégia, exigindo observação...
Conduta dos alunos
Capacidade do professor para mudar o
comportamento dos alunos, para os
motivar
Rendimento dos alunos
Aquisição de conhecimentos,
competências ou valores através da
utilização de estratégias
Níveis de avaliação da formação
Ryan e Crowell (1982)
Níveis de avaliação
Exemplos
Percepções dos professores
Relatórios do professor sobre o que
aprendeu
Conhecimento do professor
Aquisição de conhecimento necessário
para aplicar uma nova competência
Conduta do professor
Capacidade do professor para aplicar
uma estratégia, exigindo observação...
Conduta dos alunos
Capacidade do professor para mudar o
comportamento dos alunos, para os
motivar
Rendimento dos alunos
Aquisição de conhecimentos,
competências ou valores através da
utilização de estratégias
Que informação recolher
em cada nível de avaliação ?
Mudanças
/Métodos
Conhecim
ento
Pre e Pos
teste
x
Questionár Observaçã
io
o
x
Opiniões/
sentiment
os
x
Conduta
dos
alunos
x
x
x
Análise
Document
al
Outros
métodos
x
x
x
x
Competên
cias
Rendimen
to alunos
Entrevista
x
x
x
x
x
x
x
x
x
x
Bibliografia
Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento
Figari (1996). Avaliar: que referencial? Porto: Porto Editora
Flor Cabrera, A. (2003). Evaluación de la formación.Madrid: Ed. Síntesis
Freitas, C. V. (1997). Gestão e avaliação de projectos nas escolas. Lisboa: Instituto de
Inovação Educacional
Garcia (1999). Formação de Professores. Porto Editora (pp. 212-222)
IQF (2006). Guia para a avaliação da formação. Lisboa: IQF
Kirkpatrick, D. & Kirkpatrick, J. (2005). Evaluating training programs - The four levels.
San Francisco: Berrett-Koehler Publishers
Rodrigues P. (2002). Avaliação da formação pelos participantes em entrevista de
investigação.Lisboa: FCG