MODELOS DE
AVALIAÇÃO
Momentos
Função
Procedência
A AVALIAÇÃO representa uma
potente ferramenta de gestão na
medida em que pode ser utilizada
no planejamento e formulação de
uma intervenção, no
acompanhamento de sua
implementação e conseqüentes
ajustes a serem adotados, e até nas
decisões sobre sua manutenção,
aperfeiçoamento, mudança de rumo
ou interrupção.
AVALIAÇÃO
Os autores Cohen e Franco
(2004:73) reforçam essa idéia e,
citando Ander-Egg (1984):
“se planejar é introduzir
organização e racionalidade na
ação para a consecução de
determinadas metas e
objetivos, a avaliação é um
modo de verificar essa
racionalidade, medindo o
cumprimento – ou perspectiva
de cumprimento – dos
objetivos e metas previamente
estabelecidos e a capacidade
para alcançá-los.”
AVALIAÇÃO não deve simplesmente distinguir intervenções exitosas ou
fracassadas. De acordo com Rua (2003:1) "muito mais importante e
proveitoso é apropriar-se da avaliação como um processo de apoio
a um aprendizado contínuo, de busca de melhores decisões
e de amadurecimento da gestão".
CICLO AVALIATIVO
MODELOS DE AVALIAÇÃO :
Ciclo Avaliativo
Avaliação
“on going”
Monitoramento das Ações
Avaliação Processo
Avaliação
MARCO ZERO
FORMATIVA
Avaliação
“ex post”
Avaliação
Resultado
EFEITO
Avaliação
Resultado
Avaliação
“ex-ante”
IMPACTPO
MARCO ZERO
É 1ª ação avaliatória, preliminar, “EX-ANTE”,
de contexto - (diagnóstico inicial – olhar
crítico e compartilhado que garantirá uma
visão comum sobre determinada realidade),
deve ocorrer antes de se desencadearem as
primeiras atividades do programa ou projeto.
Serve para determinar a pertinência,
viabilidade e eficácia potencial para a tomada
de decisão sobre a possibilidade de se
elaborar e pôr em movimento um programa,
projeto ou atividade.
Deve-se levar em conta a coerência entre as
soluções propostas e a realidade que se
pretende alterar.
Deve orientar o planejamento das ações
futuras e servir de parâmetro para as outras
fases da avaliação.
PERGUNTAS ORIENTADORAS :
Quais são os indicadores do local ( Natalidade,
Mortalidade, Escolaridade, Trabalho e Renda, etc)
onde se quer atuar?
Quais são os indicadores específicos ( Educação
– evasão ; Trabalho – falta de qualificação;
Renda – exclusão do consumo; Vulnerabilidade –
pobreza, DQ, drogas, etc; saúde – DSTs,
desnutrição, etc ?
Por quais problemas passam hoje?
Quem sofre com esses problemas ?
MARCO
ZERO
Onde vive as pessoas-alvo? ( comunidade,
território, região, município, etc )
Qual o quadro geral da situação?
ALIAÇÃO DE PROCESSO
OU FORMATIVA
Após o planejamento, na implementação da
ações - “DURANTE” “ON GOING”, compreende
além do MONITORAMENTO contínuo das
atividades, a reflexão frequente sobre as
dinâmicas interna e externa da equipe
responsável, isto é, as relações entre os
membros da equipe e sua interação com o
público-alvo;
Fornece informações acerca do andamento da
execução com o objetivo de estabelecer até
que ponto a proposta inicial está sendo
cumprida
Não se trata de controle operacional, permite
fazer um juízo sobre os pressupostos e decidir
sobre o enfrentamento das dificuldades e
barreiras encontradas, se os objetivos
operacionais devem ser reformulados ou
mantidos.
POSSIBILIDADES :
Avaliação de cobertura - até que ponto o público beneficiário está
sendo atingido (até que ponto conhece o projeto, se há barreiras
ou se o projeto é acessível, se é aceito pela população) e até que
ponto a área de atuação é coberta.
Avaliação da implementação - julga se os instrumentos planejados
para a implementação são necessários, suficientes, idôneos (no
sentido de ter capacidade de cumprir as metas estabelecidas),
potentes e eficazes.
Avaliação do ambiente organizacional - se a organização responsável
pelo projeto, em seus aspectos internos, favorece ou dificulta seu
andamento.
Avaliação do rendimento pessoal, onde importa considerar se os
indivíduos envolvidos na implementação possuem habilidades e
atitudes que favoreçam o desempenho das tarefas, se são
capazes de aplicar seus conhecimentos e de sistematizar a
própria experiência, assim como de organizar o trabalho e
solucionar problemas concretos.
PERGUNTAS ORIENTADORAS :
Como todos os participantes estão
percebendo o Programa / Projeto?
PROCESSO
Quais os pontos fortes e fracos das
atividades do cotidiano?
Como o processo de implementação
pode ser aperfeiçoado?
Qual a ordem da dificuldade? teórica,
metodológica, pessoal, recursos?
Programa
Inter Ação
Objetivo
PERGUNTA
AVALIATIVA
INDICADOR ( ES )
1ª Em que
medida o Projeto
está conseguindo
contribuir para o
desenvolvimento
físico adequado
das crianças e
adolescentes
atendidos ?
 Existência de estratégia adequada para
acompanhamento periódico da curva de
crescimento (peso e altura) ;
 Percentual de crianças e adolescentes na faixa
normal da curva de crescimento;
 Existência de estratégias adequadas para
atendimento especial face a problemas de
crescimento e/ou nutrição;
 Percentual com problemas de crescimento que
estão recebendo atendimento especializado.
Ampliar as
oportunidade
s de inclusão 2ª Em que medida
social de
o Projeto contribui
crianças e
para o
adolescentes
desenvolvimento
que vivem
cognitivo e de
em situação
habilidades e
de risco na
competências
cidade do RJ. necessárias para o
sucesso das
crianças na
escola e na vida ?
 Desenvolvimento do gosto pela leitura, pela
escrita e domínio da língua oral;
 Desenvolvimento de raciocínio lógico e
capacidade resolutiva para o cotidiano;
 Desenvolvimento de regras de conduta,
habilidades para trabalhar diferenças, ouvir o
outro , trabalhar em grupo e criatividade;
 Evolução das notas escolares, percentual de
aprovação, de matriculados na escola e de evasão
escolar.
AVALIAÇÃO SOMATIVA
EFEITO
Na fase intermediária, ou próxima do final
–“EX-POST”, está voltada para os
resultados, analisa os benefícios
proporcionados aos participantes (público
alvo, parceiros, equipe responsável, etc)
durante e após a implementação.
Requer indicadores definidos, isto é,
critérios norteadores
do sucesso do projeto.
É fundamental que todos que participaram,
direta ou indiretamente, sejam ouvidos
e que a metodologia utilize parâmetros
quantitativos e qualitativos de resultados.
AVALIAÇÃO DE IMPACTO
Segundo Marino (1998) “o efeito final ou
impacto de um projeto deve ser examinado
após tempo decorrido do período de
implementação das ações”.
Os indicadores de resultados devem ser
comparados àqueles iniciais, observados
no Marco Zero, pois para se avaliar um
projeto ou programa social, deve-se fazer um
esforço, desde o planejamento inicial das
atividades, para identificar e desenvolver
indicadores de resultados do projeto.
Segundo Valarelli (1999), “em projetos
sociais, indicadores são parâmetros
qualificados e/ou quantificados
que servem para detalhar em que medida
os objetivos de um projeto foram alcançados,
dentro de um prazo delimitado de tempo
e numa localidade específica”.
PERGUNTAS ORIENTADORAS :
Os resultados previamente
estabelecidos foram cumpridos?
RESULTADOS
Quais efeitos e possíveis impactos do
Programa / projeto tem sobre os envolvidos
e sobre a realidade social ?
Quais são os indicadores
de resultados qualitativos e quantitativos?
OBJETIVO
PERGUNTA
AVALIATIVA
EX:
Avaliar o
Resultado e
o Impacto do
Projeto X.
Quais os Efeitos e
Impactos do
Projeto X
implantado
em 10 comunidades
da Zona Norte da
Cidade
do RJ para atender
jovens evadidos do
ensino fundamental,
sem atividade
laboral e sem
qualificação
profissional durante
o período
1999/2002 ?
INDICADOR ( ES )
RESULTADO
 Conclusão do ensino
fundamental;
 Capacitação para o
mundo do trabalho;
 Empregabilidade;
 Elevação da renda
familiar;
 Acesso aos bens e à
rede de Serviços Locais;
 Ressignificação das
relações afetivofamiliares e comunitárias;
 Mudança de hábitos e
padrões de risco;
 Outras formas de
inclusão e conquistas
evidenciadas.
IMPACTO
 Elevação dos índices de
escolarização;
 Elevação dos níveis de
renda e maior atividade
econômica local;
 Redução dos índices de
mortes por causas
externas
( violentas );
 Redução dos índices de
incidência/reincidência de
jovens envolvidos em
conflitos com a lei;
 Participação
comunitária;
 Fortalecimento da rede
protetiva local;
 Implantação de
políticas/programas
intersetoriais voltados
para jovens;
 Implicações ecológicas;
 Educação ambiental.
PROCEDÊNCIA DOS AVALIADORES
EM FUNÇÃO DE QUEM REALIZA
AVALIAÇÃO
MARCO
ZERO
EX ANTE
PROCESSO
FORMATIVA
DURANTE
RESULTADOS
EFEITOS
SOLICITANTE
MOTIVO
ATORES
ENVOLVIDOS NA
REALIZAÇÃO
Própria
Equipe
Conhecer as necessidades do público alvo
e o contexto social onde o Projeto vai
atuar.
Interno – Staff
da própria Equipe
do Projeto
Aprofundar
conhecimento
sobre a
problemática
tratada pelo
Projeto.
Pessoa ou Equipe
do próprio
Projeto,
contando com
eventual ajuda de
um especialista.
Facilitar o
processo e
assegurar a
melhoria do
Projeto
Pessoa ou Equipe
do próprio Projeto,
contando com
eventual ajuda de
um especialista.
Dependendo da
complexidade, um
avaliador externo é
recomendado.
Facilitar a
definição de
indicadores de
resultados junto à
Equipe do pp
Projeto,
interessados e
público-alvo.
Própria
Equipe
Financiadores
Própria
Equipe
Financiadores
Descobrir o que funciona, o que não, e
melhorar o processo de implantação.
Avalia a influência das condições e
processos de trabalho, dos atores
envolvidos, dos dispositivos de
participação e decisão, dos processos
gerenciais, organizacionais e
institucionais na produção e execução
dos serviços/ações.
EX: Os recursos e as atividades estão
organizadas de forma a alcançar os
objetivos ? São suficientes qualiquantitativamente ?
Descobrir se as atividades desenvolvidas
ou o projeto como um todo realmente
provocou mudanças na vida do públicoalvo. EX: Grau e cobertura; eficácia dos
resultados; aceitabilidade ; acessibilidade
etc. Também, a relação entre recursos
empregados e efeitos obtidos .
Rendimento.
PAPEL DO
AVALIADOR
AVALIAÇÃO
SOLICITANTE
MOTIVO
IMPACTO
SOMATIVA
Própria
Equipe
Financiadores
Agências
Governamentais
Tomadores de
Decisão
( Gestão
Estratégica
e Tática )
Descobrir sucessos e /ou
insucessos do Projeto na
realidade em que
ele se propôs.
EX: Elevação de índices ,
níveis de renda e atividade
econômica local;
Redução dos índices / incidência;
Participação comunitária,
Fortalecimento da Rede protetiva
local; implantação de políticas,
programas intersetoriais;
implicações ecológicas; educação
ambiental; etc
Própria
Equipe
Financiadores
Agências
Governamentais
Tomadores de
Decisão
( Especialmente
os responsáveis por
políticas públicas )
Verificar os indicadores financeiros
relacionados ao benefício social do
Projeto
EX: Análise do custo-benefício
expressos em termos monetários e
Análise de custo-efetividade : custo
expresso em termos monetários e
efetividade em indicadores reais de
resultado.
CUSTO
BENEFÍCIO
SOCIAL
ATORES
ENVOLVIDOS NA
REALIZAÇÃO
Avaliador Externo
Equipe formada
para tal finalidade;
Avaliador
Externo
PAPEL DO
AVALIADOR
Julgar o mérito
dos efeitos do
Projeto
Fazer auditoria
dos dados
financeiros e
relacioná-los com
os resultados
sociais do Projeto.
AVALIAÇÃO
ELEMENTOS
Os Quatro
Elementos da Avaliação
Os Quatro Elementos
da Avaliação
Terra
Ar
Água
Fogo
Elemento:
AR
Atribuição de
Sentido
Natureza:
reflexiva e abstrata
Elemento:
AR
Atribuição de
Sentido : Finalidade e
Papel da Avaliação
“ POR QUE?”
Elemento:
TERRA
Investigação da
Realidade
Natureza :
científica, concreta e
ferramental
Elemento:
TERRA
Investigação da
Realidade : Métodos e
Instrumentos.
“ COMO ?”
Elemento:
TERRA
Investigação da
Realidade
(1) Perguntas Avaliativas;
(2) Indicadores;
(3) Fontes de Informação;
(4) Formas de Coleta;
(5) Coleta de Informações;
(6) Análise;
(7) Comunicação dos
Resultados.
Elemento:
ÁGUA
Ética
Natureza :
transparente, lubrificar,
cuidar para que estejam
“limpos”
Elemento:
ÁGUA
Ética : Condução
pautada
em Princípios Éticos.
“PARA QUE? “
“PARA QUEM?”
Elemento:
ÁGUA
Ética nos Processos
(a) Respeito aos envolvidos;
(b) Clareza das intenções;
(c) Justiça no registro das
informações - positivas/negativas;
(d) Transparência na Comunicação
(acesso aos resultados);
(e) Responsabilidade Fiscal.
Elemento:
FOGO
Capacidade
Avaliativa:
Natureza :
multiplicadora, combustível,
geradora de conhecimento
e práticas.
Elemento:
FOGO
Capacidade Avaliativa
(a) Busca de Identidade entre os
Interessados;
(b) Transferência de poder - autonomia
e emancipação;
(c) Motivação pela Aprendizagem;
(d) Desenvolvimento de Competências de Investigação e Gestão;
(e) Alocação de Recursos.
Elemento:
FOGO
Capacidade Avaliativa:
Dissiminação e Emancipação
“EMPOWERMENT”