AVALIAÇÃO DE
PROGRAMAS E
PROJETOS SOCIAIS
Elisabete Queiroga ( [email protected])
AVALIAÇÃO
Quando se pensa em Avaliação, para onde vai o
seu pensamento ??
Imposta como tarefa,
Qual a imagem que possui sobre esse tema?
e não como ferramenta
Toma tempo e é tediosa
Controle
Gera temor de que os resultados
pouco satisfatórios tragam
consequências negativas,
perda do trabalho,
recursos, credibilidade, etc
Seus resultados poucas vezes
são incorporados no
planejamento e na tomada de
decisões da organização;
É complexa e onerosa financeiramente e deve
Em temos de resultados
ser feita por especialistas externos
Toma tempo do “trabalho real”
representando um luxo
quantidade é mais importante
Que qualidade
Se não é “estatisticamente mensurável”
não é passível de avaliação.
O s resultados importantes
não os quantificáveis,
logo a avaliação não se aplica
AVALIAÇÃO
Quando se pensa em Avaliação, para onde vai o
seu pensamento ??
Valioso instrumento
Qual a imagem que possui sobre esse tema?
no alcance da Missão
Viabiliza uma relação
cooperativa durante o
processo. É trabalho de todos.
Possibilita avaliar tanto a
eficácia interna como os
resultados externos.
Gera aprendizagem
organizacional – caminho
Que determina o
desenvolvimento
e as mudanças de
direção, facilitando
a busca da eficiência e
eficácia e da efetividade.
Aprendizagem
Não é um evento, mas um processo,
não é externa, é uma ação
contínua e integrada às
atividades do cotidiano.
É um processo de
Desenvolvimento e não
Simples elaboração de
Relatórios.
Não gera “medo”de
“correr riscos”.
Relaciona os financiadores, parceiros, executores
e beneficiários, no sentido de se procurar estratégias e
caminhos para solucionar problemas, aprender e preparar
novas possibilidades de ação.
AVALIAÇÃO
Quando se pensa em Avaliação, para onde vai o
seu pensamento ??
Qual a imagem que possui sobre esse tema?
O que e como podemos
fazer melhor?
Gera responsabilidades
Compartilhadas.
Aprendizagem
Possibilita transparência
Fortalece e capacita para
tomada de decisão
Os instrumentos
e as metodologias
são acessíveis para
qualquer tamanho
e tipo de organização,
programa ou projeto.
Podem ser simples,
não onerosos e
adaptáveis
a diferentes realidades
e necessidades.
Clareza do esforço para ampliar a
interação e aprimoramento
geram resultados positivos
para todos os envolvidos
Possibilita feedback
O tempo e os recursos são empregados para
assegurar um ambiente de contínua transformação
AVALIAÇÃO
A Avaliação é um tema extenso com diferentes abordagens,
principalmente quando vinculada ao campo social.
Tem sua missão definida pelo compromisso de enriquecer
e realimentar ações buscando aferir resultados e
impactos na alteração da qualidade de vida
da população beneficiária.
Para que a Avaliação se torne um instrumento efetivo
de uma Gestão Social comprometida com a cidadania,
é necessário dissipar a visão tradicional de concebê-la
na ótica do Controle, como medida somente de
verificação de desvio entre o esperado e o realizado,
uma fiscalização exercida sobre pessoas ou órgãos
responsáveis pela execução de um programa ou projeto
para cumprir normas estabelecidas.
AVALIAÇÃO
A perspectiva contemporânea exige que a Avaliação seja (re)
conceituada para além de uma dimensão apenas técnica, para
incorporar uma dimensão política, tomada em função de
interesses públicos.
O paradigma atual da Avaliação referencia
sua importância pela possibilidade de:
•
•
•
•
•
•
•
“Accountability”, ou seja, capacidade de prestação de
contas, responsabilização social como dever ético;
Dar transparência às ações e democratizar as relações
entre organizações, políticas, programas, projetos e
população;
Ser estratégica para acompanhar e realimentar
decisões e opções políticas e programáticas;
Potencializar aprendizagem e qualificação;
Qualificar e aperfeiçoar o desempenho;
Auxiliar tomada de decisões;
Ser imprescindível para captação de recursos e
possibilitar sustentabilidade.
AVALIAÇÃO
A Avaliação deve ser instigadora, realimentando o avanço
no plano da Missão Institucional, no plano dos Processos
e Estratégias utilizadas, no plano dos Serviços e
Produtos ofertados e no plano dos Resultados e
Impactos desejados .
( Brant Carvalho, 1997)
A Avaliação enquanto processo social é caracterizada por
sua transdisciplinaridade, ou multidisciplinaridade,
recaindo sua utilização em vários campos da ação
humana. ( Barreira, 2002)
AVALIAÇÃO
“A aprendizagem no contexto organizacional ou em outros
sistemas sociais só é possível através de um processo
contínuo de ação e reflexão.
A reflexão ocupa um papel fundamental:
provocar mudanças nas ações dos indivíduos.
Este é especificamente o papel da avaliação:
construir momentos reflexivos que permitam aos indivíduos
a análise da realidade e dos fatos, para daí direcionarem
suas ações, aprendendo pela experiência”.
(Chianca, Marino e Schiesari 2001):“
AVALIAÇÃO
Chianca (2001), o ponto de partida para o entendimento da
Avaliação está em sua capacidade de se referenciar como
base para processos de aprendizagem.
“A coleta sistemática de informações sobre as ações,
as características e os resultados de uma Política, um
Programa e a identificação, esclarecimento e aplicação
de critérios, passíveis de serem defendidos publicamente,
para determinar o valor (mérito e relevância), a qualidade,
utilidade, efetividade ou importância do programa
sendo avaliado em relação aos critérios estabelecidos,
gerando recomendações para melhorias e as informações
para prestar contas aos públicos interno e externo
do trabalho desenvolvido”.
AVALIAÇÃO
Para Silva e Brandão (2003), pode-se entender avaliação
como a elaboração, negociação e aplicação de critérios
explícitos de análise, em um exercício metodológico
cuidadoso e preciso, com vistas a conhecer, medir,
determinar ou julgar o contexto, mérito, valor ou estado
de um determinado objeto, a fim de estimular e facilitar
processos de aprendizagem e de desenvolvimento
de pessoas e organizações.
A idéia central é que os processos avaliativos ajudem os
envolvidos a encontrar seus próprios caminhos de
aprendizagem e desenvolvimento, e que ampliem o nível de
consciência dos empreendedores sociais.
Para cumprir estes objetivos, o papel da avaliação precisa
transcender a fiscalização ou controle, abrangendo
uma intensa reflexão que deve ser feita com todos os
envolvidos no processo.
OBJETIVOS DA AVALIAÇÃO
OBJETIVOS GERAL :
Conhecer, através de comprovação objetiva e sistemática,
a execução / andamento de uma política, programa, projeto,
Verificando se os objetivos e metas estão sendo alcançados
e se a problemática está sendo modificada.
OBJETIVOS ESPECÍFICOS:
►
►
►
►
Estabelecer o grau de pertinência, idoneidade / eficácia
e eficiência / rendimento de um programa, projeto ou
serviço;
Determinar as razões dos êxitos e fracassos;
Facilitar o processo de tomada de decisões para
melhorar e/ou modificar o programa ou projeto;
Analisar outros objetivos que podem ser alcançados.
OBJETIVOS DA AVALIAÇÃO
CIENTÍFICOS : ampliar conhecimentos e produzir
novos conhecimentos;
POLÍTICOS :
identificar dimensões estratégicas
para ação política;
OPERATIVOS : conhecer para intervir nas políticas
e/ou programas e projetos
semelhantes.
Essa concepção contém os seguintes componentes interligados :
•
Coleta sistemática de informações relevantes;
•
Garantia do uso dos resultados da avaliação por meio
de geração de recomendações para aperfeiçoamento e
informações para prestar contas às pessoas e instituições;
•
Determinação e aplicação de parâmetros para
dimensionar valor, qualidade, utilidade, efetividade e
importância;
EFICIÊNCIA – é o resultado da comparação
entre as realizações e os resultados com os recursos utilizados
para atingi-los.
Estabelece a correlação entre os efeitos dos programas
(benefícios) e os esforços (custos) empreendidos para
obtê-los. Relaciona os custos e recursos empregados
buscando aferir a otimização ou desperdício dos insumos
utilizados na obtenção dos resultados;
EFICÁCIA – é o resultado obtido da comparação
entre as realizações e os resultados reais com os objetivos
que foram estabelecidos.
Busca adequação da ação para alcance dos objetivos (gerais e
específicos) e das metas previstas no planejamento,
estabelecendo as razões de êxitos e/ou fracassos.
(Eficácia Funcional, Administrativa e Contábil);
EFETIVIDADE – é a realização da ação adequada para
transformar a situação existente e deve estabelece o
impacto da ação na população alvo. A efetividade objetiva é
o critério de aferição da mudança quantitativa entre o antes
e o depois da execução do programa / projeto.
SUBJETIVA – é o critério da avaliação das mudanças
comportamentais nas crenças e valores da população alvo.
SUBSTANTIVA – é o critério da avaliação das mudanças
qualitativas significativas e duradouras nas condições
sociais de vida dos beneficiários .
FUNÇÃO DA AVALIAÇÃO
A AVALIAÇÃO é um instrumento estratégico
de Gestão pois os gestores precisam estar providos
de informações estratégicas para que sejam tomadas decisões de
forma esclarecida e inteligente.
A Função principal da Avaliação está em
gerar informações relevantes que ajudem
à tomada de decisões para melhorar os programas /projetos
existentes e para orientar o desenvolvimento de futuros
programas e projetos.
Que programas /projetos estão funcionando
com êxito ?
Buscar respostas
para essas
perguntas é a
principal
FUNÇÃO DA
AVALIAÇÃO
Quais os custos e quais os benefícios que
cada programa/projeto traz para o público
que atende ?
Há momentos etapas do programa/projeto
que contribuem mais do que outras?
Que alterações precisam ser feitas para
melhorar o programa/projeto?
PRINCÍPIOS DA AVALIAÇÃO
Os princípios orientadores, dentro de uma referência técnica
e ética, estão compromissados com a garantia de que os
resultados provenientes da Avaliação sejam da maior
qualidade possível.
Existem um conjunto de princípios que foram desenvolvidos
por um comitê de 16 associações profissionais, publicados
em 1981 e revisados em 1994 que foram aceitos por
importantes organizações internacionais.
Segundo o Joint Committee, a qualidade de um processo
avaliativo pode ser aferida através da observação
de quatro atributos : UTILIDADE, VIABILIDADE,
PROPRIEDADE E PRECISÃO.
PRINCÍPIOS DA AVALIAÇÃO
1º UTILIDADE – servem para assegurar que a avaliação estará
voltada para responder às necessidades de informação das
pessoas
e
instituições
interessadas
ou
afetadas
pelo
programa/projeto. São 7 (sete):

Identificação dos Interessados ( envolvimento);

Credibilidade do Avaliador;

Seleção de Informações ( relevantes e amplas);

Identificação de valores (critérios explícitos);

Clareza dos relatórios;

Disseminação e rapidez na produção de
relatórios;

Impacto da Avaliação.
2º VIABILIDADE – visam assegurar que a avaliação será feita
de maneira realista, prudente, diplomática e moderada.
 Procedimentos Práticos – interferência mínima nas atividades ;
 Viabilidade Política – análise de possíveis conflitos e formas de
intervenção;
 Custo-Efetividade – produzir informações relevantes de modo a
justificar os custos.
3º PROPRIEDADE - visam assegurar que a avaliação seja
conduzida dentro de normas legais e éticas.
 Orientação para o serviço – para ajudar os organizações a atender
e responder eficazmente às necessidades ;
 Acordos formais - o que, como, quem, quando fazer a atividade de
avaliação, com registro formal;
 Direitos Individuais – respeito e zelo pelos envolvidos;
 Relações Humanas – respeito à dignidade e valor das pessoas;
 Completa e Justa- no registro dos pontos positivos e limitações
com valorização dos sucessos e correção das falhas;

 Disseminação
dos Resultados – acesso aos resultados em sua
totalidade por todos os interessados;
 Conflitos de Interesse - tratamento aberto e honesto para não
comprometer o processo;
 Responsabilidade Fiscal – alocação de desembolso dos recursos
de forma adequada, prudente e eticamente responsáveltransparência.
4º
PRECISÃO -
visam assegurar que a avaliação irá revelar e
produzir informações tecnicamente adequadas sobre o mérito e relevância
do programa/projeto avaliado.
 Documentação do programa / projeto – clareza e precisão para identificação
fácil ;
 Análise do Contexto – descrita com detalhamento;
 Descrição de propósitos e procedimentos – monitoramento para fácil exame;
 Fontes de informação confiáveis - descritas em detalhes;
 Informações válidas – para assegurar interpretação válida e útil;
 Informações confiáveis ;
 Informação sistemática – revisão sistemática e correção dos erros;
 Análise de informação quantitativas – apropriadas para responder às
perguntas formuladas;
 Análise de informação
qualitativas - apropriadas para responder às
perguntas formuladas;
 Conclusões justificáveis - para que possam ser analisadas pelos principais
interessados / afetados;
 Imparcialidade de relatórios – incluir métodos que previnam distorções por
opiniões e vieses pessoais;
 Meta Avaliação - o desenvolvimento e possível impacto da avaliação para
o programa/projeto deverão ser avaliados utilizando os princípios descritos, a
fim de garantir que o processo seja desenvolvido de forma adequada.
TIPOS DE AVALIAÇÃO
MARCO ZERO
 É 1ª ação avaliatória, preliminar, “ex-ante”, de contexto (diagnóstico inicial – olhar crítico e compartilhado
que garantirá uma visão comum sobre determinada
realidade),deve ocorrer antes de se desencadearem as
primeiras atividades do projeto.
 Serve para determinar a pertinência, viabilidade e eficácia
potencial para a tomada de decisão sobre a possibilidade de
se elaborar e pôr em movimento um programa, projeto ou
atividade. Deve-se levar em conta a coerência entre as
soluções propostas e a realidade que se pretende alterar;
 Deve orientar o planejamento das ações futuras e servir de
parâmetro para as outras fases da avaliação;
AVALIAÇÃO DE PROCESSO
OU FORMATIVA
•
Após o planejamento, na implementação da ações “durante”, compreende além do MONITORAMENTO
contínuo das atividades, a reflexão frequente sobre as
dinâmicas interna e externa da equipe responsável, isto é,
as relações entre os membros da equipe e sua interação
com o público-alvo;
•
Fornece informações acerca do andamento da
execução com o objetivo de estabelecer até que ponto
a proposta inicial está sendo cumprida;
•
Não se trata de controle operacional, permite fazer um
juízo sobre os pressupostos e decidir sobre o
enfrentamento das dificuldades e barreiras encontradas,
se os objetivos operacionais devem ser reformulados ou
mantidos.
AVALIAÇÃO DE PROCESSO OU FORMATIVA
POSSIBILIDADES :
Avaliação de cobertura - até que ponto o público beneficiário
está sendo atingido (até que ponto conhece o projeto, se há
barreiras ou se o projeto é acessível, se é aceito pela
população) e até que ponto a área de atuação é coberta.
Avaliação da implementação - julga se os instrumentos
planejados para a implementação são necessários,
suficientes, idôneos (no sentido de ter capacidade de
cumprir as metas estabelecidas), potentes e eficazes.
Avaliação do ambiente organizacional - se a organização
responsável pelo projeto, em seus aspectos internos,
favorece ou dificulta seu andamento.
Avaliação do rendimento pessoal, onde importa considerar se
os indivíduos envolvidos na implementação possuem
habilidades e atitudes que favoreçam o desempenho das
tarefas, se são capazes de aplicar seus conhecimentos e de
sistematizar a própria experiência, assim como de organizar
o trabalho e solucionar problemas concretos.
AVALIAÇÃO DE RESULTADO OU SOMATIVA
AVALIAÇÃO DE EFEITO
 Na fase intermediária, ou próxima do final –
“ex-post” , está voltada para os resultados, analisa os
benefícios proporcionados aos participantes (público alvo,
parceiros, equipe responsável, etc) durante e após a
implementação.
 Requer indicadores definidos, isto é, critérios norteadores
do sucesso do projeto.
• É fundamental que todos que participaram, direta ou
indiretamente, sejam ouvidos e que a metodologia utilize
parâmetros quantitativos e qualitativos de resultados.
AVALIAÇÃO DE RESULTADO OU SOMATIVA
AVALIAÇÃO DE IMPACTO
Segundo Marino (1998) a chamada Avaliação de Impacto se
configura como “o efeito final ou impacto de um projeto deve
ser examinado após tempo decorrido do período de
implementação das ações”(Marino,1998:23).
Os indicadores de resultados devem ser comparados àqueles
iniciais, observados no Marco Zero, pois para se avaliar um
projeto ou programa social, deve-se fazer um esforço, desde o
planejamento inicial das atividades, para identificar e
desenvolver indicadores de resultados do projeto.
Segundo Valarelli (1999), “em projetos sociais, indicadores
são parâmetros qualificados e/ou quantificados que servem
para detalhar em que medida os objetivos de um projeto foram
alcançados, dentro de um prazo delimitado de tempo e numa
localidade específica”.
ABORDAGENS
1. VOLTADA PARA OBJETIVOS – visa julgar em que medida os
objetivos e metas determinados foram alcançados.
O objeto da avaliação é variável (atividade, reunião de equipe
ou complexa, plano estratégico).
As informações geradas devem servir para reformular os
objetivos da atividade enfocada, a atividade em si ou ainda os
instrumentos e métodos utilizados para determinar o quanto
os objetivos estabelecidos foram atingidos.
2. ORIENTADA PARA A TOMADA DE DECISÕES - voltada para a
identificação das necessidades de informação de gestores
/gerentes que tomam as decisões relativas aos programas
projetos ou à organização. O principal modelo é o CIPP –
Contexto, Input (recursos), Processo e Produto.
CIPP

Contexto – determinação dos problemas existentes
que precisam ser resolvidos a fim de orientar os objetivos e
prioridades dos programas/projetos;

Input – determinação dos recursos disponíveis e do
plano mais adequado para conduzir a intervenção,
contribuindo para o desenho das estratégias do
programa/projeto;

Processo – determinação do grau de sucesso da
implementação das ações e identificação dos principais
obstáculos ao desenvolvimento do programa/projeto para
possibilitar o aperfeiçoamento do trabalho;

Produto – identificação dos resultados alcançados e
definição sobre o futuro do programa/projeto. Possibilitando
o julgamento sobre os avanços produzidos .
ABORDAGENS
3.
VOLADA DA PARA CONSUMIDORES - visa produzir
informações úteis sobre “produtos existentes” que ajudem a
potenciais “consumidores” no momento de escolher qual
produto atende melhor suas necessidades.
Para as organizações do 3º Setor, workshops, treinamentos
em serviço, cursos de capacitação, programas de
computador, procedimentos / formulários para avaliação
pessoal, materiais educativos na mídia e serviços de
consultoria especializados são exemplos de produtos,
atividades/serviços que podem ser consumidos por essas
organizações.
Tem por pano de fundo a pergunta : O que é essencial saber
sobre um produto para poder decidir sobre sua adoção?
4.
BASEADA EM OPINIÕES DE ESPECIALISTAS – tem por
base a aplicação de conhecimentos técnico-profissionais
por especialistas no julgamento da qualidade de um
projeto, programa, serviço, produto ou atividade.
5. BASEADA EM OPINIÕES CONTRÁRIAS - possui
estratégias previamente planejadas que possibilitam o
desenvolvimento de pontos de vista opostos por
diferentes avaliadores sobre o objetivo avaliado e sobre o
processo avaliativo no geral.
Estabelece evidências e visões positivas assim como
revela pontos de vista opostos, apontando as deficiências
encontradas no objeto avaliado ou no processo avaliativo.
6.
BASEADA NA PARTICIPAÇÃO - envolve ativamente
as pessoas que são interessadas ou afetadas
diretamente
pelo programa/projeto avaliado.
 Influenciam no foco da avaliação, no tipo de dados a
serem coletados e dos critérios e valores a serem
utilizados na formação de juízo de valor sobre o objeto
avaliado.
 Procura ser mais holística do que as mais clássicas,
reconhecendo
a
importância
e
incluindo
a
complexidade do contexto e das pessoas no
planejamento e execução de processos avaliativos.
 Busca desenvolver comunicação com os diferentes
públicos interessados pelo resultado da avaliação,
usando linguagem adequada , métodos qualitativos .
PLANEJANDO A AVALIAÇÃO
1.
1.
Decisão sobre o Foco
VIABILIDADE, FOCO E TIPO DE AVALIAÇÃO
•
Por que iniciar um processo de avaliação?
•
Quem vai usar as informações resultantes da avaliação?
•
O que você está interessado em avaliar o processo, os
resultados, os impactos ?
• Como as conclusões serão utilizadas?
• Qual será o papel dos envolvidos ?
• Existem recursos para a avaliação?
• Como será o cronograma ?
• Será necessário um avaliador externo ?
• O que deseja que seja incluso no relatório final?
PLANEJANDO A AVALIAÇÃO
TIPO DE AVALIAÇÃO
PERGUNTAS ORIENTADORAS :
Quais são os indicadores do local ( natalidade,
mortalidade, escolaridade, trabalho e renda, etc)
onde se quer atuar?
MARCO
ZERO
Quais são os indicadores específicos( Educação
– evasão ; trabalho – falta de qualificação;
Renda – exclusão do consumo; Vulnerabilidade –
Pobreza, DQ, drogas, etc; saúde – DSTs, desnutrição, etc ?
Por quais problemas passam hoje?
Quem sofre com esses problemas ?
Onde vive as pessoas-alvo? ( comunidade, territóRio, região, município, etc )
Qual o quadro geral da situação?
PLANEJANDO A AVALIAÇÃO
TIPO DE AVALIAÇÃO
PERGUNTAS ORIENTADORAS :
Como todos os participantes estão percebendo o
Programa / projeto?
PROCESSO
Quais os pontos fortes e fracos das atividades do
cotidiano?
Como o processo de implementação pode ser
aperfeiçoado?
Qual a ordem da dificuldade? teórica, metodológica,
Pessoal, recursos?
PLANEJANDO A AVALIAÇÃO
TIPO DE AVALIAÇÃO
PERGUNTAS ORIENTADORAS :
Os resultados previamente estabelecidos
estão sendo cumpridos?
RESULTADOS
Quais efeitos os programa / projeto tem
sobre os envolvidos ?
Quais são os indicadores de resultados
qualitativos e quantitativos?
TIPO DE
AVALIAÇÃO
MARCO
ZERO
EX ANTE
PROCESSO
FORMATIVA
DURANTE
RESULTADOS
EFEITOS
SOLICITANTE
MOTIVO
ATORES
ENVOLVIDOS NA
REALIZAÇÃO
Própria
Equipe
Conhecer as necessidades do público alvo
e o contexto social onde o Projeto vai
atuar.
Interno – Staff
da própria Equipe
do Projeto
Aprofundar
conhecimento
sobre a
problemática
tratada pelo
Projeto.
Pessoa ou Equipe
do próprio
Projeto,
contando com
eventual ajuda de
um especialista.
Facilitar o
processo e
assegurar a
melhoria do
Projeto
Pessoa ou Equipe
do próprio Projeto,
contando com
eventual ajuda de
um especialista.
Dependendo da
complexidade, um
avaliador externo é
recomendado.
Facilitar a
definição de
indicadores de
resultados junto à
Equipe do pp
Projeto,
interessados e
público-alvo.
Própria
Equipe
Financiadores
Própria
Equipe
Financiadores
Descobrir o que funciona, o que não, e
melhorar o processo de implantação.
Avalia a influência das condições e
processos de trabalho, dos atores
envolvidos, dos dispositivos de
participação e decisão, dos processos
gerenciais, organizacionais e
institucionais na produção e execução
dos serviços/ações.
EX: Os recursos e as atividades estão
organizadas de forma a alcançar os
objetivos ? São suficientes qualiquantitativamente ?
Descobrir se as atividades desenvolvidas
ou o projeto como um todo realmente
provocou mudanças na vida do públicoalvo. EX: Grau e cobertura; eficácia dos
resultados; aceitabilidade ; acessibilidade
etc. Também, a relação entre recursos
empregados e efeitos obtidos .
Rendimento.
PAPEL DO
AVALIADOR
TIPO DE
AVALIAÇÃO
IMPACTO
SOMATIVA
CUSTO
BENEFÍCIO
SOCIAL
SOLICITANTE
MOTIVO
Própria
Equipe
Financiadores
Agências
Governamentais
Tomadores de
Decisão
( Gestão
Estratégica
e Tática )
Descobrir sucessos e /ou
insucessos do Projeto na
realidade em que
ele se propôs.
EX: Elevação de índices ,
níveis de renda e atividade
econômica local;
Redução dos índices / incidência;
Participação comunitária,
Fortalecimento da Rede protetiva
local; implantação de políticas,
programas intersetoriais;
implicações ecológicas; educação
ambiental; etc
Própria
Equipe
Financiadores
Agências
Governamentais
Tomadores de
Decisão
( Especialmente
os responsáveis por
políticas públicas )
Verificar os indicadores financeiros
relacionados ao benefício social do
Projeto
EX: Análise do custo-benefício
expressos em termos monetários e
Análise de custo-efetividade : custo
expresso em termos monetários e
efetividade em indicadores reais de
resultado.
ATORES
ENVOLVIDOS NA
REALIZAÇÃO
Avaliador Externo
Equipe formada
para tal finalidade;
Avaliador
Externo
PAPEL DO
AVALIADOR
Julgar o mérito
dos efeitos do
Projeto
Fazer auditoria
dos dados
financeiros e
relacioná-los com
os resultados
sociais do Projeto.
PLANEJANDO A AVALIAÇÃO
2.
IDENTIFICAÇÃO DOS INTERESSADOS
INTERESSADOS PRINCIPAIS - MARCO ZERO
As pessoas, os grupos ou as instituições que têm interesse
ou são diretamente afetados pelo programa / projeto ou pela
avaliação que se pretende implementar. Público - Alvo ;
Agentes Sociais relevantes ( ex: líderes formais ou informais e
as famílias, etc)
INTERESSADOS PRINCIPAIS - PROCESSO
•
•
•
O Conteúdo : conceitos, objetivos e visões que orientam a
concepção do projeto;
A Interação : relações humanas internas e externas
( especialmente com o público-alvo );
Os procedimentos : o método e a técnica adotada na
execução das ações.
PLANEJANDO A AVALIAÇÃO
2.
IDENTIFICAÇÃO DOS INTERESSADOS
INTERESSADOS PRINCIPAIS - RESULTADOS
• Todos os envolvidos : ( ex. crianças, famílias, os
representantes da comunidade, a própria instituição
responsável pelo projeto, parceiros e as instituições
financiadoras ).
PLANEJANDO A AVALIAÇÃO
QUEM DEVE CONDUZIR A AVALIAÇÃO ?
•
AVALIADORES EXTERNOS - menos parciais em seus
julgamentos; credibilidade, especialistas por demandas
específicas, dirigem um “novo olhar” facilita e enriquece a
coleta de dados mais controversos/conflituosos menos
pressão em caso de resultados pouco populares.
•
AVALIADORES INTERNOS - maior conhecimento sobre o
modelo e história do projeto; profundidade quanto aos
interesses e preocupações dos interessados; conhecem a
dinâmica dos processos decisórios e identifica as pessoas
chave; continua na organização podendo seguir esforços;
maior rapidez na avaliação; capacidades e limitações bem
conhecidas.
MATRIZ AVALIATIVA - Roteiro
1.
PERGUNTA AVALIATIVA
2.
INDICADORES
3.
FONTES DE INFORMAÇÃO
4.
MÉTODOS PARA COLETA DE DADOS
5.
PROCEDIMENTOS PARA COLETA DE DADOS
(AMOSTRA, ESTRATÉGIAS, CRONOGRAMA )
6.
MÉTODOS PARA ANÁLISE DE DADOS
7.
ESTRATÉGIAS DE INTERPRETAÇÃO
8. PROCEDIMENTOS PARA DIVULGAÇÃO DOS
RESULTADOS ( PÚBLICOS , CONTEÚDO, FORMATO
E CRONOGRAMA ).
9. ORÇAMENTO
MATRIZ PARA SELEÇÃO DAS PERGUNTAS
1ª FASE - DIVERGENTE - é elaborada uma lista de “todas” ou de
“muitas” perguntas consideradas importantes para quem está
solicitando a Avaliação, para quem está financiando, para quem
trabalha no projeto, para quem é atendido e suas respectivas famílias,
para lideranças locais onde o projeto é desenvolvido , e outros.
INSTRUMENTOS : reuniões de grupo, entrevistas Individuais e até
conversas informais são abordagens mais indicadas para se chegar a
essa ampla lista de perguntas.
2ª FASE - CONVERGENTE - é o esforço para selecionar dessa grande
lista as perguntas que deverão ser efetivamente respondidas pela
Avaliação.
CRITÉRIOS :
•
•
•
•
•
•
Grau de importância da pergunta para os interessados;
Possibilidade de reduzir dúvidas existentes ou produzir
informações novas, não disponíveis no momento;
Oportunidade de produzir informações relevantes, que podem
influenciar decisões;
Foco em aspectos críticos – referência de longo prazo;
Influência no alcance e nos objetivos da Avaliação ;
Viabilidade no tempo e com os recursos financeiros, humanos e
metodológicos disponíveis.
MATRIZ PARA SELEÇÃO DAS PERGUNTAS
Perguntas Avaliativas
Fase Divergente
CRITÉRIOS
1
A pergunta é relevante para os interessados?
Contribui para diminuir dúvidas e trata de
informações que não estão disponíveis?
Possibilita gerar informações que facilitam
tomada de decisões operacionais de política?
Está centrada em elementos críticos e de
interesse constante e não passageiros?
Os objetivos ou a amplitude seriam
comprometidos sem ela?
É possível responder a esta pergunta com os
recursos financeiro e de pessoal disponíveis?
É possível responder esta pergunta com os
métodos e as tecnologias disponíveis?
É possível responder a esta pergunta dentro do
tempo que se dispõe?
RESULTADO FINAL ( somatório de respostas
positivas )
2
3
4
5
6
N
2. IDENTIFICAÇÃO DOS INDICADORES
Ao serem selecionadas as perguntas, faz-se necessário
em seguida pensar em respondê-las. Identificar as informações
para se chegar às respostas e que estratégias são as mais
adequadas para se coletar as informações
Os INDICADORES são referências que ajudam a responder
às Perguntas Avaliativas. São elementos concretos que indicam
a medida de sucesso ou fracasso em relação aos resultados esperados.
São observáveis na realidade, vão orientar os métodos da coleta
de informações.
ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES
♦
♦
♦
♦
♦
O indicador proposto é suficientemente representativo
intenções propostas nos objetivos do projeto ?
Referem-se à mudanças que têm perspectiva de
permanência a
longo prazo?
O indicador é aceito por ampla gama de especialistas
internos e externos ?
O indicador é compreensível para os não especialistas ?
O custo para coletar as informações é compatível com
os recursos disponíveis ?
TIPOS DE INDICADORES :
QUANTITATIVOS: medir “o que aconteceu” (deve
mostrar a extensão da questão objeto da avaliação e as
características da população alvo).
QUALITATIVOS: analisar “como e porque aconteceu”
( deve explorar um problema e suas possíveis soluções).
QUALIDADE DOS INDICADORES :
Simplicidade, Confiabilidade, Validade, Verificabilidade ,
Disponibilidade / Acessibilidade, Robutez, Sinteticidade
Discriminatoriedade, Cobertura.
ETAPAS DO PROJETO
INDICADORES DO PROJETO
7. Avaliação de Resultados do
Projeto
7. Usuários com novas percepções, mais
autoconfiantes e com auto estima elevada.
6. Avaliação do comportamento
e atitudes dos profissionais
6. Profissionais oferecendo maior diversidade
de atividades e abertos a escolhas de atividades
pelos usuários.
5. Avaliação dos conhecimentos
adquiridos
5.
Profissionais
demonstrando
conhecimentos adquiridos.
4. Avaliação do grau de satisfação
dos participantes
4. Satisfação dos participantes quanto as
atividades
expressa
em
questionários
preenchidos ao final das atividades.
3. Avaliação da participação
(numérica e de envolvimento)
dos participantes
3. Percentual de participação nas atividades e
registros de observação quanto ao grau de
participação.
2. Implementação das
Atividades previstas
2. Cumprimento das atividades previstas no
projeto, bem como atividades não previstas
realizadas.
1. Recursos físicos, financeiros,
pessoas
e
conhecimento
disponibilizados
1. Grau de disponibilização e uso de recursos
físicos, financeiros, pessoas e conhecimentos
disponibilizados.
novos
OBJETIVO
PERGUNTA
AVALIATIVA
EX:
Avaliar o Resultado
do Projeto X.
1ª Qual é o percentual de
promoção de séries das
crianças envolvidas no
Projeto ?
“ Cultura em Foco”
A cultura como
instrumento para
formação integral das
novas gerações.
Trabalha com jovens
no horário alternado à
escola com ações na
área de cultura e arte
como apoio á
escolarização.
2ª Em que medida as
crianças apresentam
mudanças sócio-culturais
e comportamentais
relacionadas à
convivência na escola e
no contexto familiar ?
INDICADOR ( ES )
Trata de informações quantitativas , sem
alto grau de dificuldade para seu
desdobramento em Indicadores
 Aprovação escolar;
 Evasão escolar.
Exige um esforço maior e devem ser
propostos por educadores e outros
especialistas da área envolvidos no
Projeto. Retoma os dados do MARCO
ZERO para identificar os comportamentos
que eram alvo de determinadas questões
e devem ser modificados com a
intervenção do Projeto
 Gosto pela leitura e pela escrita;
 Domínio da linguagem oral;
 Capacidade de resolver problemas no
cotidiano;
 Capacidade de adotar regras de conduta;
 Capacidade de ouvir o outro;
 Capacidade de lidar com diferenças;
 Capacidade para participar de atividades
em grupo;
 Incorporação e hábitos culturais;
 Afetividade junto à família;
 Auto estima;
 Sociabilidade.
OBJETIVO
PERGUNTA
AVALIATIVA
EX:
Avaliar o
Resultado e
o Impacto do
Projeto X.
Quais os Efeitos e
Impactos do
Projeto X
implantado
em 10 comunidades
da Zona Norte da
Cidade
do RJ para atender
jovens evadidos do
ensino fundamental,
sem atividade
laboral e sem
qualificação
profissional durante
o período
1999/2002 ?
INDICADOR ( ES )
RESULTADO
 Conclusão do ensino
fundamental;
 Capacitação para o
mundo do trabalho;
 Empregabilidade;
 Elevação da renda
familiar;
 Acesso aos bens e à
rede de Serviços Locais;
 Ressignificação das
relações afetivofamiliares e comunitárias;
 Mudança de hábitos e
padrões de risco;
 Outras formas de
inclusão e conquistas
evidenciadas.
IMPACTO
 Elevação dos índices de
escolarização;
 Elevação dos níveis de
renda e maior atividade
econômica local;
 Redução dos índices de
mortes por causas
externas
( violentas );
 Redução dos índices de
incidência/reincidência de
jovens envolvidos em
conflitos com a lei;
 Participação
comunitária;
 Fortalecimento da rede
protetiva local;
 Implantação de
políticas/programas
intersetoriais voltados
para jovens;
 Implicações ecológicas;
 Educação ambiental.
Programa
Inter Ação
Objetivo
PERGUNTA
AVALIATIVA
INDICADOR ( ES )
1ª Em que
medida o Projeto
está conseguindo
contribuir para o
desenvolvimento
físico adequado
das crianças e
adolescentes
atendidos ?
 Existência de estratégia adequada para
acompanhamento periódico da curva de
crescimento (peso e altura) ;
 Percentual de crianças e adolescentes na faixa
normal da curva de crescimento;
 Existência de estratégias adequadas para
atendimento especial face a problemas de
crescimento e/ou nutrição;
 Percentual com problemas de crescimento que
estão recebendo atendimento especializado.
Ampliar as
oportunidade
s de inclusão 2ª Em que medida
social de
o Projeto contribui
crianças e
para o
adolescentes
desenvolvimento
que vivem
cognitivo e de
em situação
habilidades e
de risco na
competências
cidade do RJ. necessárias para o
sucesso das
crianças na
escola e na vida ?
 Desenvolvimento do gosto pela leitura, pela
escrita e domínio da língua oral;
 Desenvolvimento de raciocínio lógico e
capacidade resolutiva para o cotidiano;
 Desenvolvimento de regras de conduta,
habilidades para trabalhar diferenças, ouvir o
outro , trabalhar em grupo e criatividade;
 Evolução das notas escolares, percentual de
aprovação, de matriculados na escola e de evasão
escolar.
3. SELEÇÃO DAS FONTES DE INFORMAÇÃO
Continuando o processo para responder às PERGUNTAS
AVALIATIVAS, é o momento de se determinarem quais as
FONTES que poderão oferecer as INFORMAÇÕES necessárias
sobre os INDICADORES.
Deve-se tomar cuidado com a tendência de achar que sempre
é necessário coletar novas informações.
MUITAS VEZES JÁ EXISTEM ( documentos oficiais do projeto,
fichas individuais, etc ) e só PRECISAM SER
ORGANIZADAS .
É preciso IDENTIFICAR ONDE será possível CONSEGUIR AS
INFORMAÇÕES e/ou QUEM PODERÁ FORNECÊ-LAS,
para seguir no processo de seleção dos métodos e
instrumentos mais adequados.
Fontes PRIMÁRIAS :
FONTES
Todo material que não recebeu uma tratamento analítico
( proveniente dos sistema de informação e registro
convencional e cotidiano da organização – contábil, financeiro,
gerencial, fiscal, registros de produção e serviços prestados,
comercialização, administração de pessoal, registros de
clientes, etc;)
•
•
Todo o material recolhido pela própria ou por outras
pesquisas – entrevistas e observações; material oriundo da
documentação formal e informal – referente à constituição e
manutenção da organização
RECURSOS
Registros e bancos de dados estatísticos produzidos por
organizações públicas e privadas- IBGE, FGV, DIEESE, IDH,
IPEA, etc;
Material e documentos de comunicação de massa ( jornais,
revistas, etc).
•
•
Material e os documentação pessoal cartas, diários,
biografias, fotos, etc
Fontes SECUNDÁRIAS : São aquelas que passaram por
alguma forma de elaboração analítica.
São constituídos principalmente por livros, teses,
dissertações, monografias e artigos científicos, técnicos e
profissionais, na forma de papel ou em meio de registro
computacional.
RECURSOS
Os recursos secundários convencionais são: Bibliotecas,
Institutos de Pesquisa e Formação, Bancos de Dados e a
Internet.
4. SELEÇÃO DE MÉTODOS E INSTRUMENTOS
4.1 DADOS COLETADOS DE PESSOAS IDENTIFICADAS COMO
FONTES DE INFORMAÇÃO - Questionários, Entrevistas ,
Grupo Foco , Testes ,Simulação / Debates Exemplo de
trabalho realizado ( redação, Desenhos )
4.2 DADOS COLETADOS POR MEIO DE OBSERVADOR
INDEPENDENTE - Relatórios narrativo-descritivos,
Roteiros de Observação
4.3
DADOS COLETADOS ATRAVÉS DE APARATOS
TECNOLÓGICOS - Gravação de áudio, Gravações de vídeo,
Séries de fotografias; Outros aparelhos automáticos
4.4 DADOS COLETADOS A PARTIR DE INFORMAÇÕES
EXISTENTES - Revisão de documentos públicos ( relatórios
governamentais, publicações, etc )
Revisão de documentos institucionais ( projeto original,
relatórios anuais, fichas, atas, publicações.
MÉTODO
PROPÓSITO
VANTAGENS
DESAFIOS
Adquirir de modo mais
rápido e fácil grande
quantidade de
informações
É anônimo;
tem custo baixo;
administra grande
quantidade de pessoas;
adquire grande
quantidade de dados.
Pode não levar a uma
avaliação cuidadosa;
formulários podem
influenciar respostas; é
impessoal.
Entender de forma
completa impressões,
experiências.
Informação de maior
abrangência; desenvolve
relação com o sujeito
respondente se tornando
flexível com este.
Pode ocupar muito
tempo; pode ser de
difícil análise e
comparação; pode ter
custo alto; o
entrevistador pode
influenciar as respostas.
Grupo
Foco
Explora uma questão a
fundo, reações,
experiências,
sugestões, reclamações
comuns; é útil na
avaliação.
É um método rápido; é
eficiente para grande
gama de informações em
menos tempo; pode se ter
como informação
fundamental no
programa,projeto.
Pode ser de difícil
análise ; precisa de um
facilitador ; pode ser de
difícil programação.
Observação
Colher a informação
mais precisa em
relação ao programa ou
projeto operando em
relação aos processos.
Percepção de como as
situações estão ocorrendo
realmente; pode se
adaptar a diferentes
eventos.
Pode ser muito
complexo; pode colocar
as observações por
categorias; pode
influenciar o
comportamento dos
participantes; pode ter
alto custo.
Questionários
Entrevistas
MÉTODO
Estudo de
Caso
Revisão de
Documentos
PROPÓSITO
VANTAGENS
DESAFIOS
Entender de forma
mais completa ou
descrever as
experiências dos
sujeitos
respondentes;
administrar a
comparação através
dos casos.
Descreve de forma
mais completa a
experiência do sujeito
em relação ao
programa/ projeto,
seus processos e
resultados; pode fazer
a replicagem do
programa/ projeto de
melhor forma.
Pode consumir muito
tempo para levantar,
organizar e descrever
informações; pode ter
maior profundidade na
informação levantada,
em função ao seu
tamanho.
Adquire informações
exclusivas e históricas;
não interrompe as
ações; informação já
existente; tem pouca
influência sobre a
informação.
Ocupa muito tempo; a
informação pode estar
incompleta; se ter
clareza sobre o que se
está buscando; não é
flexível, se restringe
aos dados existentes.
Possibilita ter uma
impressão de como
está o
programa/projeto
sem interrompê-lo,
revisando a
aplicação dos
recursos e rotinas
em geral.
Tipo
de
Avaliação
Pergunta
Avaliativa
1ª Qual é o
percentual
de
promoção
de séries
das
crianças
envolvidas
no projeto?
Avalia o
RESULTADO
do Projeto
“Educação
pelo
Esporte”
2ª Em que
medida as
crianças e
adolescentes
apresentam
mudanças
comportamentais
relacionadas à
convivência na
escola e no
contexto
sóciofamiliar?
Indicadores
Aprovação
Escolar
Evasão
escolar
Gosto pela
leitura e
escrita;
Domínio da
linguagem
oral;
Capacidade de
adotar
regras de
conduta,
ouvir o
outro, lidar
com
diferenças
e participar
de
atividades
em grupo;
Afetividade junto à
família;
Auto
estima;
Sociabilida
- de.
Fontes
de
Informa
-ção
Métodos
de Coleta
de Dados
Documen
tos
escolares
( oletins,
relatórios
, etc )
Revisão e
análise dos
Documentos
Crianças
e
adolesce
ntes
Famílias
Educadores
Parceiros
Financiadores
Entrevistas e
Observações
Grupo
Focal
Questioná
rios
Entrevista
Entrevista
Procedimentos para
Coleta de Dados
Amostra
Estratégia
Universo
100
usuários e
suas
famílias
Amostra =
80
Contato
com os
Diretores
de Escola e
solicitação
dos
documento
s
Universo
15
Amostra=
9
Universo 2
Amostra 2
Universo2
Amostra =
2
Total da
Amostra
da
Avaliação
Universo
Total =
119
Amostra
Total = 93
Elaboração
dos roteiros
instrumentos
Treinament
o dos
responsávei
s pela
avaliação
Organizaçã
o do
processo de
coleta e
organização
Dos dados.
( tabulação,
transcriçõe
s, etc)
Cronograma
Revisão dos
Documentos
dezembro e
janeiro
Organização
dos
Instrumen-tos
e procedimentos de coleta
de dados :
Fevereiro
Coleta de
dados
março
Métodos para
Análise de
Dados
Análise de
documentos :
estatística
descritiva e
Comparativa
entre as
crianças e
adolescentes
usuárias do
projeto e de
fora dele;
Análise de
Conteúdo dos
relatórios dos
instrumentos
de coleta de
dados;
Síntese dos
principais
temas
identificados.
Estratégias para
Interpretação
Procedimentos para
Divulgação dos Resultados
Públicos
Pelo menos 75%
tiveram melhoria no
desempenho e nas
notas, passando às
séries subsequentes?
Todas as crianças
permaneceram na
escola ?
Pelo menos 75%
apresentaram
melhoria/ evolução
nos interesses de
leitura e escrita,
capacidade de
raciocínio lógico,
criatividade e
trabalho grupal?
Houve melhorias nas
relações e
comportamento
adotando regras de
conduta e aceitando
diferenças?
Houve melhoria nas
relações afetivofamiliares ?Houve
elevação da auto
estima e
Sociabilidade?
Equipe de
Coordenação
e todos os
envolvidos
no Projeto
Conselho
Diretor da
Agência
Financiadora
Parceiros
Diretores e
Professores
das Escolas
Familiares
Público em
geral
Conteúdo
Formato
Cronograma
Ajudar a
responderas
Perguntas
Avaliativas
Identificar quais
aspectos
precisam
ser
aperfeiçoados
visando a
qualida-de
do projeto
e
possibilidade de
ampliação,
replicação e
desdobramentos
Relatório
Técnico
Relatório
Executivo
para os
Diretores e
Professores
Reunião com
os familiares
Comunicação à
imprensa
para
divulgação
para o
público em
geral
Elaboração
de Artigos,
etc
Apresentação em
Fóruns,
Seminários,
etc
Reuniões
para
discussão dos
resultados da
Análise : abril
Entrega dos
Relatórios:
maio