O QUE É O SISTEMA DE MONITORING
• É um sistema de vigilância e registo permanente ou periódico da
implementação de um projecto;
• É uma função essencial da gestão do projecto e as suas acções devem
ser adequadamente planeadas e integradas desde as etapas iniciais do
projecto;
• A monitorização incide sobre o projecto mas também sobre o seu
impacto, sobre os seus efeitos externos directos e indirectos;
• Tem o objectivo de fornecer ao gestor do projecto e aos principais
interessados e envolvidos, indicações e informações estruturadas em
relação ao percurso do projecto;
• Fornece as bases para a acção correctiva, em relação às actividades e
ao plano operacional. Deve reforçar os resultados iniciais previstos
REQUISITOS TÉCNICOS PARA UMA MONITORIZAÇÃO
EFICIENTE
• Recolha e estruturação da informação
disponível;
• Verificação dos indicadores de desempenho
e resultados;
• Contacto com os beneficiários e envolvidos
no projecto;
• Elaboração de relatórios sistemáticos
PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE
MONITORING
1 – IDENTIFICAÇÃO DOS FACTORES CHAVE A SEREM CONTROLADOS
Monitorizar a performance, inputs e outputs – Aferição dos recursos e dos respectivos resultados;
2 – PLANEAMENTO DAS ACTIVIDADES DE RECOLHA DE INFORMAÇÃO
O planeamento do projecto deve identificar as actividades de recolha e sistematização da
informação recolhida. Todas as fontes de informação devem produzir os seus dados de forma a se
integrarem no processo global de produção de informação relevante;
3 – DEFINIÇÃO DA FORMA DE APRESENTAÇÃO DA INFORMAÇÃO
O sistema de monitoring deve programar a utilização de determinadas formas de organização
formal da informação, tais como por ex:
- Relatórios de progresso de implementação do projecto;
- Relatórios anuais de resultados do projecto
- Outras de acordo com contexto do projecto
4 – IDENTIFICAÇÃO DOS DESTINATÁRIOS DA INFORMAÇÃO RECOLHIDA
Identificação prévia de quais os destinatários da informação recolhida, de acordo com orientações
definidas no planeamento. Ex: promotores do projecto, financiadores, responsável de projecto, etc
PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE
MONITORING
5 – Preparação para a inclusão de factores não previstos
Para além dos factores externos e condicionamentos do projecto (previstos na MEL), o
sistema de monitoring deve preparar procedimentos específicos para responder a
solicitações e necessidades não previstas na fase de planeamento. Por ex: para uma
delegação regional ou ministério, para entidade gestora QCA, etc.
As questões básicas que o sistema de monitoring deve permitir responder são relativas :
- Às actividades em curso;
- Aos níveis de realização;
- À utilização dos recursos em relação ao que foi pré-definido na etapa de planeamento;
- À conformidade com os critérios de elegibilidade
Actividade
Planeada
Nível de
Realização
Desvios
Observados
Soluções
Alternativas
História da avaliação
• É a partir da 2ª Guerra Mundial (sobretudo nos EUA) que a
avaliação passa a ser importante por quem encomenda programas
sociais. Acreditava-se que se poderia resolver os problemas sociais
através da aplicação de recursos de forma inteligente e que a
avaliação poderia dizer quais os programas e métodos mais
apropriados;
• Modelos muito tecnocráticos – desvalorizados os conflitos de
interesses e interesses dos grupos mais minoritários;
• Modelos insensíveis a variações locais e culturais. Grandes
amostragens e recolha estandartizada de dados.
História Avaliação
• Anos 60/70 – Defesa de uma avaliação
multicultural. Crítica da avaliação quantitativa;
• Acredita-se que diferentes grupos sociais
apresentam diferentes interesses e lógicas de
actuação. Valorizada a individualidade de cada de
cada situação ou programa;
• Excesso de localismo destes modelos foi
impeditivo de maior impacte público fornecendo
pouca credibilidade nas informações e grande
dificuldade de generalização
A Av. No final século XX
• Revisão de paradigma que tinha como pano de fundo a constatação
de que as avaliações realizadas influenciavam muito pouco as
decisões que eram tomadas com base em critérios sócio-políticos,
descurando os resultados das avaliações cuidadosas e
cientificamente bem fundamentadas;
• Anos 80 tentativa de reconciliação de vários paradigmas,
aproximando actores e decisores numa procura pragmática da
eficácia;
• Curiosamente, as críticas aos vários modelos de avaliação não fazem
esmorecer a sua importância pública e política; antes pelo contrário,
assiste-se à obrigatoriedade da avaliação na maioria dos programas
sociais.
A Av. No final século XX
• Os processos de planeamento e de programação das
intervenções sociais bem como a aferição dos seus
resultados estão dependentes e associados ao que se tem
vindo a chamar de metodologia participativa dos projectos
de intervenção;
• Acredita-se hoje que a “avaliação participativa” resolve,
simultaneamente, a multiculturalidade dos olhares sobre a
condução dos processos sociais e a nova democraticidade
que é exigida à acção pública
Participação pública nos
processos de avaliação permite:
• Obtenção de um conhecimento local dos problemas existentes;
• Incremento e aferição da capacidade de detecção e previsão das
consequências de novas acções sobre os sistemas, ambientais, sociais e
organizacionais locais;
• Capacidade de reconciliação de interesses locais contraditórios, entre
grupos sociais ou interesses sectoriais distintos, e entre a interpretação
do “interesse público” vinculado pela administração;
• Capacidade de reduzir as probabilidades de se gerarem conflitos
abertos entre grupos locais e promotores dos projectos, através do
diálogo e do progressivo desenvolvimento de laços de coresponsabilização entre os diversos intervenientes;
Formato-padrão do Relatório de Avaliação
Sumário
Executivo
Conclusões específicas
Conclusões gerais
Recomendações
Informações Suplementares
A avaliação de projectos sociais
não deve:
• Ser a mera quantificação das acções;
• Ser normativa, ou confundir-se com práticas de
controlo;
• Medir apenas o êxito das acções com o apoio de
indicadores tais como a taxa de concretização de
objectivos (Deve preocupar-se com os processos a
partir dos quais esses objectivos foram
produzidos);
• Ser confundida com o controlo administrativo que
tem por fim verificar da concordância das acções
com as normas institucionais
CRITÉRIOS DE AVALIAÇÃO
• O SUCESSO DO PROCESSO DE AVALIAÇÃO
DEPENDE DA CAPACIDADE PARA ENCONTRAR
INDICADORES QUE MEÇAM O PROCESSO E OS
RESULTADOS DA AVALIAÇÃO
• AS COMPONENTES DO PROCESSO DE AVALIAÇÃO
QUE PERMITEM A VERIFICAÇÃO DO SEU SUCESSO
ANALISAM GERALMENTE OS SEGUINTES
FACTORES:
A APRECIAÇÃO DA ADEQUAÇÃO
• O Projecto/Programa adequa-se ao contexto
do problema e da situação sobre o qual se
pretende intervir
• Trata-se de um projecto coerente na sua
construção interna
VERIFICAÇÃO DA PERTINÊNCIA
– O PROJECTO É JUSTIFICÁVEL NO
CONTEXTO DAS POLÍTICAS E
ESTRATÉGIAS DO ORGANISMO,
SERVIÇO, ETC.?
APRECIAÇÃO DA EFICÁCIA
• Em que medida os objectivos foram atingidos e as
acções previstas foram realizadas?
• De forma global, deve perguntar-se:
- Se os meios utilizados foram adequados,
pertinentes e suficientes;
- E se os benefícios (em termos de objectivos no
fim) esperados foram realizados
» INDICADORES:
Acções realizadas/acções programadas;
Objectivos realizados/objectivos planeados
Público-alvo atingido/público-alvo-previsto
APRECIAÇÃO DA EFICIÊNCIA
• Os resultados confrontados com os recursos
utilizados correspondem ao seu emprego mais
económico e satisfatório?
• » INDICADORES:
- Objectivos atingidos/Recursos utilizados;
- Actividades realizadas/Recursos utilizados;
- Objectivos atingidos/Actividades realizadas;
- Recursos utilizados/Recursos previstos;
- Custos por tipo de acção, etc
APRECIAÇÃO DA EQUIDADE
• A equidade faz referência à distribuição e à
repartição dos recursos entre os indivíduos e os
grupos e à noção de justiça social
• Os objectivos, a definição dos grupo-alvo, a
distribuição dos recursos aumentaram a igualdade
de oportunidades ou geraram novas
desigualdades?
• Apela à igualdade de oportunidades, não apenas
ao nível do acesso a bens ou serviços, mas tb. Ao
nível da capacidade de cada um gerir as suas
próprias oportunidades
APRECIAÇÃO DO IMPACTE
• Na apreciação do impacte deve-se
determinar em que medida se obteve uma
melhoria da situação
APRECIAÇÃO DA
SUSTENTABILIDADE
• Será que os efeitos do projecto subsistirão
depois de ele estar completo
AVALIAÇÃO
• É UMA COMPONENTE DO
PLANEAMENTO
• PERMITE DE FORMA RIGOROSA IR
CONHECENDO OS RESULTADOS E
EFEITOS DA INTERVENÇÃO
• PERMITE CORRIGIR TRAJECTÓRIAS
FUNÇÕES DA AVALIAÇÃO
• MEDIDA
• UTENSILIO DE APOIO À TOMADA DE
DECISÃO
• PROCESSO DE APRENDIZAGEM
• REFORÇAR DEMOCRACIA
PARTICIPATIVA
- (Importante combinar aspectos qualitativos e os
quantitativos)
TIPOLOGIAS EM FUNÇÃO DE
QUEM REALIZA A AVALIAÇÃO
• AUTO-AVALIAÇÃO
• A avaliação é realizada pela
mesma equipa que a executa
• AVALIAÇÃO INTERNA
•
Realizada dentro da organização
gestora, mas com distanciamento
da equipa de execução
•
É realizada por pessoas estranhas à
organização
•
Combina os vários tipos de avaliação
• AVALIAÇÃO EXTERNA
• AVALIAÇÃO MISTA
AV. - TEMPORALIDADE
• DIAGNÓSTICA
(EX-ANTE)
• ACOMPANHAMENTO
(ON GOING)
• FINAL (Ex-POST)
• Pretende proporcionar
elementos que permitam
decidir se o projecto deve
ou não ser implementado
• Avalia a forma de
concretização do projecto
e dá elementos p/ o seu
afinamento e/ou correcção
• Mede os resultados e
efeitos do projecto
MODALIDADES E DIMENSÕES DA
AVALIAÇÃO
• Intervenientes
• Temporalidade
• Âmbito de Incidência
•
•
•
•
Auto-Avaliação
Avaliação externa
Avaliação mista
Ex-ante; On-going
Ex-post. Interactiva
Desempenho/resultados
Processo
Prospectiva
MODALIDADES E DIMENSÕES DA
AVALIAÇÃO
• DESTINATÁRIOS
• SUPORTE DE RECOLHA
•
•
•
•
•
•
•
•
•
Intervenientes (técnicos)
Dirigentes
Instituições financiadoras
População destinatária
Potenciais beneficiários
Análise documental
Entrevistas
Fontes estatísticas
Diário de actividades
MODALIDADES E DIMENSÕES DA
AVALIAÇÃO
• PRODUTOS
• ESTRATÉGICAS
METODOLÓGICAS
•
•
•
•
•
•
•
•
Relatórios
Formação
Actas
Bases de dados
Análises pontuais
Análises comparativas
Análises prospectivas
(....)
ETAPAS AV. PARTICIPATIVA
• Facilitador distribui folhas e marcadores aos
participantes;
• Os participantes escrevem uma ideia por cartão do
que acham importante avaliar;
• Cada folha é lida em voz alta e colada na parede;
• Os participantes votam as ideias que consideram
mais importantes;
• O grupo define uma matriz com os aspectos a
avaliar;
• Cada critério é pontuado;
VANTAGENS DA AVAL.
PARTICIPATIVA
• Meta-avaliação;
• Funciona como aprendizagem estruturando
a informação;
• Aumenta a motivação dos participantes;
• Comunicação aberta, honesta e clara;
• Processo transparente;
• Feed-back imediato
Formato-padrão do relatório de avaliação
Sumário
Executivo
Conclusões específicas
Conclusões gerais
Recomendações
Informações suplementares
Critérios de Qualidade de um Projecto de
Cooperação segundo a União Europeia
•
•
•
•
•
•
•
•
•
Pertinência;
Eficácia;
Eficiência;
Metodologia participativa ;
Coerência interna;
Flexibilidade;
Programação operacional;
Comunicação;
Inovação e transferabilidade