Coletânea Convivência e Segurança Cidadã:
Guias de Gestão Territorial Participativa
Monitoramento e Avaliação
do Plano Integral em
Convivência e Segurança Cidadã
Empoderando vidas.
Fortalecendo nações.
Coletânea Convivência e Segurança Cidadã:
Guias de Gestão Territorial Participativa
Guia de Monitoramento
e Avaliação em
Convivência e Segurança Cidadã
1ª Edição
Programa das Nações Unidas para o Desenvolvimento - Brasil
ARNAUD PERAL
Representante
Residente Adjunto
MARISTELA MARQUES BAIONI
Representante
Residente Assistente
Coordenação | Érica Mássimo
Machado – PNUD Brasil
Edição | Bruna Pegna Hercog e
Marialina Côgo Antolini
Equipe Técnica | Alline Pedra, Bruna
Pegna Hercog, Cíntia Yoshihara,
Cristiano Pereira da Silva, Joselita
Frutuoso de Araujo Macêdo Filha,
Juliana Mattedi Dalvi, Marialina Côgo
Antolini, Paulo Ricardo de Souza e
Paiva, Ricardo de Lacerda Ferreira e
Rita de Cássia Lima Andrea
Colaboradores | Claudia Ocelli,
Daniel de Castro, Daniel Luz, Débora
Sol, Eugenia Piza-Lopez, Fernanda
dos Anjos, Gabriela Dutra, Gerardo
Berthin, Hugo Acero, Jairo Matallana,
João José Barbosa Sana, José Carlos
Arruti Rey, Lina Salazar, Maristela
Marques Baioni, Moema Freire,
Nicolas Garrigue, Norma Peña
Textos | Bruna Pegna Hercog, Cíntia
Yoshihara, Joselita Frutuoso de Araujo
Macêdo Filha, Juliana Mattedi Dalvi e
Marialina Côgo Antolini
Projeto gráfico e editoração |
Valentina Garcia
É permitida a reprodução parcial ou total desta obra, desde que citada
a fonte e que não seja para venda ou qualquer fim comercial.
Para elaboração dos textos desta Coletânea, optou-se pelo uso de linguagem
não discriminatória em relação a gênero, raça, etnia ou classe social. Em
muitos casos, foi necessário o uso genérico do masculino, a exemplo do termo
“ator social”, ou de termos neutros como “crianças, adolescentes e jovens”.
Mesmo nesses casos, entende-se que o genérico do masculino refere-se
a homem e mulher e que os termos neutros reúnem as especificidades e
direitos adquiridos de cada cidadão e cidadã aqui representados.
Publicado pelo Programa das Nações Unidas Para o Desenvolvimento (PNUD).
© PNUD 2013
Projeto Gráfico: Valentina Garcia
Primeira edição: dezembro de 2013
Tiragem: 800 exemplares
Impressão: Estação Gráfica Ltda
Guia de monitoramento e avaliação em convivência e segurança cidadã. – Brasília :
PNUD, 2013.
40 p. – (Coletânea convivência e segurança cidadã : guias de gestão territorial participativa).
Incl. bibl.
ISBN: 978-85-88201-18-7
1. Segurança Cidadã 2. Direitos civis e políticos 3. Direitos humanos 4. Tolerância
5. Cultura de paz 6. Segurança humana 7. Participação social 8. Participação comunitária
9. Administração pública 10. Monitoramento 11. Avaliação 12. Política de
desenvolvimento 13. Desenvolvimento humano 14. Brasil 15. Guias I. PNUD
Impresso no Brasil
PREFÁCIO
A Redução da Vulnerabilidade e a Promoção da Segurança Cidadã formam
um dos pilares da atuação do Programa das Nações Unidas para o
Desenvolvimento (PNUD) no Brasil. São claras as evidências de que os altos
índices de criminalidade e de insegurança nos países da América Latina e
Caribe têm imposto entraves significativos para o pleno desenvolvimento
econômico e social da região, mesmo face às recentes melhorias na
governança e na qualidade de vida das populações mais vulneráveis. Neste
sentido, o PNUD Brasil compartilha da prioridade brasileira de promover
melhorias na segurança pública como caminho necessário ao que chamamos
de desenvolvimento humano sustentável.
A contribuição a esta área vem da atuação de nossas equipes a partir da
perspectiva conceitual da Convivência e Segurança Cidadã, que envolve
a adoção de um enfoque integral, local e participativo no tratamento da
segurança pública. Isto nos permitiu acumular, nos últimos anos, experiência
corporativa relevante na área de Segurança, tanto em âmbito nacional quanto
local, como resultado de várias atividades de prevenção do conflito, reforma
institucional e construção de capacidades para a governabilidade democrática.
Por meio de práticas efetivas em gestão da Segurança Cidadã, o PNUD vem
desenvolvendo um conjunto de metodologias, instrumentos e ferramentas que
visam apoiar e fortalecer os municípios no âmbito das políticas de prevenção à
violência. São instrumentos que recuperam experiências de sucesso da região
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
JORGE CHEDIEK
Representante Residente
5
| GUIA DE MONITORAMENTO E AVALIAÇÃO
em segurança cidadã e também colocam à disposição dos governos suas
redes de especialistas certificados, com experiências concretas e exitosas em
diversos países.
6
SUMÁRIO
APRESENTAÇÃO 6
Um dos frutos desta experiência é esta Coletânea: Convivência e Segurança
Cidadã: Guias de Gestão Territorial Participativa. As metodologias aqui
apresentadas resultam do crescente compartilhamento de responsabilidades
na prevenção e no enfrentamento da violência, do âmbito nacional ao local,
revelando o quanto a participação das comunidades é fundamental para o
sucesso de projetos e programas na área da segurança.
O QUE É MONITORAMENTO E O QUE É AVALIAÇÃO?
POR QUE MONITORAR E AVALIAR ?
8
10
Audiência com prefeito eleito incentiva ação da Comissão de Comunicação
11
Entrevista: Clarice Zilberman Knijnik
14
A Coletânea foi elaborada a partir da experiência de execução do Programa
Conjunto Interagencial da Organização das Nações Unidas (ONU) Segurança
com Cidadania: prevenindo a violência e fortalecendo a cidadania, com foco em
crianças, adolescentes e jovens em condições vulneráveis nas comunidades
brasileiras. Essa experiência de cooperação técnica foi desenvolvida entre os
anos de 2010 e 2013, em três unidades territoriais das cidades brasileiras de
Contagem (MG), Lauro de Freitas (BA) e Vitória (ES). A Coletânea apresenta não
só as metodologias utilizadas, como também fatos e histórias marcantes, que
ocorreram ao longo da implementação do Programa nos três municípios e que
ilustram a riqueza e a diversidade de experiências bem-sucedidas e o impacto
gerado nessas localidades.
COMO MONITORAR E COMO AVALIAR?
18
Definindo princípios fundamentais para uma boa prática de monitoramento e avaliação
18
Identificando peças chaves para o monitoramento e avaliação 20
Dessa forma, nosso objetivo é oferecer a governos, organizações, movimentos
sociais, entre outros, materiais de referência para uma atuação local, integral e
participativa na construção de uma cultura de prevenção à violência.
Elaborando um Plano de Trabalho de monitoramento e avaliação Desejamos uma excelente leitura a todas e todos bem como nossos votos
de que este material encontre uso efetivo na promoção da Convivência e da
Segurança Cidadã neste país.
Jorge Chediek
Coordenador-Residente do Sistema das Nações Unidas no Brasil e Representante-Residente do
Programa das Nações Unidas para o Desenvolvimento (PNUD) no Brasil
Monitorando25
Comissão de Comunicação tem papel monitorador no Programa Conjunto da ONU “Segurança com Cidadania”
Avaliando 27
28
31
Rodas de Diálogo: fortalecimento da sociedade civil e envolvimento de jovens no processo de avaliação e monitoramento
32
O QUE A PRÁTICA ENSINA
33
Cartilha do Plano: instrumento de apoio ao processo de Monitoramento e Avaliação
35
REFERÊNCIAS BIBLIOGRÁFICAS36
| GUIA DE MONITORAMENTO E AVALIAÇÃO
APRESENTAÇÃO
8
O Guia de Monitoramento e Avaliação
em Convivência e Segurança Cidadã
faz parte da Coletânea Convivência
e Segurança Cidadã: Guias de
Gestão Territorial Participativa do
Programa das Nações Unidas para o
Desenvolvimento (PNUD), composta
por um encarte conceitual e sete Guias:
Preparação, Curso de Convivência
e Segurança Cidadã, Diagnóstico
Integral e Participativo, Plano
Integral e Participativo, Intercâmbio
de Experiências, Monitoramento e
Avaliação e Comunicação e Mobilização
Social e o Jogo Fica Seguro, que
convida – de forma lúdica e dinâmica
– para a vivência de todas as etapas
da implementação de um projeto
de Convivência e Segurança Cidadã.
O objetivo do PNUD é oferecer a
governos, organizações e movimentos
sociais, entre outros, materiais de
referência para a atuação local
na construção de uma cultura de
prevenção da violência.
Este Guia tem como objetivo ser
um instrumento que facilite o
acompanhamento e o controle
da execução do Plano Integral e
Participativo de Convivência e
Segurança Cidadã, por meio da
disponibilização de orientações sobre
o desenvolvimento de processos de
monitoramento e de algumas noções
para contribuir com os processos
de avaliação. Pretende-se, com
isso, responder à necessidade de
suprir gestores públicos, técnicos e
representações dos movimentos sociais
com subsídios para uma prática de
monitoramento e avaliação que possa
ser participativa, enquanto recurso
de controle social, e instigante do
processo de planejamento, como etapa
fundamental para a governança local.
Desenho sobre foto de ação
do Programa Conjunto da ONU
”Segurança com Cidadania”
| GUIA DE MONITORAMENTO E AVALIAÇÃO
ator social
10
Um determinado
indivíduo é um
ator social quando
representa algo
para a sociedade,
encarna uma ideia,
uma reivindicação,
um projeto, uma
promessa, uma
denúncia. Uma
classe social, uma
categoria social ou
um grupo podem ser
atores sociais, assim
como instituições:
partidos políticos,
jornais, igrejas etc.
(SOUZA, 1991). Os
atores sociais, são
portanto, todos
aqueles que tenham
interesse na questão
da convivência e
segurança cidadã.
São, prioritariamente,
aquelas que
integram o território
trabalhado, podendo
se estender a todos
que atuam com a
temática. (Souza,
1991) e (RGCI, 2007)
Leia mais sobre
o conceito de
Convivência
e Segurança
Cidadã no Guia
de Apresentação.
Toda ação, para ser bem executada,
precisa ser bem planejada, monitorada
e avaliada. Atualmente, a importância
e o uso dos recursos de planejamento
já estão bastante difundidos entre
os executores de políticas públicas
e de programas ou projetos sociais.
No entanto, a importância e o uso
da avaliação e, principalmente,
do monitoramento ainda não foi
suficientemente absorvida por gestores,
técnicos e lideranças comunitárias,
como fundamentais para os processos
de gestão do território. A dificuldade em
seu uso se dá desde a compreensão do
que são seus instrumentos de medição,
como os indicadores, até quanto aos
métodos de análise a serem utilizados
no acompanhamento da execução
das iniciativas para o alcance dos
resultados esperados.
O planejamento de iniciativas
contextualizadas, voltadas para a
Convivência e a Segurança Cidadã,
preveem que, a partir de uma
prática intersetorial, interdisciplinar
e participativa, seja alcançada
efetivamente a redução das práticas
de violência e a promoção de uma
cultura de paz. Tal tarefa desafiadora
exige um amplo horizonte de tempo
e a apropriação pelos atores sociais
envolvidos para se concretizar e, por
isso, deve ser pensada na perspectiva
do planejamento de curto, médio e
longo prazo.
Assim sendo, ao se planejar planos,
programas e projetos, as ações
de monitoramento e avaliação
se constituem em importantes
ferramentas de gestão que auxiliam
na superação de dificuldades que
normalmente ocorrem no processo
de execução, no acompanhamento do
desempenho e no aperfeiçoamento
contínuo da qualidade do que se
almeja atingir.
A palavra monitoramento vem do
termo em latim monere, que significa
alerta. Em português, tem-se traduzido
como monitoria ou monitoramento,
sendo usada também como sinônimo
de vigilância, acompanhamento,
seguimento. Pode-se dizer que
monitorar é acompanhar algo para
saber se seu desenvolvimento ou
crescimento está se dando conforme o
esperado. Monitorar é um ato contínuo
de observação no qual os atores
sociais envolvidos obtêm retorno de
informações sobre o progresso que tem
sido feito para o alcance de metas e
objetivos. Monitorar é constatar.
A avaliação, por sua vez, é estabelecer
um juízo de valor, fazendo uma análise
das vantagens e desvantagens dos
procedimentos adotados, se estão
respondendo ou não ao que se
busca alcançar. Possibilita um olhar
que identifica responsabilidades e
processos a serem disseminados,
reforçados ou reorientados. Em outras
palavras, a avaliação é o processo
de valoração das ações concluídas,
ou em andamento, para determinar
até que ponto estão sendo atingidos
seus objetivos declarados e contribui
para a tomada de decisão do que
deve permanecer, ser reorientado
ou disseminado em determinada
iniciativa. Avaliar é valorar.
Na prática, o monitoramento deve
estar articulado com a avaliação; os
dois aparecem juntos nos
processos de acompanhamento,
pois possuem objetivos comuns:
garantir que a ação programada
alcance metas e resultados
previstos da melhor forma, ou seja,
de modo eficiente e eficaz. Ambos
são processos contínuos e têm
metodologias próprias. A diferença
fundamental entre os dois é que
a avaliação exige análises mais
rigorosas, muitas delas feitas de
modo independente de quem executa,
para indicar aos gestores e demais
atores sociais envolvidos se estão ou
não no caminho certo.
PARA COMPREENDER AS RELAÇÕES E DEPENDÊNCIAS
ENTRE PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO:
Sem um planejamento adequado e
uma articulação com os resultados
desejados não fica claro o que
deve ser monitorado, nem como;
portanto, não se pode fazer bem o
monitoramento
sem planejamento eficaz, com
resultados bem definidos, a base da
avaliação é fraca; portanto, não se
pode fazer bem uma avaliação
sem um monitoramento atento,
não se podem coletar os dados
necessários; portanto, não se pode
fazer uma boa avaliação
o monitoramento é necessário, mas
não suficiente, para a avaliação
o monitoramento facilita a avaliação,
mas a avaliação utiliza compilação
de dados adicionais e diferentes
quadros para análise
o monitoramento e a avaliação
de um programa, muitas vezes,
levarão a mudanças em seus
planos do programa. Isso pode
significar mudanças adicionais ou
modificações na coleta de dados
para o monitoramento
Fonte: Adaptado de MANUAL DE PLANIFICACIÓN, SEGUIMIENTO
Y EVALUACIÓN DE LOS RESULTADOS DE DESARROLLO, PNUD, 2009.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
O QUE É MONITORAMENTO
E O QUE É AVALIAÇÃO?
11
METODOLOGIA
as ações e decisões. As avaliações
devem ser feitas para melhorias
programáticas, enquanto o programa
ainda está em andamento, e para
apoiar o planejamento de novos
programas.
Monitorar e avaliar vão além de
fiscalizar ou de exercer controle social,
são possibilidades de fazer com que
planos, programas e projetos se
tornem melhores, flexíveis e mais
criativos.
| GUIA DE MONITORAMENTO E AVALIAÇÃO
POR QUE MONITORAR E AVALIAR?
12
Leia mais no
Guia do Plano
Integral e
participativo.
O principal objetivo do Plano Integral
de Convivência e Segurança Cidadã
é a redução da criminalidade e da
violência em um território. Para
isso, são definidas diretrizes, ações
e metas visando à prevenção e
ao enfrentamento da violência e
da criminalidade, com a atuação
integrada entre o poder público,
a comunidade e a sociedade civil
organizada. Tais diretrizes, ações e
metas são desdobradas em
projetos que, por sua vez, são
elaborados e implementados de modo
participativo desde o planejamento
até a execução.
Um Plano bem monitorado e avaliado
possibilita:
Atendimento de diretrizes, ações
e alcance de metas nos tempos
previstos
Aperfeiçoamento na utilização dos
recursos
Potencialização de resultados
Promoção de uma gestão
transparente do processo e incentivo
à corresponsabilização dos atores
para a execução das atividades e
alcance dos objetivos e impactos
esperados
Audiência com prefeito eleito incentiva
ação da Comissão de Comunicação
A troca da gestão municipal em Vitória (ES)
apresentou uma oportunidade não esperada
de avaliação da metodologia utilizada no
desenvolvimento de projetos na área de
Convivência e Segurança Cidadã e para uma ação
de monitoramento da Comissão de Comunicação
e Mobilização Social Puxaí. O prefeito eleito,
antes de tomar posse, realizou audiências
públicas nas regiões administrativas do
município, com o objetivo de ouvir as principais
demandas da população local. Em São Pedro
– região de Vitória integrante do Programa
Conjunto da ONU “Segurança com Cidadania”,
a audiência aconteceu no final de novembro de
2012 e reuniu lideranças dos dez bairros que
compõem o território.
Na dinâmica da reunião, todos poderiam se
inscrever para em poucos minutos falar sobre o
problema que gostaria de ver resolvido pela nova
gestão. Dentre os mais de cem participantes,
havia tanto pessoas que conheciam o Diagnóstico
e o Plano Integral e Participativo, como aquelas
que não sabiam da existência do Programa.
Assim, a Comissão de Comunicação – composta
principalmente por algumas lideranças locais e
jovens da região – fez a entrega do Plano para
o novo prefeito, apresentando-o como uma
demanda da comunidade local.
À medida que as demais colocações dos
presentes iam sendo feitas, foi possível perceber
que boa parte delas estavam, de alguma forma,
inseridas no Plano. Um dos problemas mais
destacados durante a audiência foi a falta
de segurança na Rodovia Serafim Derenze –
principal via da região. A melhoria na segurança
desta avenida está prevista no Plano Local,
por meio do projeto de Ampliação das Políticas
de Acessibilidade e Mobilidade da Região
de São Pedro, que tem como uma de suas
metas a implantação do Corredor da Serafim
Derenze, proposta já existente na Secretaria de
Desenvolvimento da Cidade, mas ainda
não executada.
Outra questão levantada diversas vezes
durante a audiência foi o problema do lixo e dos
entulhos que se acumulam na região. A coleta
seletiva do lixo e a implantação de programas de
sensibilização para importância da separação de
resíduos são ações também contidas no Plano.
Dessa mesma maneira, diversos temas
contemplados, tanto no Diagnóstico quanto no
Plano, foram aparecendo ao longo da reunião:
melhoria no acolhimento de mulheres vítimas de
violência, ampliação das vagas dos programas
de escola em tempo integral, falta de uma escola
de ensino médio e técnico na região, criação
de programas de capacitação profissional,
conclusão de obras do Orçamento Participativo
e melhoria da iluminação pública, entre outros.
Assim, foi possível checar que a metodologia
proposta e desenvolvida na região vai ao
encontro dos anseios da comunidade de São
Pedro, contribuindo para apresentar de forma
clara as principais questões enfrentadas naquele
território e propondo alternativas de melhoria da
qualidade de vida na região.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
O monitoramento fornece informações
em tempo real necessárias para a
gestão, enquanto a avaliação fornece
uma análise mais abrangente. O
processo de monitoramento pode
gerar perguntas que devem ser
respondidas pela avaliação. Juntos,
monitoramento e avaliação fortalecem
o planejamento e a aprendizagem,
alimentando o ciclo do fazer, aprender
e melhorar. As lições aprendidas
do monitoramento são discutidas
periodicamente e usadas para reforçar
13
públicos e dos diversos atores sociais
das comunidades participantes dos
planos, programas e projetos. É
importante saber se o que aconteceu
é por causa da ação empreendida e
que mudanças essa ação provocou
em relação ao problema que se
pretendia resolver.
Para melhorar as chances de sucesso da ação,
devem-se fortalecer quatro áreas principais
1. Planejamento e definição do
programa e do projeto | Projetos
e programas têm uma maior chance
de sucesso quando seus objetivos
e seu alcance são bem definidos e
compreendidos. Isso reduz a chance
de encontrar desafios significativos
durante a implantação.
| GUIA DE MONITORAMENTO E AVALIAÇÃO
2. Participação ampliada | Altos
níveis de compromisso de usuários,
atores sociais envolvidos na
execução e partes interessadas
na iniciativa são cruciais para seu
sucesso.
14
Leia mais
no Guia de
Comunicação
e Mobilização
Social.
3. Comunicação | Uma boa
comunicação resulta numa
mobilização e maior aceitação
por parte dos interessados. Além
disso, a melhoria da comunicação
esclarece objetivos, papeis e
responsabilidades, bem como as
informações sobre o andamento
e desempenho do projeto. Essa
clareza ainda ajuda a garantir a
utilização ótima dos recursos.
4. Acompanhamento e avaliação |
Os programas e projetos com fortes
componentes de monitoramento e
avaliação tendem a ser relevantes
para ter continuidade e serem
replicados. Além disso, muitas
vezes os problemas são detectados
antes, reduzindo a probabilidade
de custos excessivos ou atrasos
significativos.
Fonte: Adaptado de MANUAL DE PLANIFICACIÓN, SEGUIMIENTO Y EVALUACIÓN DE LOS RESULTADOS
DE DESARROLLO, PNUD, 2009.
Todos os envolvidos no processo
deverão ter a oportunidade de
monitorar e avaliar a implantação
do Plano e de seus respectivos
projetos ao longo do tempo. Assim,
é possível a identificação dos efeitos
e dos impactos alcançados pelas
ações, de modo que seja possível
agregar, continuamente, valor ao
que se está sendo executado. Isso
representa um aumento da capacidade
governamental de responder às
demandas da gestão da Convivência
e Segurança Cidadã dentro das
capacidades existentes
em cada localidade.
Para serem efetivos, o monitoramento
e a avaliação exigem métodos
e recursos rigorosos e, muitas
vezes, dispendiosos para a gestão
pública. Apesar disso, quanto mais
participativo for o processo,
maior será a chance de obtenção de
informações qualificadas e válidas
para alimentar os indicadores e as
análises e, como consequência,
pode-se baratear os custos e otimizar
os recursos disponíveis.
Embora muitas sejam as dificuldades
para se assumir esta decisão, os
ganhos posteriores e o nível de
envolvimento da comunidade se
configurarão em um legado que, aos
poucos, tornará o monitoramento
e a avaliação imprescindíveis na
gestão de qualquer iniciativa para o
desenvolvimento local com base no
desenvolvimento humano.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
O monitoramento e a avaliação
possibilitam a geração de informações
fidedignas sobre os resultados
alcançados, a identificação de
restrições ou dificuldades enfrentadas
na implantação, bem como que sejam
criadas recomendações para auxiliar
a tomada de decisão dos gestores
15
Entrevista | Clarice Zilberman Knijnik
Como pode ser definida, de
maneira sucinta, a diferença entre
monitoramento e avaliação?
| GUIA DE MONITORAMENTO E AVALIAÇÃO
O monitoramento é um insumo
da avaliação. Você não consegue
avaliar perfeitamente se não tiver
um processo de monitoramento
bem definido e executado de
maneira efetiva, ao longo de toda
a implementação do projeto. Sem
monitoramento não se faz avaliação.
16
Quais as especificidades que um
projeto tão amplo como o Plano
Integral e Participativo de Convivência
e Segurança Cidadã tem no viés do
monitoramento e da avaliação?
A primeira delas é o monitoramento
de longo prazo. Isso é um grande
desafio, principalmente em
períodos de troca de governo.
O monitoramento tem que ser
um compromisso assumido
pela comunidade, por técnicos
e autoridades desde o início da
formulação do projeto. Existem
instituições coparticipantes que,
independente das autoridades e
das pessoas que estão incluídas
no processo, podem assumir
conjuntamente esse compromisso,
porque isso é uma forma de
assegurar que as atividades vão
continuar. A segunda especificidade
é a metodologia que será adotada.
O monitoramento feito de forma
participativa, com o envolvimento
de ONGs, comunidade e instituições
públicas, é um processo que
exige uma maior capacidade dos
diferentes atores de articulação,
assim como o entendimento
das responsabilidades e das
Clarice Zilberman Knijnik é consultora do PNUD em Monitoramento e Avaliação
para o Programa Conjunto da ONU “Segurança com Cidadania”. Mestre em
Planejamento de Políticas Públicas e Meio Ambiente pela Universidade de Paris
XII, Clarice trabalha desde 2006 com consultoria em desenho, monitoramento
e avaliação de projetos em diferentes áreas de políticas públicas para
organizações internacionais. Na entrevista abaixo, ela fala um pouco sobre os
desafios dos processos de monitoramento e da avaliação.
contribuições a serem dadas. Por
isso, a metodologia adotada deve
ser clara, discutida e acordada pelos
parceiros e atores envolvidos.
E quais são os fatores que merecem
mais atenção durante esse processo
de monitoramento e avaliação?
Uma das coisas importantes é a
constituição de uma linha de base.
Ela é anterior à implantação do
projeto. Teoricamente, ela teria que
dar os insumos para o detalhamento
do projeto. Por exemplo: por que, em
determinada ação de um projeto,
é sugerida a capacitação de 300
pessoas? De onde saiu essa meta
a ser alcançada? Temos a situação
atual, geradora de uma demanda
(diagnóstico), que pode ser de mil
pessoas capacitadas. No entanto,
a decisão do projeto de atender
somente 300 numa primeira etapa
se baseou no tempo exíguo para a
execução e em recursos limitados.
Então, a primeira recomendação
é o estabelecimento de linha de
base para orientar o planejamento
da proposta de projeto, apoiar a
avaliação da iniciativa e permitir, em
um prazo maior, medir os impactos
do projeto. O segundo ponto, muito
importante, é que muitas vezes as
pessoas não conhecem direito esse
processo de acompanhamento de
um projeto. Em certas ocasiões, os
atores podem ter uma atividade
mais executiva e conhecem bem
certas etapas do projeto, reduzindo
a visão do todo. Monitorar um
projeto significa também ter uma
visão completa dele. E quando
esse processo é acompanhado por
diversos atores, como é o caso, é
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
“É importante ter em mente
que o monitoramento é um
instrumento de participação,
transparência e cidadania.”
17
O local onde o Plano Integral e
Participativo de Convivência e
Segurança Cidadã e seus processos
de monitoramento e avaliação estão
sendo executados tem influência no
perfil do projeto?
Na constituição dos Planos,
apesar de serem semelhantes nos
eixos de atuação, encontramos
conteúdos diferentes. Significa
que não tem uma única receita!
Existe um quadro de referência
para o planejamento das ações,
que são os grandes eixos de
desenvolvimento, mas podemos
ver refletidas no Plano as
dificuldades, as facilidades e as
vantagens de cada localidade.
Assim, é preciso que as
especificidades dos territórios
e das comunidades sejam
respeitadas. A metodologia deve
ser aplicada para atender aos
anseios locais, tendo em mente
que os processos e as articulações
para a implantação de projetos
são diferentes em cada lugar,
respeitando as características
das comunidades envolvidas.
Qual é o perfil ideal do comitê ou da
pessoa que irá acompanhar o processo
de monitoramento e avaliação?
O comitê deve ser constituído por
um número não muito grande de
pessoas, mas ele tem que ter pelo
menos um membro representativo
de cada uma das categorias de
atores, parceiros e beneficiários
envolvidos. É fundamental ter
pessoas com um perfil comunicativo,
que apresentem muita liderança,
consigam receber informações,
analisá-las e devolvê-las para
as comunidades e que tenham
poder de agregação grande. Essas
pessoas devem saber escutar e
disseminar o que foi decidido, além
de trazer respostas de consultas
à comunidade ou à instituição à
qual representam. Principalmente,
pessoas que tenham a capacidade
de pensar nos benefícios do projeto
como um todo, deixando de lado
os interesses específicos das
suas instituições ou organizações
para tratar os temas em termos
de comunidade e cidadania. É um
desafio em que as pessoas têm que
deixar questões internas das suas
entidades de lado e pensar sempre:
qual é o objetivo e por que nós
estamos aqui? Determinados temas
muitas vezes exigem que o comitê
apresente em sua composição
uma pessoa neutra, altamente
reconhecida pela sociedade e que
aporte expertise em determinados
temas. Essa pessoa atuará como
um mediador nos conflitos que
podem acontecer ocasionalmente
nos processos de implantação de
projetos e de planos.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
| GUIA DE MONITORAMENTO E AVALIAÇÃO
18
importante ter em mente que o
monitoramento é um instrumento
de participação, transparência
e cidadania. Ele exige e permite
condições de transparência do
que está sendo efetivamente
executado, como está sendo e os
avanços e dificuldades enfrentados
na implantação do projeto. Em
geral, algumas instituições públicas
não criam espaços que permitam
a participação da sociedade
em termos de cobrança, de
colaboração e de acompanhamento
dos projetos. Este processo de
planejamento participativo vem se
incorporando com mais força nas
ações públicas na última década.
Assim, é preciso que a comunidade
conheça os processos de
planejamento participativo (incluindo
monitoramento e avaliação),
criando formas de colaboração
e de cobrança de resultados das
instituições públicas, que têm sua
existência voltada ao atendimento
da sociedade. É um instrumento
de participação, de exercício de
cidadania e de governança.
19
Como dito anteriormente, o
monitoramento e a avaliação
são práticas complementares e
interdependentes. Por isso, há a
necessidade de se estabelecer
com cuidado o desenho do projeto,
considerando as demandas de
informações que irão orientar tanto a
execução quanto o acompanhamento.
O Plano Integral e Participativo é uma
ferramenta que define o conjunto de
ações a serem realizadas, relacionando
compromisso e responsabilidades dos
diversos atores sociais envolvidos, além
dos prazos e recursos necessários para
a implementação.
caminhos, para serem acompanhados,
precisam de marcos que sinalizarão
onde se está chegando. Estes marcos
são chamados de indicadores. Além dos
indicadores, é preciso descrever de forma
clara e objetiva as metas (mudanças
desejadas), os meios de verificação
(como serão encontrados os indicadores),
a linha de base (situação anterior à
implementação do projeto) entre outros
elementos de planejamento, que, ao
serem bem definidos, favorecem o
alcance dos resultados.
O resultado é aquilo que se espera ao
final da execução de uma atividade, de
um projeto ou de um programa. São os
Ao definir as ações que serão detalhadas resultados que provocam as mudanças
esperadas em relação aos problemas
em programas e projetos, o Plano traça
ou às necessidades inicialmente
caminhos a serem trilhados para o
alcance das mudanças desejadas. Esses identificados.
| GUIA DE MONITORAMENTO E AVALIAÇÃO
Definindo princípios fundamentais
para uma boa prática de monitoramento e avaliação
20
Apropriação pelo Governo, pela
comunidade e pelas lideranças
do Plano Integral de Convivência
e Segurança Cidadã | Assegurar
a participação ampla dos diversos
atores sociais em todos os estágios
do Plano favorece o fortalecimento
pelo governo de sua capacidade
institucional, associada a uma cultura
de gestão voltada para o alcance dos
resultados, com forte contribuição da
comunidade, de modo consultivo, e
de seus representantes de diversos
setores, de modo deliberativo.
Assim, potencializam-se os acordos
estabelecidos quando da elaboração
do Plano, o que incentiva o uso dos
resultados do Monitoramento e
da Avaliação para a proposição e
reformulação de políticas públicas.
Relevância e aplicabilidade | Para
serem relevantes, o monitoramento
e a avaliação devem ser desenhados
para responder as demandas de
Convivência e Segurança Cidadã que
são importantes para a comunidade
e os beneficiários. O planejamento
conjunto favorece a compreensão
sobre o que realmente a comunidade
espera conhecer, ser informada ou
colaborar. Isso assegura um bom
desenho de plano de trabalho de
monitoramento e avaliação, o que
aumenta a probabilidade de que as
lições aprendidas e recomendações
possam alimentar a formulação
de novas iniciativas e de políticas
públicas.
Flexibilidade e adaptabilidade às
condições locais | É imprescindível
que haja flexibilidade e adaptabilidade
do Monitoramento e da Avaliação
para as especificidades locais.
Para tanto, o planejamento deve
ser pensado de modo a adaptar o
projeto aos contextos institucionais,
sociais e econômicos em que irá
ser desenvolvido. Isso envolve uma
análise prévia quanto aos atores
sociais envolvidos em termos de
disponibilidade, nível de conhecimento
e possibilidade de acesso às
informações, que inclui as condições
das organizações envolvidas e a
capacidade de disponibilização de
recursos financeiros. A metodologia
existe como referência para o
processo, mas deve ser trabalhada
como orientadora da ação, inclusive
ao considerar as possibilidades de
reorientação de suas etapas, fases ou
procedimentos às condições locais.
Tempo e Oportunidades de
Monitoramento e Avaliação | A
implementação do Plano em sua
totalidade e os seus diferentes
projetos, indica o prazo que é
necessário para o alcance de
determinados resultados. Este
tempo que leva para alcançar os
resultados é um importante elemento
a considerar para a definição da
frequência do monitoramento e dos
momentos adequados de avaliação.
As avaliações intermediárias e finais
normalmente deveriam ser focadas
naqueles resultados que possam
mostrar mudanças mais rápidas, de
acordo com o plano de trabalho e as
metas a alcançar.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
COMO MONITORAR E COMO AVALIAR?
21
É preciso que se compreenda os
referidos elementos de planejamento,
pois eles possibilitam observação
e análise do desenvolvimento de
determinado processo, de modo
permanente e sistemático, ao longo de
um plano, programa ou projeto.
Assim, seguem abaixo os elementos
necessários para um melhor
entendimento do processo de
monitoramento e avaliação.
| GUIA DE MONITORAMENTO E AVALIAÇÃO
a) Indicadores
22
Um indicador é um marco, uma
referência, uma medida para que
se possa verificar ou constatar
determinado fenômeno ou situação.
Por isso, é usado para responder à
questão “se” ou “quanto” progresso
tem sido feito para atingir os objetivos
declarados. O uso de indicadores
possibilita ter uma visão do processo,
identificando o desempenho do plano
de ação e os resultados alcançados.
Eles devem ser qualitativos e
quantitativos e, ao serem definidos,
também é preciso que se informe
como serão coletados, quais os
procedimentos a serem adotados para
a coleta e quem vai executá-la.
Algumas características devem ser
atendidas na definição e na seleção dos
indicadores:
ser significativo
ter objetividade e coerência
ser sensível às mudanças no tempo
ser de fácil mensuração, o que
significa basear-se em informações
acessíveis e de baixo custo
ser centrado em aspectos práticos, o
que implica ser de fácil compreensão
e gerar resultados facilmente
apropriados
ter fontes seguras e contar com o
maior universo disponível
Além disso, é preciso observar que:
a qualidade do indicador é mais
importante que a quantidade, pois
o excesso de indicadores dificulta a
sistematização e a interpretação dos
dados e de informações
para cada etapa do processo
– diagnóstico, planejamento,
implementação, monitoramento
e avaliação – devem ser definidos
indicadores próprios que ajudem
a conhecer o cumprimento dos
objetivos e o alcance dos resultados
os indicadores devem traduzir a
temática trabalhada, neste caso,
Convivência e Segurança Cidadã
Para que os indicadores sejam
apropriados a cada fase do
processo, pode-se classificá-los
da seguinte forma:
Indicadores de Linha de Base
são informações quantitativas
e qualitativas que servem de
referência para comparação
posterior (por exemplo: número de
jovens desempregados, número
de projetos de lazer que atendem
à comunidade, taxa de homicídio,
entre outros, que existiam quando da
implantação do projeto)
demonstram a situação encontrada;
indicam o caminho a seguir
Indicadores de Processo
informam sobre a dinâmica das
ações e atividades realizadas, ou
seja, recursos e insumos utilizados,
aproveitamento das capacitações,
avaliação qualitativa das ações,
parcerias envolvidas, análise
realizada pelos atores sociais
envolvidos
demonstram se a ação está no
caminho certo
Conferem os passos dados
Indicadores de Resultado
apontam o grau em que os objetivos
e metas foram alcançados, tais
como: produtos realizados (número
de cursos realizados e quantidade
de programas implantados, entre
outros); impacto na população
beneficiada; instrumentos
(formulários, fontes, etc.) para cada
uma das etapas acima
demonstram se o trabalho atingiu o
objetivo esperado
verificam até onde se consegue
chegar
Os indicadores de monitoramento
atuam como sinalizadores para
mostrarem o que precisa ser
investigado mais cuidadosa e
profundamente nas avaliações. Estas
abordarão como foi feito, como poderia
ser feito de uma melhor maneira, se
foi importante para a comunidade, se
a iniciativa tem sustentabilidade e,
sobretudo, sobre os seus resultados e
mudanças (efeitos e impactos).
A definição de indicadores para
avaliação, por sua vez, deve ser
feita em função dos aspectos
que queremos avaliar, medir ou
acompanhar, de acordo com critérios
de eficiência, eficácia e efetividade.
Uma boa definição de indicadores
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
Identificando peças chaves
para o monitoramento e a avaliação
23
b) Linhas de Base
| GUIA DE MONITORAMENTO E AVALIAÇÃO
Os diagnósticos são as bases
necessárias para a elaboração de
planejamentos estratégicos. Eles são
a leitura do cenário a ser trabalhado,
sendo um elemento essencial para as
definições que comporão o projeto.
Um diagnóstico é um instrumento
de interpretação da realidade que
deve anteceder qualquer iniciativa,
para que se possa ter uma leitura
do cenário inicial que receberá
determinada proposta.
24
A Linha de Base, ou Marco Zero,
é um tipo de diagnóstico. A Linha
de Base possibilita a identificação
de problemas e de condições já
existentes, servindo de base segura
para as definições de ações do Plano.
Devem constar da Linha de Base
indicadores de Monitoramento e
Avaliação que possibilitarão avaliar
efeitos e impactos causados pela
iniciativa. Para uma avaliação final,
pode ser realizada, também, uma
análise comparativa entre os dados
da Linha de Base sem intervenção da
iniciativa e os resultados alcançados
com a execução da mesma.
Na maioria dos casos, as Linhas
de Base não são realizadas nos
planejamentos por diferentes
razões, sendo as mais comuns:
falta de recursos, de tempo, de
informações ou ausência de séries
(a mesma informação levantada em
um conjunto de anos consecutivos).
No entanto, as Linhas de Base são
fundamentais para dar insumos
de comparação entre um ponto de
partida e um ponto de chegada.
Assim é possível saber com mais
segurança se determinada iniciativa
mudou a realidade, pois teremos a
referência de como estava antes dela
ser realizada.
Por exemplo: dentro de um Plano
Integral e Participativo de Convivência
e Segurança Cidadã, identifica-se no
estudo da linha de base que no início
do projeto havia um número alto de
eventos de violência doméstica na
comunidade a ser trabalhada. Algum
tempo depois, este é um número que
servirá de base comparativa para a
afirmação de que o projeto contribuiu
para diminuir ou não o número de
eventos de violência doméstica.
Os estudos de linha de base devem
ser criteriosos e relativos a uma real
existência ou não dos programas e
projetos informados, bem como ao
alcance de beneficiários já realizado,
reconhecendo, de fato, não somente
o que aquele território necessita,
mas também o que já conquistou.
Além disso, os dados obtidos e
sistematizados são fundamentais
para um bom desenho do projeto, bem
como determinantes das definições
de estratégias para a reconfiguração
daquela realidade identificada.
Ao retratar fidedignamente a realidade
encontrada, pode-se dar a dimensão
mais aproximada possível daquilo que
aquele território dispõe ou precisa.
Caso contrário, se o contexto inicial
não for tratado com rigor pode-se
mascarar ou superdimensionar os
efeitos e resultados alcançados, o
que, por sua vez, pode comprometer
a validade de todo o processo de
execução e de monitoramento e
avaliação da iniciativa.
c) Metas
As metas estão diretamente ligadas
aos objetivos. Os objetivos são
declarações do que se pretende
alcançar, dividindo-se em geral e
específicos. O Objetivo Geral descreve
o que se pretende alcançar com toda a
iniciativa e aponta para uma meta que
descreve sinais de mudanças gerais em
longo prazo. Os objetivos específicos
são os resultados que se pretendem
atingir com as diversas ações previstas,
possuindo metas próprias.
As metas quantificam e qualificam
os objetivos em relação ao período de
realização previsto. As metas são a
quantificação dos resultados esperados,
indicam qual o percentual que se deseja
reduzir em determinado problema ou
mesmo resultados qualitativos, como
que mudanças comportamentais se
espera desenvolver e em quanto tempo
se espera alcançar cada resultado.
Várias etapas são cumpridas para se
chegar à versão final do Plano.
A partir do estudo previamente feito
na região, o Diagnóstico Integral e
Participativo, define-se o impacto
que o plano deve atingir, seu objetivo
final e suas áreas de atuação, que
representam a meta final ou geral do
plano. Assim, discutem-se também
quais as ações que são necessárias
para o alcance da meta final. Estas
ações definem as metas parciais
que, como já dito, correspondem aos
objetivos específicos.
Leia mais
no Guia do
Diagnóstico
Integral e
Participativo.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
contribui para um conhecimento
aprofundado das organizações e dos
sistemas que queremos transformar,
sinalizando dificuldades, facilidades
e tendências a serem mantidas ou
reorientadas.
25
Os resultados devem prever indicadores
mensuráveis, ou seja, que possuam
meios de verificação correspondentes.
Isso significa que os dados e as
informações devem estar facilmente
disponíveis para poderem facilitar
a medição do progresso que está
sendo feito, ou foi feito, na execução
ou finalização da iniciativa. Por isso,
é importante lembrar que, ao definir
indicadores, é preciso considerar
como os dados serão coletados
durante o processo de monitoramento
e avaliação.
Observar os meios de verificação é
fundamental por que:
Meios de verificação bem definidos
evitam que haja definição de metas
e objetivos demasiados
| GUIA DE MONITORAMENTO E AVALIAÇÃO
meios de verificação acessíveis, a
partir de informações facilmente
disponibilizadas, contribuem
26
para delimitar com mais
precisão o alcance do projeto e,
consequentemente, demonstrar o
nível de sucesso da iniciativa
tipos de informações que serão
necessárias para garantir a obtenção
de resultados, definidos com clareza,
bem como custos necessários e o
esforço para obtê-los, contribuem
para não por em risco a integridade
da iniciativa
resultados e indicadores baseados
em dados mensuráveis e verificáveis
de forma independente evitam
que se questione até que ponto a
iniciativa é realista ou realizável
meios de verificação definidos de
forma participativa e interativa
contribuem para a compreensão
e o apoio à iniciativa, bem como
para o conhecimento, por parte
dos envolvidos e interessados,
na verificação da obtenção dos
resultados
Monitorando
Alguns exemplos são comuns
para descrever o processo de
monitoramento, como o de observar um
paciente com febre, acompanhando-o
com a mensuração de temperatura
de tempos em tempos para saber
se houve aumento ou redução dela.
Outro exemplo é o de observar os
sinalizadores de gasolina, velocidade ou
temperatura em um painel de controle
de um carro. Por ali constata-se se o
carro está com gasolina suficiente para
o percurso que se pretende realizar, se
está na velocidade devida tanto no que
se refere às regras de trânsito quanto
ao tempo necessário para se romper a
distância no tempo pretendido, ou se o
carro está com o motor na temperatura
adequada para o seu desempenho.
Os projetos sociais também possuem
instrumentos de medição que
funcionarão para, de tempos e tempos,
indicar o que mudou naquele contexto,
como fotografias que, ao serem
colocadas em sequência, demonstram
a evolução de determinada situação.
Neste caso, os sinalizadores serão os
indicadores do desenvolvimento das
ações. Assim, ao monitorar, pode-se
dizer, por exemplo, que se o objetivo é
aumentar o envolvimento de jovens na
discussão de temáticas relacionadas
à Convivência e Segurança Cidadã,
define-se a necessidade do alcance
de participação em Rodas de Diálogos
sobre violência de 400 jovens de
determinada comunidade, num período
de 12 meses. Pode-se, a cada dois
meses, verificar quantos jovens estão
participando nas atividades das Rodas
de Diálogo. Isso demonstrará se o
nível de participação tem aumentado
ou diminuído.
De modo simplista, nos exemplos
citados anteriormente, podemos
estabelecer algumas diferenças
entre monitoramento e avaliação.
No caso da pessoa com febre, o
monitoramento sinaliza o estado
da temperatura, existência ou não
de febre ou hiportermia. Supondo
que se identifique que ao aplicar
todos os procedimentos decididos a
temperatura permaneça alta, avalia-se:
o que provocou aquela permanência?
Quais os novos procedimentos que
deverão ser tomados? Muda-se o
medicamento, faz-se um resfriamento
ou se prossegue por mais tempo com a
mesma conduta?
A mesma coisa para o carro. Quanto ao
combustível, o que deve ser realizado
é completar a quantidade ou analisar
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
d) Meios de Verificação
27
de diálogo, é preciso saber porque a
frequência está ou não sendo atendida.
Em caso negativo - é por que o
facilitador tem uma metodologia pouco
atrativa? A turma é muito heterogênea
em termos de idade? Os assuntos são
inadequados para a Roda de Diálogo?
Só para citar algumas possibilidades.
Passo a passo para a realização do monitoramento
1. Revisar o contexto político e operativo
e definir papeis e responsáveis.
2. Preparar o processo de
Monitoramento e Avaliação com a
elaboração participativa de um Plano
de Trabalho, reforçando a data de
início do processo.
3. Para a elaboração do Plano de
Trabalho, responder:
O que vai ser monitorado?
Com que finalidade irá monitorar?
Que aspectos da iniciativa é
preciso conhecer melhor e investigar?
| GUIA DE MONITORAMENTO E AVALIAÇÃO
Como e quando será feita a
obtenção e coleta de informações?
28
Como e por quem serão analisadas
as informações coletadas?
Para quem e como serão
comunicados os resultados das
análises?
Como e quem tomará as decisões
com base no que foi descoberto?
4. Recolher dados:
Em relatórios financeiros
Em relatórios de atividades
Por meio de entrevistas
em relatório de visitas técnicas
entre outras fontes
5. Analisar, por meio de comparação
entre o planejado e o observado,
procurando o porquê dos alcances
e dos não alcances e sugerindo
caminhos para recuperar os desvios
e atrasos.
6. Informar aos gestores, a pessoas
envolvidas, a interessados e à
comunidade sobre os alcances e não
alcances e sugestão de caminhos
para recuperar os desvios e atrasos.
7. Usar os dados e a informação do
monitoramento na gestão e na
tomada de decisões.
Fonte: PNUD (2009) e material do curso de Monitoramento de Projeto para a Implantação
do Plano Integral no âmbito do Programa Conjunto “Segurança Cidadã”
controle social
Comissão de Comunicação
tem papel monitorador no
Programa Conjunto da ONU
“Segurança com Cidadania”
Para garantir que as ações previstas
no Plano Integral e Participativo
em Convivência e Segurança Cidadã
saiam do papel é preciso avaliar os
resultados e monitorar as ações.
Sabemos que a execução do Plano
depende de vontade política, mas
não só disso. O controle social,
exercido pelos atores locais, é
fundamental para garantir que
isso ocorra. Nos três municípios
integrantes do Programa Conjunto
da ONU “Segurança com Cidadania”,
o Comitê Gestor Local é a instância
responsável por esse processo. No
entanto, em Lauro de Freitas (BA),
em Vitória (ES) e em Contagem
(MG), a criação da Comissão de
Comunicação e Mobilização Social
– formada, em sua maioria, por
lideranças comunitárias locais –
deu um grande salto no processo
de avaliação e monitoramento das
ações e dos projetos previstos no
Plano. Exemplo disso foi a ação
realizada pela Comissão Puxaí,
de Vitória (ES). Após o estudo
detalhado do Plano de São Pedro, os
integrantes da Comissão levaram o
documento para o novo prefeito de
Vitória, durante audiência pública
realizada antes da posse. Em Lauro
de Freitas (BA), foram realizados
encontros para estudo do Plano
que reuniram policiais militares,
lideranças comunitárias, agentes de
saúde e representantes de ONGs,
entre outros. O Plano foi entregue
pelo grupo à Comissão de Transição
do prefeito eleito do município
durante reunião. Foi iniciado,
também, um processo de construção
coletiva de conteúdos para compor
uma Cartilha do Plano Integral de
Convivência e Segurança Cidadã,
com dicas e informações para
orientar as pessoas a exercerem o
seu papel de cidadãs para garantir
que todas as ações e projetos
previstos sejam executados.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
se o tipo utilizado está sendo o mais
adequado? Pode ser feita uma parada
de descanso por conta das distâncias
alcançadas ou é necessário aumentar
a velocidade para chegar a tempo? Ou,
ainda, se é preciso avaliar o motor por
conta da temperatura, entre outras
coisas. E, quanto aos jovens das rodas
29
Avaliando
Critérios da Avaliação de Resultados:
Como dito anteriormente, a avaliação é o estabelecimento de um juízo de valor
baseado em evidências, que devem estar amparadas em fatos, o que permite
a proposição de recomendações e a sistematização de lições aprendidas. A
avaliação torna-se mais relevante quanto maior for a capacidade de retorno
feedback que ela consiga oferecer: quer seja para os executores do plano,
programa ou projeto, para os beneficiários diretos ou qualquer outro ator social
envolvido ou interessado pela iniciativa.
Relevância | examina a validade
e a necessidade de um projeto,
observando se os efeitos esperados
atendem às demandas dos
beneficiários, se a intervenção
é apropriada para solucionar os
problemas identificados, se o conteúdo
é consistente com as políticas, se as
estratégias e abordagens adotadas
são relevantes.
Tipos de avaliação em relação ao que será avaliado:
AVALIAÇÃO DA EFICIÊNCIA
(usar recursos da melhor forma possível no tempo fixado)
custos executados
METAS ALCANÇADAS
CUSTOS EXECUTADOS
AVALIAÇÃO DA EFETIVIDADE
(alcançar as transformações desejadas por meio de efeitos e impactos)
| GUIA DE MONITORAMENTO E AVALIAÇÃO
SITUAÇÃO ANTES DA
INICIATIVA (EX-ANTE)
30
OBJETIVA
Verifica mudança
quantitativa
Sustentabilidade | considera
as probabilidades de os efeitos
continuarem a ocorrer após o término
da assistência.
Etapas da avaliação dos resultados da iniciativa
AVALIAÇÃO DA EFICÁCIA
(conseguir cumprir metas)
METAS PROPOSTAS
CUSTOS PREVISTOS
Impacto | analisa os efeitos a
médio e longo prazos, inclusive
direta ou indiretamente, positiva ou
negativamente, intencionais ou não.
SITUAÇÃO DEPOIS DA
INICIATIVA (EX-POST)
SUBSTANTIVA
SUBJETIVA
Verifica mudança
qualitativa na vida dos
beneficiários
Verifica mudança
comportamental
ou de cultura
ETAPA 1
ETAPA 2
ETAPA 3
Observa RESULTADOS
Observa IMPLANTAÇÃO
DE PROCESSOS
Observa RELAÇÕES
CAUSAIS
Identifica o que foi
realizado e em que medida
Analisa o que está
acontecendo ou aconteceu
no processo para o alcance
do objetivo
Determina se os
resultados alcançados
foram devido à intervenção
realizada com a iniciativa;
verifica como a
implantação afeta o
desenvolvimento
Analisa a relação de
causalidade entre a
iniciativa e o impacto
apresentado
verifica a validade
dos planos e os valores
definidos em relação à
base de dados
verifica se houve
planejamento adequado
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
EFEITOS OBTIDOS
Eficácia | avalia a implementação
do projeto em relação ao alcance dos
efeitos para os beneficiários.
Eficiência | avalia a forma como
foram utilizados os recursos
econômicos e insumos na promoção
dos resultados, observando a relação
entre os custos do projeto e efeitos.
31
AVALIAÇÃO DE PROCESSO
Realizada durante todo o processo de implantação
Avalia continuamente, com equipe executora e beneficiários, as reações das pessoas
envolvidas e os efeitos das atividades, durante ou após a sua execução
Realizada pelos executores
AVALIAÇÃO
ANTERIOR ao início
do Plano OU EXANTE (Diagnóstico/
Linha de Base)
Apreende
características do
contexto na sua
dinâmica
identifica prioridade
e importância da
iniciativa em relação ao
público que pretende
alcançar e para o
desenvolvimento local
identifica demandas
e expectativas da
comunidade envolvida
orienta os detalhes
e resultados do
plano, programa ou
projeto, com dados e
estatísticas relevantes
AVALIAÇÃO DE
MEIO-TERMO
do Plano OU
INTERMEDIÁRIA
realizada no meio
do período da execução
do projeto
analisa a eficiência
das realizações e
dos processos de
implementação
afere o desempenho
e os produtos da ação;
orienta os
possíveis ajustes
com modificações
operativas para
alcance dos resultados
pretendidos
AVALIAÇÃO
FINAL quando do
término do plano
AVALIAÇÃO DE
IMPACTO após o
término do plano
(mínimo de 3
anos) OU EX-POST
realizada após a
conclusão do projeto
realizada depois
de um período da
conclusão da iniciativa
analisa a eficiência,
a eficácia e a
sustentabilidade da
iniciativa
orienta as
mudanças necessárias
ao desenho
identifica as lições
e recomendações
derivadas da execução
da iniciativa
identifica a
necessidade de novas
ações para completar
ou ampliar o período
de execução do projeto
orienta a melhoria
de planos e de outras
iniciativas em relação
ao desenho adotado
pela proposta
orienta maior
eficácia e eficiência de
experiências futuras;
orienta replicação
da iniciativa
| GUIA DE MONITORAMENTO E AVALIAÇÃO
garante coerência
entre os objetivos,
estratégias e resultados
pretendidos e a
proposta
32
analisa o impacto e
a sustentabilidade
exige a comparação
entre o “antes” e o
“depois”
Um Plano de Trabalho de Monitoramento e da Avaliação é peça fundamental para
garantir a boa articulação entre etapas, responsáveis e prazos. Deve ser tido como
um instrumento que orienta o processo permanente de planejamento durante e
após a execução de determinada iniciativa.
Passo a passo para elaboração de um Plano de Trabalho:
1. Realizar um alinhamento metodológico
e conceitual de modo a garantir o
envolvimento e o comprometimento
dos atores sociais e de pessoas que
interagem na iniciativa em questão
2. realizar Curso de Monitoramento e
Avaliação de Projetos de Convivência e
Segurança Cidadã para contribuir para
a construção de uma nova cultura de
gestão e garantir uma leitura bastante
cuidadosa da realidade, bem como de
suas potencialidades e desafios
3. identificar processos criativos
para a garantia da realização do
Monitoramento e de Avaliação de
forma integrada
4. elaborar o Plano de Trabalho, que deve:
propor atividades, produtos e
resultados
identifica viabilidade
da iniciativa
aponta os
indicadores de avaliação
que serão utilizados
para medir o efeito da
iniciativa nas demais
etapas avaliativas
Realizada pelos
propositores e
envolvidos
Elaborando um Plano de Trabalho
de Monitoramento e Avaliação
Realizada por pessoa
externa ao processo
Fonte: adaptado de PEDROSO e ROCHA, 2010
Realizada por pessoa
externa ao processo
Realizada por pessoa
externa ao processo
definir pessoal e recursos
financeiros necessários, e a
contrapartida de cada setor envolvido,
a partir das propostas apresentadas
no Plano de Convivência e Segurança
Cidadã
observar os Resultados e os
Efeitos esperados a curto, médio e
longo prazos
definir os processos de
acompanhamento e avaliação local
dos avanços a serem alcançados
com cada projeto do Plano, até a
finalização do período estabelecido
definir o modo com que esse
processo de monitoramento e
avaliação possa ser apropriado pelos
interlocutores e pontos focais nas
zonas de trabalho
considerar as dificuldades e os
pontos positivos existentes
estabelecer prazos para a
análise dos avanços que vão sendo
alcançados
observar a seleção de indicadores
e metas anuais para alcance de
Produtos e Resultados, bem como a
identificação das prioridades
Estabelecer prazos para proposição
e execução de ajustes identificados
como necessários ao bom
desenvolvimento da iniciativa
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
A Avaliação no Processo de Implantação
33
conscientização
| GUIA DE MONITORAMENTO E AVALIAÇÃO
Para monitorar e avaliar o Plano Integral de
Convivência e Segurança Cidadã é preciso
antes conhecê-lo. Portanto, o processo de
divulgação do documento é de extrema
importância para garantir a sua execução.
Em Lauro de Freitas (BA), a Comissão de
Comunicação e Mobilização Social “Pegue
Visão Cidadão, Pegue Visão Cidadã”
apostou na realização de Rodas de Diálogo
sobre Convivência e Segurança Cidadã para
divulgar amplamente a temática e o Plano.
O público jovem foi o grande foco das ações;
afinal, é para garantir dignidade e vida
segura aos meninos e às meninas que as
ações de Segurança Cidadã são realizadas.
34
Mais de 100 adolescentes e jovens foram
mobilizados pelas Rodas de Diálogo.
Jovens e adolescentes moradores de
Itinga e de outros bairros de Lauro de
Freitas, que puderam não só falar sobre
os preconceitos vivenciados no cotidiano,
lembrar os amigos assassinados, citar os
casos de violência doméstica e as inúmeras
histórias de amigos e familiares envolvidos
no uso de álcool e outras drogas, como
também refletir sobre a pergunta: e você,
adolescente, jovem, o que pode fazer para
contribuir para a Convivência e Segurança
Cidadã em sua comunidade? As respostas
foram várias. Ajudar a conscientizar amigos,
familiares e parentes a cuidar dos espaços
públicos; orientar amigos e amigas sobre
os malefícios do uso de álcool e de outras
drogas; utilizar mecanismos de comunicação
(como folhetos, rádios comunitárias e a arte
de rua) para sensibilizar a comunidade foram
algumas das ações listadas.
“Chega de pensar que o jovem só é
influenciado. O jovem pode e deve, sim,
influenciar e mudar a sua realidade”. Recado
dado pela adolescente Carla Ribeiro, 15
anos. Uma Roda de Diálogo promovida com
agentes de limpeza de Lauro de Freitas para
falar sobre o Plano Integral de Convivência e
Segurança Cidadã, também deu o que falar.
Participaram mais de 100 trabalhadores,
que tiveram a oportunidade de refletir sobre
o papel das pessoas enquanto agentes
da paz e enquanto cidadãos que podem, e
devem, exercer seu papel político e cobrar a
garantia de iniciativas na área de segurança
cidadã. Para Carlos Augusto Anunciação, há
sete anos atuando como gari em Lauro de
Freitas, a conversa foi importante para deixar
a ideia de que todos - polícia, comunidade
e agentes de limpeza - devem trabalhar
juntos. “Só assim, as coisas vão melhorar,
não é?”, indagou. Relatos sobre preconceitos
vivenciados cotidianamente por esses
profissionais também surgiram durante a
Roda de Diálogo. “Eu não sou lixo não, sou
mulher”, disse uma agente de limpeza ao
contar que quando está com a farda, as
pessoas na rua a chamam “lixo, venha cá”.
O que a prática ensina
Para que o monitoramento e a
avaliação sejam efetivos é preciso
que o desenho do projeto seja feito de
forma criteriosa e flexível, de modo
a maximizar o aprendizado sobre
mudanças, quando necessárias,
melhorando as chances de sucesso.
A participação no monitoramento
e na avaliação dos diversos atores
sociais envolvidos no Plano Integral
e Participativo de Convivência
e Segurança Cidadã, desde o
Diagnóstico até o planejamento,
proporciona uma melhor execução
dos planos, programas e projetos,
fortalecendo a efetividade e a
eficiência e incentivando a definição de
responsabilidades.
O uso de espaços de controle
social já existentes na sociedade,
como Comitês, Conselhos e outros,
favorecem o processo participativo
para o acompanhamento das ações
planejadas. Além disso, contribuem
para a aprendizagem coletiva, pois
o desenvolvimento de cada pessoa
promove o desenvolvimento de toda
a sociedade.
Quando um processo é formulado
de maneira criteriosa e participativa,
o envolvimento dos diversos atores
sociais, com ênfase na sociedade civil,
fortalece a capacidade de fiscalização,
exigindo de todos um contínuo
alinhamento do uso dos recursos com
maior transparência e referencial
técnico.
Com a realização de práticas
qualificadas de monitoramento e
avaliação dos Planos Integrais de
Convivência e Segurança Cidadã,
garante-se um maior alcance
das metas estabelecidas e a
sustentabilidade do que foi proposto.
A execução de cada plano, programa
ou projeto terá maior chance
de sucesso na medida em que
o monitoramento e a avaliação
sejam observados e praticados de
forma sistemática e responsável,
como instrumento de tomada de
decisões e de maior participação dos
beneficiários no acompanhamento da
iniciativa.
A avaliação pode ser entendida como
uma fase do ciclo do projeto e como
uma atividade que afeta todas as
demais etapas. É um mecanismo
usado para aprender com o que pode
ser melhorado e com os sucessos
e, consequentemente, melhorar o
planejamento e a gestão do projeto.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
Rodas de Diálogo: fortalecimento
da sociedade civil e envolvimento
de jovens no processo de
avaliação e monitoramento
35
Como vimos, tão importante quanto
fazer é monitorar o que é feito no
momento em que está sendo feito,
analisar continuamente o andamento
da execução do plano, medir a
distância entre meta e resultado,
avaliar em momentos estratégicos
para se apropriar dos processos de
como estão sendo feito e se estão
sendo bem feitos e aprender com essa
experiência, de modo a contribuir para
uma prática sustentável.
IMPORTANTE LEMBRAR
O monitoramento e a avaliação devem
responder às necessidades daqueles
que decidem sobre a iniciativa,
em especial, gestores públicos e
comunidade
avaliação possa gerar: aprendizagem
para novos projetos; prestação
de contas para a comunidade e
responsabilização pública da sua
implantação física e financeira
O monitoramento deve indicar prazos,
ações, recursos e responsáveis para os
ajustes necessários nos planos
A avaliação deve ser entregue a tempo
de assegurar a melhor utilização dos
resultados pelos atores sociais e
gestores envolvidos, de modo a ampliar
os resultados e efeitos esperados
As conclusões, recomendações e
lições aprendidas devem ser claras,
pertinentes e direcionadas para que a
| GUIA DE MONITORAMENTO E AVALIAÇÃO
Fonte: KNIJNIK (2012)
36
empoderamento
Cartilha do Plano:
instrumento de apoio
ao processo de
Monitoramento e Avaliação
Independente de quem esteja
governando um município ou estado,
são as pessoas que vivem ali as
principais interessadas em ver seus
problemas resolvidos. São elas que
sofrem com a violência, com a falta
de transporte público de qualidade,
com uma via perigosa que corta o
bairro, com a falta de coleta de lixo
ou com um mau atendimento no
posto de saúde. Elas conhecem os
principais problemas que enfrentam
no cotidiano e, mais do que ninguém,
querem ver o lugar onde moram
ganhando qualidade de vida.
Por isso, a comunidade é personagem
principal em todas as etapas de um
projeto de Convivência e Segurança
Cidadã. E isso não é diferente na
fase de monitoramento e avaliação.
No entanto, para que isso aconteça
de forma efetiva, é preciso criar
mecanismos de participação que se
adaptem à realidade vivida por aquela
determinada comunidade.
Uma ferramenta que pode ser
bastante útil neste processo é a
Cartilha do Plano – que nada mais
é do que o próprio Plano Integral
e Participativo, apresentado em
uma linguagem popular, de fácil
entendimento. Ela pode trazer
ainda informações sobre controle
social, participação e mobilização,
entre outros. O objetivo é fazer com
que grande parte da comunidade
conheça o conteúdo do plano,
munindo-a de ferramentas para
buscar sua execução. A Comissão
de Comunicação deve participar do
projeto de elaboração da cartilha,
que também poderá envolver outros
atores locais por meio, por exemplo,
de oficinas de educomunicação.
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
Os dados produzidos ao longo do
período de implantação e com o
monitoramento constituem um
recurso essencial nas avaliações.
A conclusão do processo de
monitoramento e avaliação será tanto
mais fácil, menos cara e mais útil
quanto melhor forem identificadas e
formuladas as ações da iniciativa.
37
ReferênciaS BibliográficaS
BRASIL, Ministério do Planejamento, Orçamento e Gestão. Manual de Elaboração do Plano
Gerencial dos Programas do PPA 2004-2007. Brasília, 2004.
BRASIL, Ministério do Planejamento, Orçamento e Gestão / Secretaria de Gestão Pública.
Avaliação Continuada da Gestão Pública. Brasília. 2004.
BRASIL, Tribunal de Contas da União. Prêmio Serzedello Corrêa 2003: monografias vencedoras:
avaliação de programas no Brasil : o papel do Tribunal de Contas da União. Brasília : TCU, Instituto
Serzedello Corrêa, 2005. P. 59.
GARCIA, Ronaldo Coutinho. Subsídios para organizar avaliações da ação governamental (texto
para discussão nº 776). Brasília : Ipea, 2001. p. 29-30.
JOPPERT, Márcia Paterno e SILVA, Rogério Renato. Guia Metodológico para Monitoramento e
Avaliação Participativa. Confederação Nacional de Municípios – CNM e Programa das Nações
Unidas para o Desenvolvimento – PNUD/Brasil – Brasília: CNM, 2012.
KNIJNIK, Clarice. Planejamento e Avaliação para Programa Conjunto “Segurança
Cidadã” – Relatórios. PNUD, Brasília, 2012.
MAFRA, Fábio. O monitoramento dos resultados da gestão governamental no Brasil [manuscrito] /
Fábio Mafra. -- 2007. 80 f. Disponível em: http://portal2.tcu.gov.br/portal/pls/portal/docs/2055558.
PDF. Acessado em 12 de novembro de 2012.
ONU/PNUD. Manual de Planificación, Seguimiento, Evaluación de los resultados de desarrollo.
PNUD, 2009. p. 230.
ONU/PNUD. Curso Capacitação em Monitoramento de Projeto para a Implantação do
38
ONU/UNESCO, Abordagem de Programa, Gestão e Monitoramento por Resultados (RBM)
aplicadas pela UNESCO: princípios norteadores. Representação da UNESCO no Brasil. Brasília,
2011. p. 58.
PEDROSO, Sandra Helena Gonzaga e ROCHA, Marcius Hollanda Pereira da; Projetos
Sociais com Foco no Sistema de Gestão. UFF. Niterói-RJ. 2010
| GUIA DOE MONITORAMENTO E AVALIAÇÃO
| GUIA DE MONITORAMENTO E AVALIAÇÃO
plano Integral no âmbito do Programa Conjunto “Segurança Cidadã” – Apostilas. PNUD,
Brasília, 2012.
39
Programa das Nações Unidas para o Desenvolvimento
Casa das Nações Unidas no Brasil
Complexo Sergio Vieira de Mello - Módulo I
Setor de Embaixadas Norte, Quadra 802 - Conjunto C, Lote 17
Brasília – DF CEP: 70800-400
Telefone: + 55 (61) 3038-9300
[email protected] / [email protected]
Para mais detalhes sobre o PNUD e sobre os projetos desenvolvidos no Brasil, visite:
www.pnud.org.br
www.segurancacomcidadania.org
e acompanhe o PNUD nas mídias sociais:
www.twitter.com.br/PNUDBrasil
www.facebook.com.br/PNUDBrasil
www.youtube.com.br/PNUDBrasil