A Importância da
Medição de Impacto
Cláudia
Pedra
Cláudia Pedra
29 setembro
de setembro de
de 2015
29de
2015
Avaliação de impacto
Sessão 1 - Conceitos: O que é a Avaliação de Impacto Social?
Avaliação de impacto: uma caminhada histórica
Desde 1973:
A menção a “avaliação de impacto social” aparece
numa declaração de impacto ambiental, produzida
pelo Ministério do Interior dos EUA, referindo-se
especificamente ao impacto sobre as comunidades.
As primeiras avaliações de impacto social focalizamse em questões de empregabilidade e habitação
Avaliação de impacto: uma caminhada histórica
Em 1986, o Banco Mundial inclui a avaliação de
impacto social nos seus processos de avaliação de
projetos
Anos 1990 – profusão de metodologias e manuais
Anos 2000 – difusão mundial das metodologias
A Stone Soup e a Avaliação de impacto
Missão: Maximizar o impacto social das organizações
e iniciativas sociais
Membro de:
Grupo de impacto do SVI
Abordagens à avaliação de
impacto social
Clinical Outcomes for
Routine Evaluation (CORE)
The WarwickEdinburgh Mental
Well-being Scale
(WEMWBS)
7
Metodologias
Existem centenas mas cerca de 20 são recorrentemente utilizadas!
Os Princípios da Avaliação de
Impacto
1. Envolver os stakeholders
2.Compreender as mudanças geradas (positivas e negativas)
3.Valorizar o que importa
4.Incluir apenas o que é relevante
5.Reivindicar apenas o valor criado pela atividade
6.Ser transparente
7.Verificar os resultados através da certificação independente de
terceiros
O processo
1. Definir objetivos de impacto
2. Mapear e envolver no processo os
stakeholders relevantes
3. Medir os outputs, outcomes e impactos,
criando indicadores mensuráveis
4. Verificar e valorizar o impacto
5. Monitorizar e relatar o impacto
6. Gerir o impacto
O que é a Avaliação de Impacto
Social?
É integrar, avaliar e aprender com os 3
P’s do Impacto Social:
1.O Propósito de uma organização ou
projeto, o que queremos atingir
(mudança social que queremos gerar)
2.O Processo, como o vamos atingir
3.A Performance (Desempenho), em que
medida conseguimos atingir o nosso
propósito e gerar mudança social
Fonte: Muir, K., Bennett, S. (2014) The Compass – Your
guide to social impact measurement, Center for Social
Impact, www.csi.edu.au
Teoria da Mudança
A teoria da mudança é a bússola que orienta tanto a
estratégia, como as atividades, os recursos e o dia a dia das
organizações e empreendedores(as) sociais. É a mesma
bússola que deve guiar um processo sólido de avaliação de
impacto social.
Teoria da Mudança
A teoria da mudança é uma representação simples, lógica,
tendencialmente visual e compreensível por qualquer
pessoa, do impacto social estimado ou efetivamente
medido de uma organização.
TeoriaSessão
da Mudança
1 - Conceitos: O que é a Avaliação de Impacto Social?
TEORIA DA MUDANÇA E VALOR SOCIAL
INPUTS
(RECURSOS)
ACTIVITIES
Recursos correspondem
a todos os tipos de
recursos
que usamos nas
PERFIL
nossas atividades, desde
DE
os financeiros, às
ENTRADAda nossa
competências
equipa e de parceiros, à
STAKEHOLDERS
logística
OUTPUTS
OUTCOMES
IMPACTOS
Atividades são os
Resultados diretos ou
Resultados Indiretos
projetos e/ou
Outputs, é a
ou Outcomes, são as
processos de trabalho quantidade dosLnossos transformações sociais
OCIA num
(bens e serviços)
bens
e serviços,
que decorrem dos
S
R
O
L
A
V
desenvolvidos
dado nível de
nossos esforços e de
eficiência, eficácia
e
E
BASELINoutros
Ex: ações de
qualidade
formação;
Ex: aumento do perfil
Portal
de
Ex: nível médio de
empreendedor numa
TEMPO
Ex: nível de competências recrutamento
social
avaliação em ações de
dada população;
especificas da equipa
formação;
alteração das atitudes
para a criação de um
Nº de adesões de
de empregadores
Portal de recrutamento
empresas a um
social
programa de
recrutamento social
IMPACTS
Resultados Sistémicos e
PERFIL prazo
de médio/longo
DESociais e
ou Impactos
Económicos
para os
SAIDA
quais contribuímos na
nossa
organização
STAKEHOLDERS
Ex: redução da taxa de
desemprego
Teoria da Mudança
Sessão 1 - Conceitos: O que é a Avaliação de Impacto Social?
IMPACTS
OUTCOMES
OUTPUTS
ACTIVITIES
INPUTS
ÁREA
DE
ESTRATÉGIA
(DIMENSÃO EXTERNA)
ÁREA
DE
CONTROLO DE
GESTÃO
(DIMENSÃO INTERNA)
Teoria da Mudança
Sessão 1 - Conceitos: O que é a Avaliação de Impacto Social?
TEORIA DA
MUDANÇA: A
CADEIA DE
VALOR SOCIAL
O
problema
O impacto
Pressupostos
As
Atividades
PRESSUPOSTOS
(ASSUMPTIONS):
A
solução
-
variáveis que afetam a
a nossa cadeia de
valor
-
condições de base
em que a cadeia de
valor pode acontecer
com o impacto
desejado
Teoria da Mudança
Sessão 1 - Conceitos: O que é a Avaliação de Impacto Social?
É UMA FORMA CONTRA INTUITIVA DE PENSAR E AGIR:
ONDE COMEÇA A CADEIA DE VALOR SOCIAL?
5
4
3
2
1
INPUTS
(RECURSOS)
ACTIVITIES
OUTPUTS
OUTCOMES
IMPACTS
Perspetiva crítica, antecipação e medição de relações causais
Tempo = Conhecimento
ABORDAGEM PROATIVA
Os stakeholders
“Qualquer parte afetada ou que afeta as
atividades da organização”
 Aspetos chaves:
- É melhor centrar-se num número limitado mas muito representativo de
stakeholders para simplificar o processo…mas atenção às potenciais
consequências (impactos não considerados)
- Os stakeholders podem contribuir para modificar substancialmente a sua
perceção da missão social que deseja ou está a implementar.
Avaliação no Terreno - Caso de Estudo
Desenvolvimento e Avaliação de
programas estruturados de
Prevenção e Promoção da Saúde
que capacitam os agentes
estratégicos para promover hábitos de
vida saudáveis e competências nos
indivíduos, desde a infância até a velhice
Meio Escolar
PrÉ: Programa de
Competências
Crescer a Brincar
Vamos Cuidar de Nós!
EU PASSO…
Terceira Idade
PRÓ-BEM
Formação e
Capacitação Técnica
Formação aos Professores
I: Hábitos de Vida Saudáveis
II: Saúde
33 Sessões Práticas
(Técnicas e do Professor)
III: A Gestão Emocional
IV: A Tomada de Decisão
V: Adolescência e Resistência à Pressão dos Pares
Acompanhamento do grupo estratégico
e do grupo alvo ao longo do processo
VI: A Sexualidade na Adolescência
VII: Prevenção do Consumo de Tabaco e Álcool
Sinalização e acompanhamento de casos de risco
Avaliação (Processo, Resultados e Impacto Social)
Modelo de Investigação - Ação
EDP Solidária 2011
Amostra
Beneficiários diretos
1.062 jovens de Benfica, Cascais, Oeiras e Sintra
Beneficiários indiretos
Total = 1.120
1.062 Famílias e cerca de 60 Agentes Educativos
Necessidade de medir o impacto
do investimento social:
• Falta de tecnicidade ao nível da avaliação de
impacto social;
• Aumento das métricas que proporcionam uma
adequada gestão da área;
• Falta
de
informação
investimento
comunidade.
social
sobre
na
o
retorno
do
aproximação
à
Metodologia da Avaliação de Impacto
Social
Teoria da Mudança Social
Resultados...
O que é que significou a
Aventura da Avaliação de
Impacto Social
Avaliação do projecto para a
S+C
• Aumento das métricas relativas ao retorno do
investimento
aplicado
ao
Programa
“Eu
Passo…” que consequentemente elevou a
tecnicidade relativa à avaliação de impacto
social em lacuna na área de responsabilidade
social da Companhia.
Metodologia rigorosa que precisa de
disponibilidade e tempo
Esquecer a nossa formatação! E ter paciência...
Pensar, debater e chegar a um consenso comum
dos diferentes interesses e pontos de vista
Processo de
participação,
aprendizagem e
enriquecimento
Conclusão
O verdadeiro desafio de levar a
teoria à prática/terreno
Resultado de uma produtiva parceria / Bom relacionamento
Desejo de saber e aprofundar mais...
aperfeiçoando e completando o modelo utilizado
Possibilidades futuras
Caso de Estudo - Radars
• Cliente: Município de Barcelona.
• Pedido: Medir o impacto do projeto RADARS
utilizando a metodologia SROI
• Missão do Projeto Radars: assegurar que os
idosos mantêm a sua autonomia vivendo na sua
casa.
• Local: Gràcia, Barcelona, Espanha
• Implementação do Projeto: 2008-2011
• Implementação do SROI: Julho 2012 – Janeiro
2013
32
Processo
1.Objetivos
2. Metodologia
5. Inputs
6. Impactos
3.Teoria da Mudança
7. SROI
4.Stakeholders
8.Conclusões
33
Metodologia e Ferramentas
•
•
•
•
Reuniões
Workshops
Focus Groups
Entrevistas
34
Metodologia e Ferramentas(II)
• Proxies Financeiros
– medindo os outcomes:
• Value Game:
• Presencialmente
• Online
35
• SROI  Social E-valuator
Exemplo de avaliação com Social E-valuator
Descrição
• 190 beneficiários do Radars
• Idade em média: 80 anos
• 75% eram mulheres
Impactos. Baseado nas entrevistas e value game
• Diminuição da solidão (Atividades do projeto)
• Aumento do sentimento de alívio (conhecimento por parte dos vizinhos da situação).
• Resultados diferentes de acordo com a situação individual (saúde, família e capital
social).
• Estimativa conservadora: deadweight e atribuição  alta
• Necessidade de avaliar outro apoio fornecido pela Segurança Social.
Drop-off
• Estimado em 20% (transferência de residência; mudança de casa; morte)
Total
506.502€
Desafios
•
•
•
•
Escolher a metodologia adequada
Escolher os stakeholders relevantes
Medir e Valorizar impactos qualitativos
Manter a qualidade da avaliação no longo
prazo
• Não complexificar o processo
38
Benefícios
• Melhores serviços
• Capacidade de demonstração de
resultados e impactos
• Maior eficiência no trabalho com os
beneficiários
• Mais parcerias
• Mais financiamento
39
Main benefits of measuring the social impact
Improved services
Better able to demonstrate our results
Improved targeting of those we help
Increased funding
Improved allocation of spending and resources
Improved strategy
Improved practices and policies in your…
Partnerships with other organisations
Don’t know
Increased publicity
Improved practices and policies in other…
Other
0%
10%
20%
30%
40
CICLO ESTRATÉGICO
E A TEORIA DA MUDANÇA (TM)
NOVO CICLO, NOVA TEORIA DA MUDANÇA:
ENCONTRAR O RUMO PELA PARTICIPAÇÃO DE STAKEHOLDERS,
CONHECIMENTO E INTEGRAÇÃO DAS LIÇÕES DA AVALIAÇÃO
AVALIAÇÃO:
-PROJETO/PROCESSOS
-IMPACTO SOCIAL
PLANEAMENTO: LOGFRAME
O PROBLEMA
E MAPA DE INDICADORES
SOLUÇÕES E
CENÁRIOS
ALTERNATIVAS E
RISCOS
ESTRATÉGIA DE IMPACTO
CADEIA DE VALOR SOCIAL
(RELAÇÕES CAUSAIS E
PRESSUPOSTOS)
Obrigada!
Cláudia Pedra
Stone Soup Consulting
www.stone-soup.net
@stonesoupchat
http://www.linkedin.com/compan
y/stone-soup-consulting