WORKSHOP Theory of Change as an evalua8on strategy for social business 05 de Maio de 2014 Karim Harji Daniel Brandão Obje8vos •  Apresentar os conceitos chave sobre Teoria de Mudança e sua relação com métricas de impacto social. •  Apoiar os par?cipantes a compreender o processo de construção de Teoria de Mudança e sua aplicabilidade no contexto organizacional de cada um. TEORIA DE MUDANÇA – O que é What is a Theory of Change? •  A systema?c explora?on of the links between ac?vi?es, outcomes, and context. •  A “process” and a “product” •  A roadmap: how you get where you want to go? Teoria de Mudança •  É uma ferramenta que pode apoiar processos de planejamento e avaliação de negócios sociais. •  A TM explica a cadeia lógica do negócio e ar?cula os resultados (efeitos) de médio e longo prazo na sociedade gerados pelo negócio. •  O Produto da TM é – em geral – uma imagem que expressa seus elementos e a lógica que os ar?cula. Why Make a Theory of Change? • 
• 
• 
• 
• 
• 
• 
• 
Engage your stakeholders in a shared vision Create realis?c expecta?ons Allows others to understand what you are doing Guide decision-­‐making Align ac?vi?es with goals Evaluate your progress Iden?fy novel solu?ons or gaps Improve your effec?veness Teoria de Mudança Teoria de Mudança Imagem não linear da TM Fonte: Relatório Anual MOVE 2013 I 2014 Key Ques8ons Answered by a TOC Who are you seeking to influence (target popula8on)? What benefits are you seeking to achieve (results)? When will you achieve them (8me period)? How will you and others make this happen (ac8vi8es, strategies, resources, etc.)? •  Where and under what circumstances will you do your work (context)? •  Why do you believe your theory will bear out (assump8ons)? • 
• 
• 
• 
Perguntas a serem respondidas •  Qual a visão de longo prazo da organização ou programa? •  Quais são os resultados que pretendem alcançar no longo prazo? •  Quais os indicadores essenciais que informam sobre cada mudança que se pretende gerar? •  Quais são as condicionantes para que estes resultados se realizem? •  Quais os obje?vos e/ou estratégias centrais que a organização/
programa vai realizar para alcance dos resultados de longo prazo? •  Quais são as principais tá?cas/conjunto de a?vidades? •  Qual a relação entre as estratégias e os resultados? •  Quais são os principais produtos (outputs) que serão gerados no processo de alcance de cada resultado? •  Que relações existem entre uma estratégia e outra? •  Que imagem expressa esta Teoria de Mudança? TEORIA DE MUDANÇA – Elementos Elements of a TOC • 
• 
• 
• 
• 
• 
• 
• 
• 
Objec?ve Outcomes Outputs Ac?vi?es Inputs Assump?ons Ra?onales Indicators Narra?ve Teoria de Mudança Uma Teoria de Mudança deve ter os seguintes elementos: •  Obje?vos de longo prazo (Visão) •  Outcomes ou Resultados finais (muitas vezes também são chamados de Impacto!) •  Outputs: são os produtos. Os resultados tangíveis. •  Estratégias (ou a?vidades) que serão realizadas a par?r de cada obje?vo. •  Condicionantes: informam as condições necessárias para que a estratégia vire produto e o produto vire resultado. •  Indicadores relacionados aos resultados centrais. Objec8ve •  The overall purpose of your ini?a?ve •  Must be specific, measurable, achievable, realis?c, ?med Exercício •  Qual o resultado de longo prazo da inicia?va em que estou envolvido? Outcomes •  Results of the ac?vi?es on a targeted popula?on •  Must be specific, measurable, meaningful, achievable within a ?meframe, and within your ini?a?ve’s sphere of influence Outcomes e Outputs Outcomes ou resultados expressam as transfromações ou mudanças obje?vas que os produtos geraram. Considerando o exemplo do slide anterior, poderiamos considerar como outcomes: •  Ouput: Número de escolas que compraram uma tecnologia. •  Outcome: Alunos aprendem mais determinada disciplina. •  Output: Número de quadras espor?vas construídas. •  Outcome: Jovens desenvolvem melhores condições de saúde e de vida comunitária. •  Output: Número de mulheres que pegaram crédito de um programa de Microcrédito. •  Outcome: Pequenos negócios gerando recursos u?lizados prioritariamente para o bem estar da família. Exercício •  Quais as pré-­‐condições (resultados de médio prazo) que precisam ser gerados para alcançar a mudança no longo prazo? Outputs •  Tangible products or services •  Usually have a quan?ty •  Answer the ques?on: “What did we do for whom?” Outcomes e Outputs Esta confusão é bastante comum. Outputs, ou produtos, são resultados tangíveis e mensuráveis. Por isso mais fácil de serem observados e capturados em processos de monitoramento e avaliação de impacto. Expressam o produto que resulta diretamente de uma a?vidade. Por exemplo: Número de escolas que compraram uma tecnologia. Número de quadras espor?vas construídas. Número de mulheres de baixa renda envolvidas em curso de formação de empreendedores Exercício •  Quais são os produtos relacionado a cada resultado? Ac8vi8es •  Process of using inputs to produce outputs •  Answer the ques?on: “What are you doing?” Exercício •  Quais as a?vidades ou estratégias relacionadas com os resultados? Indicators •  Measurable evidence of an output or outcome, e.g. number of mentors Exercício •  Quais são os indicadores relacionado com cada resultado? •  Quais as a?vidades ou estratégias relacionadas com os resultados? Inputs •  Resources used to perform an ac?vity •  Time, money, partners, equipment, facili?es Assump8ons •  Factors on which the success of an outcome depends, e.g. in person mee?ngs result in a strengthened network •  Must be tested and validated Ra8onales •  Explana?on of why an ac?vity, done a certain way, produces an outcome 28 Narra8ve •  Plain language summary of the theory 29 TEORIA DE MUDANÇA – Como construir Como construir •  A TM deve ser elaborada por meio de um processo par?cipa?vo, com envolvimento das lideranças e equipe da organização. •  Deve ser elaborada por meio de reuniões com o grupo por meio das quais um conjunto de perguntas-­‐chave vai sendo respondida e sistema?zada. As Cinco Tarefas Andersen, A. (2006) 1. Iden8ficar obje8vos de longo prazo • 
Qual a mudança / transformação de longo prazo? 2. Estruturar o caminho da mudança • 
• 
Quais são as pré-­‐condições necessárias e suficientes para realizar o obje?vo de longo prazo? Qual a cadeia lógica resultados (pré-­‐condições) em direção ao resultado de longo prazo? 3. Operacionalizar os resultados • 
Quais são os indicadores de cada resultado? • 
Qual o grau de mudança esperado em cada indicador para que a intervenção seja considerada de sucesso? • 
Qual o tempo esperado desta mudança? 4. Definir as intervenções • 
Quais intervenções podem gerar os resultados? • 
Sobre quais são os resultados e intervenções iremos assumir responsabilidade? 5. Ar8cular Hipóteses Revisão de toda a ToC •  A teoria é plausível? • 
A teoria é viável? • 
A teoria é verificável? Involving Stakeholders •  Who should be involved? •  How will they be involved? •  How should challenges be addressed? •  How much ?me should be invested? •  When is it ?me to revisit the TOC with stakeholders? Who? •  It depends on the intended use of the TOC •  Challenge your thinking with diverse perspec?ves •  Bring together a team who will work with the elements of the TOC 34 How? •  Provide documenta?on of the program to stakeholders in advance •  Elicit beliefs about the cause-­‐
effect rela?onships •  If… then chains •  Visualizing the theory •  Ques?ons for drawing out theories Addressing Challenges •  Look for external suppor?ng advice •  Nego?ate a common path •  Allow different theories to serve as alterna?ves •  Make it relevant and engaging Time •  You will know that your TOC is good enough when… –  It is useful for you –  Everyone has been engaged who needs to be –  It is clear When to Revisit • 
• 
• 
• 
Should evolve as part of ongoing learning As the program changes As resources change As external circumstance change Poten8al Picalls •  Confusing accountability with hope •  Crea?ng a mirror instead of a target •  Failing to take the external context into account. •  Not confirming the plausibility of your theory. •  Crea?ng a theory that isn’t measurable. •  Assuming you’ve figured it all out Referência Bibliográficas Anderson, A. The Community Builder’s Approach to the Theory of Change : a prac8cal guide to theory development. The Aspen Ins?tute, 2005. Best,H. & Harjl,K. Social Impact Measurement Use Among Canadian Impact Investors. Venture Deli e Purpose Capital, 2013. Brandão, D., Cruz, C., Arida, A. Métricas em Negócios Sociais: Fundamentos. São Paulo, Move e ICE, 2013. Graig, E. On Logic Models Theories of Change and Evalua8on. Usable Knowledge, 2010. hxp://www.usablellc.net/on-­‐logic-­‐models-­‐theories-­‐of-­‐change-­‐and-­‐evalua?on -­‐ Acessado em agosto de 2013. MOVE. Teoria de Mudança. Relatório Anual 2013. Olsen, S& . Galimidi, B. Catalog f Approaches to Impact Measurement: Assessing Social Impact in Private Ventures. The Rockfeller Founda?on, 2008. Vogel,I. UK. Review of the use of “Theory of Change” in Internac8onal Development. Departament for Interna?onal Development (DFID), 2012 MUITO OBRIGADO! THANK YOU! Karim Harji [email protected] Daniel Brandão [email protected]