Apoiando-se em teorias da mudança
para o planejamento, gestão e avaliação
Professora Patricia Rogers
BetterEvaluation
Royal Melbourne Institute of Technology, Melbourne, Australia
Avaliação para a estratégia organizacional do
investimento social privado
A essência das teorias da mudança
Estou
quebrando
pedras
Estou
construindo
um templo
http://img359.imageshack.us/img359/7104/picture420bt2.jpg
2
Evaluation for public sector managers
O que é a teoria da mudança?
A teoria (ou lógica ou modelo)
sobre como uma intervenção (projeto, programa, política, estratégia)
contribui para os resultados pretendidos ou observados
3
Evaluation for public sector managers
Algumas definições básicas
Teoria da
mudança
Teoria da
mudança
Uma teoria explícita sobre de como uma intervenção
contribui para os resultados pretendidos ou
observados, que possui 2 componentes:
O processo pelo qual a mudança ocorre (quer no
indivíduo, organização ou comunidade)
Teoria da ação Como a intervenção é construída para ativar a teoria
da mudança
Algumas definições básicas
Teoria da mudança
Uma teoria explícita sobre de como uma intervenção
contribui para os resultados pretendidos ou observados, que
possui 2 componentes:
Teoria da
mudança
O processo pelo qual a mudança ocorre (para um indivíduo,
organização ou comunidade)
Teoria da ação
Como a intervenção é construída para ativar a teoria da
mudança
Modelo lógico
Uma representação visual de uma teoria de programa, em
geral no formato de um diagrama, mas às vezes pode ser
uma tabela
Que tipo de teoria?
Qualquer espécie de modelo causal que vincula a intervenção com
determinados resultados
Poderia basear-se em :
Uma teoria formal, embasada na pesquisa (uma teoria com T
maiúsuclo), ou
Premissas informais, tácitas, não verbalizadas apoiadas por
profissionais (uma teoria com t minúsculo)
A teoria precisa incluir uma explicação sobre como as atividades do
programa contribuem para os resultados - e não apenas listar as
atividades, seguidas dos resultados, sem qualquer explicação
sobre de que modo um se liga ao outro a não ser por algumas
setas misteriosas.
Quatro questões importantes ao usar
as teorias da mudança na avaliação
1. Articular uma teoria da mudança que seja
explícita
2. Ter uma teoria da mudança plausível
3. Apresentar a teoria da mudança com
clareza
4. Usar a teoria da mudança na avaliação
7
1.Articular
uma teoria da mudança
explícita
8
Programa da teoria da atuação dos pais
Análise
situacional
Teoria da
mudança
Teoria da ação
Resultados
pretendidos
Reprimir (evitar
uma interação
negativa)
Gritar
Quarto
arrumado
Incentivo Positivo
Cortar a mesada
Entradas para o
cinema
Elogios
Teorias de mudança e teorias de ação para a atuação
dos pais
Análise Situacional
Teoria da ação
Gritar
Cortar a mesada
Oferecer uma
recompensa
(dinheiro, entradas
para o cinema)
Elogiar os esforços
teoria da mudança
Reprimir - evitar
uma interação
negativa
Incentivo Positivo
Resultados
esperados
Um quarto
arrumado
Maneiras de representar as teorias de
mudança
1. Pipeline – insumos-atividades-produtos-resultadosimpactos
2. Cadeia de resultados – uma cadeia de resultados
(atividades mostradas separadamente em uma matriz
lógica do programa)
3. Coluna Tripla - uma cadeia de resultados com atividades
e outros fatores mostrados em colunas separadas
4. Matriz realista
5. Narrativa
11
Evaluation for public sector managers
Modelo lógico de Pipeline
12
Evaluation for public sector managers
Modelo lógico de Pipeline
INPUTS
Alunos de
escolas de
baixa renda
Laboratório de
computação
Computadores
Instrutores
Informações
sobre cursos
superiores
PROCESSO
Cursos de softwares
Apoio ao aluno
Desenvolvimento
profissional
Ambiente
universitário
Projetos coletivos
Estágios
Parcerias com
escolas de ensino
médio
RESULTADOS
DE CURTO
PRAZO
Habilidades
Conhecimento
Aspirações/
confiança
IMPACTOS
Realização
educacional
Êxito
ocupacional
Liderança
comunitária/
Modelos a
serem
seguidos
Based on : Nelson and Bickel (2003) Infolink Program Teoria,
http://itclass.heinz.cmu.edu/infolink2003/InfoLink03/docs/ProgramTeoria.pdf
13
Evaluation for public sector managers
Narrativa da teoria da mudança
O projeto de computação funciona com alunos que possuem alto
desempenho acadêmico, vem de comunidades carentes e não
têm acesso a computadores.
A medida em que os alunos adquirem habilidades básicas em TI,
abrindo oportunidades para estágios, eles desenvolvem uma
imagem nova a respeito de seu futuro possível.
Ao mesmo tempo, estão criando uma comunidade solidária de
alunos, que abre um espaço seguro para o aprendizado e para
elaborar e colocar em prática planos ambiciosos para sua
educação e carreira futura.
14
Modelo lógico da cadeia de resultados
Aumento das
habilidades em
computação
Melhor desempenho
escolar em matérias
tecnológicas
Aumento da
motivação
Redes sociais
solidárias
15
Aumento na taxa
de inscrições em
cursos sobre
computação
oferecidos em
universidades
Conhecimrnto de
possíveis opções de
cursos superiores
Evaluation for public sector managers
Aumento no
índice de
graduados com
diplomas em
computação
Maior
realização
ocupacional
Modelo lógico da cadeia de resultados
Aumento nas
habilidades
em computação
Aumento na
motivação
Redes sociais
solidárias
Cursos de
verão
Melhor
desempenho
escolar em
matérias
tecnológicas
Conhecimento de
opções de
cursos superiores
Distribuir
materiais,
aconselhamento 1:1
Aumento da
taxa
de inscrições
em cursos
superiores
em
computação
Ajuda com
as
inscrições
Maior
número de
graduações
com
diplomas
em
computação
Maior
realização
ocupacional
Apoio acadêmico e
pessoal
A teoria da ação pode ser abordada em uma matriz lógica
Mostrando atividades numa matriz lógica de programa
O que
representa
o sucesso
Que atividades
Outros fatores
contribuem
que dão conta
diretamente para isso disso
Aumento das habilidades
em computação
Possíveis indicadores, fontes de
dados, comparações
Maior motivação
(Possíveis indicadores, fontes de
dados, comparações)
Melhor desempenho
escolar em matérias
técnicas
(Possíveis indicadores, fontes de
dados, comparações)
17
Evaluation for public sector managers
Matriz da Realidade
Contexto
Mecanismo
Resultado
Alunos provenientes de
ambientes de baixa renda,
motivados, com alta
competência
Atingir um determinado
nível de competência e
conhecimento em
computação
Matrícula bem sucedida
em cursos de computação
Alunos provenientes de
Mecanismo não ativado
ambientes de baixa renda,
com dificuldades de
aprendizado e/ou
problemas de
comportamento
18
Evaluation for public sector managers
Destino educacional
inalterado
A pesquisa mostra:
Comer uma maçã por
dia melhora a saúde
Como desenhar
um projeto
baseado nisto?
Como uma teoria de programa
pode melhorar
a nossa avaliação?
19
9
Você tem 10 minutes para desenhar um projeto para
melhorar a saúde das pessoas através da “ingestão de
uma maça por dia”
20
Evaluation for public sector managers
Funnell and Rogers Purposeful Program Teoria
9
Quais as premissas sobre o que constitui o problema?
Qual a teoria sobre como mudar o comportamento das
pessoas (convence-las comer maças)
Qual a teoria sobre como maças iriam fazer você mais
saudável?
21
Evaluation for public sector managers
9
Entendendo mecanismos causais operando em
contextos
RECURSOS
Maças
Pessoas
pouco
saudáveis
Poderia usar laranjas.
tendo como alvo a
deficiência de
Vitamina C
Poderia usar
cebolas
roxas.
Poderia usar
cenouras
tendo como alvo
a obesidade.
RESULTADOS
IMEDIATOS
Maças
comidas
Vitamina C
Quercetina
Substituição
RESULTADOS
DE CURTO
PRAZO
Melhor
estado
nutricional
Níveis adequados
de vitamina C
RESULTADOS
DE LONGO
PRAZO
Saúde melhor
Reduzir a incidência de
escorbuto
Níveis de
quercetina
aumentados
Reduzir a incidência de
cancer,
doenças cardiacas e
inflamatórias da
próstata
Diminuição do
consumo de
lanches/
alimentos pouco
nutritivos
Reduzir a incidência
de obesidade e
doenças correlatas
Evaluation for public sector managers
10
O que estas diferentes teorias de programa podem
significar para o modo como deveríamos descrever
ou mensurar “maças comidas”?
23
Evaluation for public sector managers
Funnell and Rogers Purposeful Program Teoria
9
Múltiplas teorias de mudança e teorias de ação
RECURSOS
Maças
Pessoas com
saúde precária
RESULTADOS
IMEDIATOS
Maças
comidas
Regulamentações
que restringem os
tipos de alimento
vendidos em
máquinas automáticas
Disponibilidade
Impostos mais
altos para
alimentos não nutritivos
Incentivo
Anúncios
que promovem o
consumo de
maçãs
RESULTADOS DE
CURTO PRAZO
Melhor estado
nutricional
Substituição
Normas Sociais
Informação
Menor consumo de
alimentos
não nutritivos
Lembretes
24
RESULTADOS
DE LONGO
PRAZO
Saúde melhor
Evaluation for public sector managers
Redução na incidência de
obesidade e
doenças correlatas
2. Ter uma teoria da mudança
plausível
25
Análise situacional
• Quais são as necessidades que a intervenção deve dar conta?
• Qual é o problema que a intervenção deve solucionar? O que causa esse
problema?
• Em que pontos fortes a intervenção deverá se apoiar?
• Quais as oportunidades nas quais a intervenção deveria capitalizar?
• Quem mais está abordando essa situação? Existem aliados ou opositores
em potencial?
• Até que ponto a situação é bem compreendida?
• Até que ponto a situação pode ser mudada?
26
Como pode ser desenvolvida uma teoria de mudança?
Uma combinação de:
Abordagem dedutiva – a partir de pesquisas anteriores, políticas
estabelecidas, arquétipos de programas, análises lógicas
Abordagem indutiva – a partir de observações diretas (ou feitas por
outras pessoas) sobre como o programa de fato funciona
Articulação dos modelos mentais de pessoas ou grupos interessados
(stakeholders) a respeito de como o programa funciona.
27
What sort de mudança trajectory does your intervention
have?
Um trajeto conhecido
Linear
Não necessariamente fácil
Simples
Que tipo de mudança de trajetória sua intervenção possui?
Um trajeto
conhecido
Experiência e
colaboração
necessárias
Complicado
Que tipo de mudança de trajetória sua intervenção possui?
Um trajeto emergente
Adaptabilidade e
capacidade de aprender
ao fazer
Complexo
Aproveitando as teorias baseadas em pesquisa
The COM-B system - a framework for understanding behaviour.
Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42
31
The Behaviour Change Wheel.
Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42
32
Algumas teorias de mecanismo causal baseado em
pesquisas
MUDANÇA A NÍVEL
INDIVIDUAL
• Modelo PRECEDE-PROCEDE
(Green and Kreuter, 2005)
• Atribuição (Heider, 1958)
• Auto-eficácia (Bandura, 1997)
• Condicionamento clássico e
condicionamento operante(Pavlov,
1960; Skinner, 1953)
• Profecia auto-realizada (Merton,
1968)
• Dissonância cognitiva (Festinger,
1957)
• Teorias de redes sociais e da
solidariedade social (Eng and
Young, 1992)
• Teoria da repressão (Homel, 1988)
• Teoria da diversão
(http://www.thefuntheory.com/)
• Modelo da crença na saúde
(Rosenstock, 1966; Glanz et al.,
2002)
• Aprendizado social (Bandura, 1977)
• Treinamento (Kirkpatrick, 1959)
Algumas teorias de mecanismo causal baseado em
pesquisas
MUDANÇA NO NÍVEL ORGANIZACIONAL
• Groupthink (Janis, 1972)
• Organizational learning (Argyris and Schön, 1978)
• Positive deviance (Pascale, Sternin, and Sternin, 2010)
• Six change approaches (Kotter and Schlesinger,1979)
MUDANÇA NO NÍVLEL DA COMUNIDADE
• Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992)
• Institutional analysis and development (Ostrom, 2008)
• Social loafing (Karau and Williams, 1993)
• Strength of weak ties (Granovetter, 1973)
• Tipping points (Gladwell, 2000)
• Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom,
1999)
Algumas toerias de mecanismo causal baseadas em
pesquisas
• MUDANÇAS DE
POLÍTICAS
• Advocacy coalition framework
(Sabatier and Weible, 2007)
• Garbage can model (Cohen,
March, and Olsen, 1972)
• Incrementalism model
(Lindblom, 1959)
• Institutional rational choice
(Ostrom, 1999a)
• Multiple streams framework
(Zahariadis, 1999)
• Policy diffusion (Berry and
Berry, 1999)
• Policy networks (Marsh, 1998)
• Punctuated equilibrium teoria
(Baumgartner and Jones, 1993)
Algumas teorias possíveis do mecanismo causal
para o desenvolvimento
Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas)
Aumentar os incentivos para aplicar a tecnologia existente
Remover barreiras para o acesso efetivo à tecnologia
Adaptar a tecnologia existente para poder ser eficaz em uma situação nova
Desenvolver nova tecnologia
Mecanismos causais sobre capacidade
Aumentar a capacidade específica para realizar uma função específica (capital humano, capital social,
capital organizacional, capital econômico)
Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes
colaborativas)
Mecanismos causais sobre a contribuição para um processo de mudança complicado
Preencher uma lacuna – colocar a última pecinha – “a pecinha que faltava” no quebra-cabeças
Remover um obstáculo (versão ligeiramente diferente de preencher a lacuna): “a pedra no caminho’
Mecanismos causais sobre a governança
Repressão (aumentar os riscos de sanções por comportamento negativo)
Aumentar a capacidade (aumentar a habilidade de gerir bem)
Mecanismos causais sobre advocacy
Demonstrar a viabilidade e efetividade de uma nova abordagem
Perguntas para extrair dos participantes suas teorias de
mudança
(Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory)
• Poderia me dar um exemplo de onde esse programa está dando certo?
• Por que escolheu esse exemplo? O que você acha que está fazendo o
programa dar certo?
• De que modo a vida seria melhor para os participantes ou o público-alvo,
caso o programa funcione?
• Quais são as barreiras atuais que impedem os participantes do programa de
terem uma boa vida?
• Como você acha que esse programa vai superar essas barreiras?
• O que há, na maneira como esse programa opera, que poderia tornar a vida
melhor para os participantes ou o público-alvo?
• O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão
bem?
• O que mais precisa acontecer?
• Quem mais deveria estar envolvido, e como?
• O programa tenta influenciar estas outras pessoas? Em caso positivo, o que
você esperaria que eles fizessem de maneira diferente?
Estratégias para garantir uma teoria da mudança
adequada
1. Faça uma análise situacional antes de desenvolver a teoria de
mudança para um programa novo
2. Use uma diversidade ampla de fontes, inclusive críticos do
programa
3. Verifique os fatores atípicos e as exceções, confrontando-os com a
teoria de mudança inicial.
4. Aborde os aspectos complicados e complexos da intervenção
38
39
Evaluation for public sector managers
3. Represente a teoria da
mudança com clareza
40
Como fazer um bom modelo lógico?
1.
Seja lógico e coerente
• Cada seta deve ter um significado
• Indique o rumo da mudança esperada
• Evite becos sem saída
2.
Comunique as mensagens principais
• Evite excesso de linhas; não use linhas de feedback
indiscriminadamente
• Evite padrões excessivamente detalhados (salvo em raros casos)
• Elimine tudo o que não acrescenta significado
• Garanta a facilidade de leitura
• Evite “palavras gatilho” e siglas misteriosas
Rogers Using programa teoria
41
Exemplos ruins de modelos lógicos
Rogers Using programa teoria
42
Exemplos ruins de modelos lógicos
Rogers Using programa teoria
43
Exemplos ruins de modelos lógicos
Rogers Using programa teoria
44
4. Use a teoria da
mudança para o
planejamento,
monitoramento e
avaliação
45
Alguns usos possíveis para a teoria de programa
PLANEJAMENTO
1.
Planejar/alinhar um novo programa/intervenção com um marco estratégico
MONITORAMENTO E AVALIAÇÃO
2.
Monitoramento das correções adicionais feitas pelos gerentes e pelo staff
3.
Monitorando para prestar contas aos financiadores e outros stakeholders
4.
Avaliação do processo para apoiar a melhoria contínua
5.
Avaliação de processo para documentar uma inovação
6.
Avaliação do impacto
GESTÃO
7.
Proporcionar ao staff, financiadores e clientes uma compreensão comum
8.
Informar decisões de investimento
ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA
9.
Apoiar a replicação
10.
Desenvolver a base de evidências através de múltiplas avaliações ou fontes
46
USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO
Medir e descrever – quais os dados necessários, que análises devem ser
feitas?
–
–
–
–
–
Recursos usados
Processos
Contexto
Outros fatores que contribuem
Resultados (imediatos, intermediários, subsequentes)
Análise Causal
– A intervenção produziu o resultado?
– A intervenção contribuiu para o resultado?
– O que mais contribuiu para o resultado?
Síntese e relatório
– Combinar evidências para uma única avaliação
– Relatar a cadeia de resultados
– Descrever os efeitos diferenciais
– Combinar evidências de diversas avaliações
47
Maneiras de usar a teoria da mudança para a avaliação
1. Monitoramento
– das correções adicionais feitas pelos gerentes e staff
– da prestação de contas perante financiadores e outros
stakeholders
2. Avaliação do processo para
– Verificar a aderência (compliance)
– Apoiar a melhoria contínua
– Documentar uma inovação
3. Avaliação do impacto para
– testar um piloto antes de levar o programa à escala
– Compreender o valor do programa existente, em larga
escala, e em andamento
4. Sintetize para
– Compreender o efeito médio de várias avaliações
– Compreender o efeito em contextos diferentes
Usando uma matriz lógica de programa
Para cada resultado pretendido, identifique:
•O que poderia ser considerado como “sucesso”
•Quais atividades contribuem diretamente para esse resultado
•Que outros fatores parecem contribuir para esse resultado – e
se estes podem ser influenciados ou gerenciados de alguma
maneira
•As fontes possíveis de evidência
•Como interpretar essas evidências – particularmente, que
comparações são adequadas (ex: linha de base, benchmark,
padrões, ou objetivos)
49
Modelo lógico da cadeia de resultados
Aumento nas
habilidades
em computação
Aumento na
motivação
Redes sociais
solidárias
Cursos de
verão
Melhor
desempenho
escolar em
matérias
tecnológicas
Conhecimento de
opções de
cursos superiores
Distribuir
materiais,
aconselhamento 1:1
Aumento da
taxa
de inscrições
em cursos
superiores
em
computação
Ajuda com
as
inscrições
Maior
número de
graduações
com
diplomas
em
computação
Maior
realização
ocupacional
Apoio acadêmico e
pessoal
A teoria da ação pode ser abordada em uma matriz lógica
A teoria da ação pode ser abordada em uma matriz lógica
Redes sociais
solidárias
O que representa sucesso?
Fontes de evidência disto? Como devem ser
analisadas? (especialmente as comparações)
Quais atividades contribuem
diretamente para isto (se houver)?
Fontes de evidência disto? Como devem ser
analisadas? (especialmente as comparações)
Que outros fatores incidem?
(Controle/influência Interna/externa?)
Fontes de evidência disto? Como devem ser
analisadas? (especialmente as comparações)
Maior taxa de
inscrições em cursos
superiores
Algumas variações de modelos lógicos
Modelos Pipeline
• Modelo “Recursos-Processo-Produtos-Resultados”
• Hierarquia de Bennett
• Adaptação Wisconsin do Modelo Pipeline
• Log frame
• Modelos lógicos circulares
Cadeias de resultados
• Hierarquia de resultados
• Lógica de programa centrada nas pessoas
• Coluna tripla
52
Falha da implementação, da teoria ou foi alguma outra
coisa?
Resultado
Maçãs comidas
Maçãs não
comidas
TOTAL
Saúde
Saúde não TOTA
melhorou melhorou L
27
0
27
3
970
973
30
970
1000
53
Falha da implementação, da teoria ou foi alguma outra
coisa?
Resultado
Comeram as maçãs
Não comeram as
maçãs
TOTAL
Saúde
Saúde não TOTAL
melhorou melhorou
27
970
997
0
3
3
27
973
1000
54
Falha da implementação, da teoria ou foi alguma outra
coisa?
Resultado Características dos clientes
Saúde
melhorou
Afetados por doenças
relacionadas à nutrição
Afetados por outras doenças
Saúde não Afetados por doenças
melhorou
relacionadas à nutrição
Afetados por outras doenças
TOTAL
Maçãs
comidas
Maçãs não
comidas
TOTAL
27
0
27
0
0
0
0
3
3
970
0
970
997
3
1000
55
Estratégias para usar a teoria da mudança na
avaliação
1. Esclareça o tipo de avaliação
2. Use uma matriz lógica do programa para
identificar os dados relevantes a serem
coletados
3. Use a teoria da mudança para analisar os dados
56