Aprender a definir e melhorar estratégias
organizacionais através da avaliação
Professora Patricia Rogers
BetterEvaluação
Royal Melbourne Institute of Technology, Melbourne, Australia
Avaliação para o Investimento Social Privado:
Estratégia Organizacional
www.betterevaluation.org
A avaliação para definir e
melhorar estratégias
organizacionais
O que queremos
dizer com avaliação?
Aprender a definir e melhorar as estratégias
organizacionais através da avaliação
Como apoiar o
aprendizado
através da avaliação?
Diferentes tipos de avaliação
nos diferentes estágios
de um programa ou projeto
2
2
Avaliação
Combina valores e evidência para responder a perguntas como:
• Estamos fazendo a coisa certa?
• Estamos fazendo as coisas de maneira certa?
RMIT University
3
3
Uma visão estreita, menos útil da avaliação – vem no final, e
foca a pergunta: “Cumprimos nossos objetivos”?
5. Avaliação
4. Monitoramento
6. Feedback
1. Rationale
Implementação
3. Apreciação
2. Objectivos
Mainstreaming Social Inclusion http://www.europemsi.org/index.php
RMIT University
4
4
Uma visão mais ampla, mais útil da avaliação – feita ao
longo do ciclo da política/programa
Funcionou?
Valeu a pena?
Resultados e
impactos
O que é necessário?
O que devemos dar
conta?
Análise Situacional –
necessidades e
oportunidades
Avaliação
(incluindo o
monitoramento)
Melhoria contínua
Como podemos
melhorar à medida
que avançamos?
Baseado em Funnell 2006 Designing an Evaluation
Como deveria ser
feito isto?
Desenho de
programa ou política
Implementação das atividades
e gerenciamento em curso
Como está indo?
5
Tipos de avaliação – classificação por foco e momento
Análise das necessidades
O que é preciso? Quais são as necessidades não atendidas?
Desenho da intervenção
Qual a mehor maneira de desenhar a intervenção?
Monitoramento
Como está indo o processo? (Relatórios regulares das métricas)
Avaliação do processo
Como está indo? (pesquisas periódicas)?
A implementação está indo de acordo com o planejado?
O que foi feito em um programa inovador?
Resultado/Avaliação do
impacto
Que mudanças ocorreram? Para quem?
Avaliação Econômica
A intervenção foi custo/efetiva? (comparada às alternativas)?
Qual foi a relação custo/benefício?
Adaptado de Owen (2006), Rossi, Lipsey & Freeman (2003)
6
6
A avaliação para definir estratégias organizacionais
O ABC DO PLANEJAMENTO ESTRATÉGICO
Visão, Missão e Meta
A
ONDE VOCÊ ESTÁ
Missão e mandatos
Estrutura e Sistemas
Comunicações
Programas e Serviços
Pessoas e capacidades
Orçamento
Apoio
QUESTÕES
ESTRATÉGICAS
B
AONDE VOCÊ QUER
Missão e mandatos
Estrutura e Sistemas
Comunicações
Programas e Serviços
Pessoas e capacidades
Orçamento
Apoio
CCOMO CHEGAR LÁPlano
estratégicoplanos de TI e
RHComunicaçõesContratações e
treinamentoReestruturação e
EngenhariaAlocação orçamentária
RMIT University
7
7
A avaliação para definir estratégias organizacionais
O ABC DO PLANEJAMENTO ESTRATÉGICO
A
ONDE VOCÊ ESTÁVisão, Missão e Meta
Missão e mandatos
Estrutura e Sistemas
Comunicações
Programas e Serviços
Pessoas e capacidades
Orçamento
Apoio
B
AONDE VOCÊ QUER
Missão e mandatos
Estrutura e Sistemas
Comunicações
Programas e Serviços
Pessoas e capacidades
Orçamento
Apoio
QUESTÕES
ESTRATÉGICAS
CCOMO CHEGAR LÁPlano
estratégicoplanos de TI e
RHComunicaçõesContratações e
treinamentoReestruturação e
EngenhariaAlocação orçamentária
RMIT University
8
Avaliação para apoiar o aprendizado sobre onde você está
• Análise da Situação
• Avaliação das necessidades
• Análise SWOT – Fortalezas (S), Fraquezas (W), Oportunidades (O), Ameaças
(T)
• Mapeamento dos Recursos
• Análise das fortalezas
9
Avaliação para apoiar o aprendizado sobre onde você
quer chegar
• Esclarecimento sobre os Valores
10
O Que é sucesso em termos de:
Processos
Resultados e
Impactos
Distribuição dos
benefícios
11 11
Tipos de valores
Valores Formais,
Explícitos
Valores
Tácitos
Valores
Negociados
12
12
12
Avaliação para apoiar o aprendizado sobre como chegar lá
• Teoria da mudança
– Uma teoria sobre como ocorre a mudança (mecanismo de mudança)
– Uma teoria sobre quais ações podem acionar esse mecanismo de
mudança
• Síntese do que podemos aprender com os outros
13
Avaliação para apoiar o aprendizado sobre como
melhorar as estratégias organizacionais
• Avaliação de programas e projetos
• Como está indo?
– Monitoramento do desempenho
– Controle de Qualidade – estamos fazendo certo?
– Melhoria da Qualidade/pesquisa da ação – como podemos melhorar a
implementação?
14
Avaliação para apoiar o aprendizado sobre como
melhorar as estratégias organizacionais
• Avaliação dos programas e projetos
• Funcionou? De que maneira, em quais situações e para quem funcionou? O
que contribuiu para que funcionasse?
– A Teoria da mudança informa a avaliação de impacto
– Métodos para responder às questões descritivas (o que aconteceu?) –
mensurações, indicadores, descrições
– Métodos para responder às questões causais (o que fez a mudança
ocorrer?) – delineamentos e estratégias de pesquisa experimental,
quase-experimental e não experimental
– Métodos para responder às questões avaliativas (foi bom o resultado?
Valeu a pena)
15
Especifique questões chave de Avaliação
Tipo
Escopo
Exemplos
Descritivo O que ocorreu? Qual é a Como foi implementado o programa ?
situação?
•Quem participou do programa?
•Onde foi aplicado?
Quais foram as mudanças?
•Os objetivos foram atingidos?
•Que outras mudanças ocorreram?
16
16
Especifique questões chave de Avaliação
Tipo
Escopo
Exemplos
Causal
O que produziu as
mudanças observadas?
Quais foram os impactos do programa?
•O programa contribuiu para que os
impactos e outros resultados
pretendidos fossem produzidos?
•Qual foi a contribução de outros
programas e de outros fatores?
17
17
Especifique questões chave de Avaliação
Tipo
Escopo
Avaliativo Foi positivo?
De que maneiras poderia
ser melhor?
É essa a melhor opção?
Exemplos
De maneira geral, foi bem sucedido?
•O serviço entregue estava de acordo
com os padrões combinados?
•O programa foi custo/efetivo?
•Quais foram seus pontos fortes e
fracos?
•Para quem o programa foi efetivo?
18
18
Especifique questões chave de Avaliação
Tipo
Escopo
Exemplos
Ação
O que deveria ser feito? O programa deveria ser
continuado/deveria ganhar escala?
Que mudanças deveriam ser feitas?
19
19
19
Avaliação para apoiar o aprendizado sobre como
melhorar as estratégias organizacionais
• Avaliação da carteira de programas e projetos
• Qual é a cobertura transversal nas áreas de importância?
Não lucrativo
Lucrativo
Fortemente vinculado à
missão
Vínculo fraco com a missão
Bell, Masaoka & Zimmerman (2010) Non Profit Sustainability: Making Strategic
Decisions for Financial Viability. Jossey-Bass
20
Avaliação para apoiar o aprendizado sobre como
melhorar as estratégias organizacionais
• Avaliação da carteira de programas e projetos
• Qual é o equilíbrio entre valor e certeza?
Valor
Certeza
RMIT University
21
21
Tipos de aprendizado necessários
Quando …
É sensato …
Sabemos o que funciona e porque
Assegurar o acompanhamento dos processos
(monitorar)
Demonstrar o valor do que está sendo feito
(advocacy)
Não sabemos se funciona
Analisar processo e resultados (teoria do teste)
Não sabemos qual é o melhor caminho
Documentar os processos e o contexto e comparar
desempenhos (resultados, eficiência)
Não sabemos o que poderia funcionar
Usar a pesquisa/aprendizado e compartilhar os
resultados
22
22
Fontes de informação sobre métodos e processos de
avaliação
23
Fontes de informação sobre métodos e processos de
avaliação
24
25
26
27
Que tipos de avaliação precisamos?
Como podemos fazer isso?
Avaliação para apoiar o aprendizado sobre
como melhorar as estratégias organizacionais
Que tipos de aprendizado pecisamos que a avaliação apoie?
Como podemos fazer isso?
28