Cursos de formação
Programa Avaliação econômica de projetos
sociais
da Fundação Itaú Social
Lígia Vasconcellos
Gerência de Avaliação de Projetos
Itaú-Unibanco
Rio de Janeiro, agosto de 2012
Programa Avaliação Econômica
•
Parceria Fundação - Banco:
Acreditando na importância da avaliação econômica como instrumento de gestão para
programas e projetos sociais, a Fundação Itaú Social, em parceria com a área de
Controles de Risco e Financeiro do Itaú Unibanco, criou o Programa Avaliação
Econômica de Projetos Sociais em 2004.
•
Objetivo:
O programa é voltado para a disseminação da cultura de avaliação econômica
(avaliação de impacto ex-post e análise de custo-benefício).
•
Ações:
Cursos de formação; seminários; guia eletrônico com os conceitos básicos de avaliação;
portal FASE - Fatores associados ao sucesso educacional, entre outros.
Ações de disseminação
SEMINÁRIOS
 Internacionais
 Regionais: abertos e para Secretarias
CURSOS
 Gestores de programas sociais
 Extensão para graduandos
 Avançado para professores
OUTRAS AÇÕES
 Lista de consultores disponível no site
 Guia eletrônico de avaliação (CD)
 Biblioteca de avaliações disponível no site
 Portal Itaú FASE – Fatores associados ao sucesso educacional
 Oferta de avaliações a parceiros públicos e do 3o setor
 Em construção: livro para graduação; rede de ex-alunos
Histórico de avaliações
Projetos públicos e
de parceiros
Agenda de avaliação
dos projetos da Fundação Itaú
Social
2004: Raízes e Asas
2006: Jovens Urbanos 1a edição
2007: Melhoria da educação
2008: Escrevendo o Futuro
2010: Jovens Urbanos 3a edição;
Olimpíada de Língua Portuguesa
Escrevendo o Futuro 2008
2011: Prêmio Itaú Unicef
2005: Programa Escola da Família;
Progressão Continuada
2006: Programa Ação Jovem
2007: Canal Futura; Freqüência ao Ensino
Infantil
2008: Programa de Progressão
Continuada (dados atualizados); Programa
Escola Integrada de Belo Horizonte
(condições de aprendizagem)
2009: Olimpíada Brasileira de Matemática
das Escolas Públicas
2010: Ensino de Jovens e Adultos;
2011: Escola Integrada Belo Horizonte
(desempenho escolar)
Histórico dos cursos
• Curso para gestores sociais:
– Foco inicial, desde 2005
• Curso avançado:
– Objetivo principal de garantir a expansão dos
cursos de gestores sociais
• Curso de extensão:
– Objetivo de disseminar conhecimento nos centros
de formação
Número de alunos que concluíram os cursos
Ano
Gestores
Extensão
Avançado
2005
49
-
-
2006
50
-
-
2007
49
-
-
2008
147
-
-
2009
226
-
-
2010
326
-
26
2011
348
57
29
2012*
193
44
30
Total
1388
101
85
* 1º semestre
Sudeste
Sul
CO
Nordeste
Número total de alunos que concluíram o curso (Por Região)
Concluíram
São Paulo
377
Rio de Janeiro
183
Belo Horizonte
147
Ribeirão Preto
16
Nova Iguaçu
18
Campinas
22
Sorocaba
33
Espírito Santo
49
Uberlândia
35
Curitiba
79
Porto Alegre
70
Florianópolis
62
Rio Grande do Sul
14
Joinville
25
Jaraguá do sul
25
Goiânia
53
Brasília
30
Recife
69
Fortaleza
94
Pacajús
20
Salvador
45
Sobral
35
Total
880
275
83
263
Curso para gestores sociais
•
Objetivos:
– disseminação da cultura de avaliação, em especial da avaliação econômica
– preparar gestores de projetos para demandar, acompanhar e analisar uma avaliação
– com objetivo de disseminação de novo conhecimento, heterogeneidade das turmas
•
Conteúdo:
• A importância da avaliação
• Informações necessárias para a avaliação
• Avaliação de impacto
• Retorno econômico
• Exercício de avaliação, em grupo, de um projeto social dos alunos
•
Carga horária:
– 72 horas entre aulas teóricas e práticas
Curso para gestores sociais
• Organização:
– Programa e materiais próprios (apostila; slides aula-a-aula; estudos de
caso; lista de exercícios)
– Professores contratados
– Parceria local para infra-estrutura
• Certificado:
– certificado com mínimo de 75% de frequência
• Curso gratuito
Curso para gestores sociais
• Pré-requisitos:
– Para instituição: fazer parte do público-alvo do Programa; número de
pessoas atendidas; funcionários registrados
– Para aluno: conhecimentos básicos de excel, estatística e matemática
financeira; experiência em gestão de projetos sociais e/ou políticas
públicas; ensino superior desejável
• Tamanho de turmas:
– Cerca de 30 alunos
Curso de extensão
• Similar a cursos de gestores
• Menor número de horas-aula (48 horas)
• Trabalho de curso: lista de ONGs, para que alunos façam a
avaliação e conheçam a realidade do terceiro setor
Curso avançado
• Programa :
– Econometria Básica
–
–
–
–
• Módulo de nivelamento de conhecimentos
Econometria para Avaliação
Avaliação na prática (palestras)
Retorno Econômico
Módulo “Curso de Avaliação”
• Terceiro setor
• Didática
• Apresentação e discussão sobre o curso para gestores sociais
• Carga horária: 140 horas
• Professores convidados: especialistas reconhecidos em suas áreas
de atuação, de diferentes instituições
• Alunos: dispersão geográfica e pré-requisito de econometria
Avaliação do curso
• Escopo do curso de gestores sociais:
• (1) disseminar conhecimento e
• (2) instrumentalizar gestores para “gerir” uma avaliação
• e portanto gerar a cultura de avaliação
• Em função disto, fizemos a avaliação econômica do programa.
Avaliação dos alunos (final dos cursos)
•
Pontos positivos:
– Curso dota as ONGs de objetividade na análise de seus programas;
– "Ferramenta essencial para Gestão / tomada de decisão nas organizações".
– Metodologia consistente
– Mais racionalidade; importância de definição de público-alvo; cuidado com dados
•
Conteúdos que poderiam aumentar:
– Exercícios / estudos de caso (material foi desenvolvido em função das
avaliações)
•
Comentários:
– Heterogeneidade dos alunos
Avaliação de impacto do curso
• Indicadores:
i) existência de insumos para avaliação
Manutenção de dados dos beneficiários; informações de custo por projeto
ii) práticas de gestão
Planejamento; definição de objetivos e metas
iii) realização de avaliações
Avaliações em geral, em específico avaliação econômica
• Amostra:
– Grupo de tratamento: organizações que frequentaram o curso em São
Paulo, Rio de Janeiro e Belo Horizonte entre 2007 e 2010.
– Grupo de controle: organizações que ficaram em lista de espera nas
mesmas cidades.
Avaliação de impacto do curso
•
Resultados:
– Mais de 90% declara realizar alguma avaliação, e também a avaliação de
impacto
– A realização de avaliação é igual tanto em instituições de ex-alunos quanto do
grupo de comparação
– Em especial, afirmam realizar menos avaliação de impacto, porém este
resultado desaparece quando se consideram apenas instituições que
declararam ter os insumos necessários para a avaliação
– Conclusões:
• Conceito de avaliação é entendido de forma diferenciada por instituições
• Ex-alunos entendem conceitos, e respondem de forma mais específica
• Difícil identificar prática efetiva da avaliação, dado o alto índice de
resposta positiva, com entendimentos diferenciados dos conceitos
– Em função disto, realização de pesquisa qualitativa para entender resultados e
aprofundar interpretações
Pesquisa em profundidade
• Objetivos:
– Verificar como as organizações se adéquam aos conceitos de avaliação
– Verificar quais mudanças práticas que o curso gerou no aluno e na
organização
• Amostra:
– 20 entrevistas em profundidade com ex-alunos e controles (SP, RJ, BH
e Recife)
• Conclusões:
– Confirmado diferente entendimento de conceitos de avaliação
– Ex-alunos aprendem conceitos e usam algumas ferramentas da
avaliação (objetivos, indicadores, planejamento, forma menos
subjetiva de analisar projeto)
– Mas não fazem avaliação econômica completa: dificuldades da
instituição (cultura, recursos) e de conteúdo (necessidade de
continuação do curso / prática acompanhada da avaliação)
Novas ações
• Seleção de alunos: teste de novos critérios
• Avaliação de aprendizado: antes/depois do
curso
• Rede de ex-alunos
• Curso introdutório para alinhamento de
conhecimento
• Apoio a avaliação de alguns projetos para
gerar insumo para os cursos