Fortalecimento da Avaliação de Projetos Sociais no Brasil Objetivos do projeto: • Conhecer o “estado da arte” da avaliação de programas e projetos sociais no Brasil. • Contribuir para a articulação de uma comunidade de avaliadores. • Conhecer e debater a produção acadêmica brasileira focada em avaliação de programas e projetos sociais. • Produzir material de apoio à reflexão e prática da avaliação no Brasil. Identificação e análise da produção acadêmica brasileira sobre avaliação de projetos sociais Objetivos: • 1º objetivo: localizar um conjunto de trabalhos acadêmicos de interesse para a área de “avaliação de programas e projetos sociais” • 2º objetivo: iniciar algumas análises sobre ela, a partir das seguintes perguntas: – O que a academia tem produzido sobre avaliação de programas e projetos sociais? – Que campos do saber têm se dedicado à estudar a avaliação? – O que estudam em relação à avaliação? – Como esta produção pode contribuir com as práticas de avaliação no Brasil? Síntese do método 1. Localização de estudos (dissertações de mestrado, teses de doutorado ou trabalhos de conclusão de cursos de pós-graduação) que formassem uma base abrangente sobre o campo sócio-ambiental (público e privado) 2. Localização aproximada de estudos que poderiam se aproximar do campo da avaliação. 3. Seleção dos estudos específicos que do campo da avaliação. 4. Análises preliminares desses estudos Método - 1. Localização de estudos Escolha das base de dados • Banco de Teses (CAPES) – Base referencial – Ampla cobertura e satisfatória organização: mais de 400 mil Dissertações e Teses – Preenchimento obrigatório pelos PPG – Atualização feita principalmente para a “avaliação trienal” – “Objetivo”: subsidiar avaliação e acompanhamento da pósgraduação – Criada em 2002 – Período 1987/2007 Mais completa • Biblioteca Digital de Teses e Dissertações (IBICT) – Base com texto completo – Ampla cobertura e satisfatória organização: Mais de 67 mil dissertações e teses. – Bibliotecas “credenciadas” – Atualização variável (“diária”) bibliotecas não credenciadas – Objetivo: disseminar informações – Criada em 2002 – Período 1970/2008 Disponibiliza texto completo Método - 1. Localização de estudos Definição de termos e palavras-chave • Definição de termos, palavras-chave e associações por consultores em “avaliação de projetos sociais” • Decisão de realizar a busca, numa primeira etapa, a partir de um grupo restrito de palavras • Escolha de termos abrangentes – minimizar perda de informações • CAPES: ONG; organização não-governamental, programa social, projetos sociais e terceiro setor • IBICT: ONG; organização não-governamental, programa social, projetos sociais, terceiro setor e políticas sociais Método - 1. Localização de estudos Definição de termos e palavras-chave • Busca nas bases a partir das palavras e expressões realizadas por um biblioteconomista. – CAPES: termo a termo “expressão exata” campo assunto 16 a 30 de julho 1987/2007 – IBICT: entre 15 e 20 de agosto de 2008 “com a expressão” no título e resumo 1970/2008 – Produção de uma base de 1393 Base abrangente com estudos relacionados ao campo social Método - 2. Localização aproximada de estudos do campo da avaliação Tratamento do material • Unificação das bases CAPES e IBICT • Exclusão registros duplicados • Localização de palavras-chave que caracterizariam nossa área de interesse mais específica. Avaliação Abordagens Estudo e Ensino Monitoramento Análise Gestão Valor Indicadores Eficiência Eficácia Efetividade Administração Estratégia Gerenciamento Planejamento Responsabilidade Social Sócio-ambiental Resultados Políticas E Projetos Sociais Programas Sociais Terceiro Setor Ação Social Políticas Sociais ONG Organização Não-governamental Fundação Instituto Empresarial Resultados Sociais Impactos Sociais Método - 2. Localização aproximada de estudos do campo da avaliação Tratamento do material • Seleção de estudos que tivessem pelo menos um dos cruzamentos acima. • Leitura de títulos e resumos a partir de uma amostra (200): análise qualitativa e afinamento de critérios – Novo critério: manter apenas estudos que continham pelo menos Gestão e duas das palavras/expressões ou se estivesse associada aos termos Programa(s) social(is) ou Projeto(s) social(is): 577 • Exclusão de estudos que não eram nada significativos (distorções e ruídos da busca) 541 estudos com maior grau de relevância. Método - 3. Seleção dos estudos específicos que do campo da avaliação. Análises • Leitura dos títulos e resumos de 391 registros e análise a partir dos seguintes recortes: – É significativo? Realmente é de interesse específico do campo da avaliação? – Em que Instituição foi produzida e defendida (região de localização)? – Em que ano foi publicado? – Em que área do conhecimento? – Qual o “tema” do estudo – Quais as palavras-referência que o identificaram? Método Algumas aprendizagens a partir do método • Área difícil de definir: – muitas palavras “giram em torno” da área – A palavra “avaliação” sozinha não se mostra a melhor para localizar estudos de avaliação! • Amplitude de possibilidades, aplicações, metodologias, objetos... – Na leitura dos estudos se identificam muitas possibilidades de “fazer avaliações”. – Ao mesmo tempo, não é qualquer análise que pode ser chamada de avaliação • Qualquer recorte/ definição parece um pouco arbitrária e será parcial. A produção acadêmica em avaliação Onde se esconde a avaliação de programas e projetos sociais? Análise das palavras-referência (base de 130 estudos) Ocorrência Ocorrência Análise 68 Abordagem 19 Avaliação 61 Eficiência 18 Resultados 52 Efetividade 17 Gestão 51 Indicadores 17 Políticas sociais 40 Ação social 14 Organizações não governamentais 40 Planejamento 12 Projetos sociais 36 Responsabilidade social 12 Programas sociais 32 Eficácia 11 Terceiro setor 29 Fundação 11 Estratégia 23 Administração 9 Valor 22 Monitoramento 4 Gerenciamento 1 Sócio-ambiental 1 • Mais análise do que avaliação • Mais resultados do que processos • Muita gestão • Mais políticas, projetos e programas sociais do que ONG ou Terceiro Setor A produção acadêmica em avaliação Onde se esconde a avaliação de programas e projetos sociais? Análise das palavras-referência Resultados A base construída • 577 dissertações e teses que representam uma base relevante para o campo, porém: – 66% Não são dissertações e teses relativas à área de avaliação – 35% são dissertações e teses relativas à área de avaliação. Base relevante Avaliação Outros focos Debate conceitual, metodológico ou político sobre avaliação Questões jurídicas 3o setor Análises históricas e contextuais de propostas de políticas sociais Gestão do 3º setor 30% Questão política e 3o setor Estudos de técnicas e metodologias específicas de gestão Responsabilidade social Discussões sobre propostas de de gestão de políticas sociais Redes sociais Capital Social 6% Avaliação de programa ou projeto do 3º setor Avaliação de programa sócioambiental público Avaliação Econômica Outros 35% 29% A produção acadêmica em avaliação Temas Análises a partir da base “avaliação” Avaliação de programa social público 37% Avaliação de programa ou projeto do 3º setor 32% Debate conceitual, metodológico ou político 11% Responsabilidade social 6% Gestão do 3º setor 5% Questão política e 3o setor 5% Avaliação Econômica 3% Capital Social 1% 0% 5% 10% 15% 20% 25% 30% 35% 40% A produção acadêmica em avaliação Ano de defesa 40 16000 35 14000 30 Avaliação 12000 BDTD geral 25 10000 20 8000 15 6000 10 4000 5 2000 0 0 1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 ano teses e dissertações geral BDTD teses e dissertações em avaliação • A variação anual parece acompanhar o mesmo movimento da produção acadêmica no geral (em comparação com o BDTD)... Produção em Avaliação 1995 2 1996 0 1197 0 1998 1 1999 6 2000 11 2001 3 2002 12 2003 17 2004 24 2005 36 2006 38 2007 19 2008 5 A produção acadêmica em avaliação Ano de defesa 40 40000 35 35000 30 30000 Avaliação 25 titulados 25000 20 20000 15 15000 10 10000 5 5000 0 número de titulados na Pós-Graduação* teses e dissertações em avaliação • A variação anual parece acompanhar o mesmo movimento da produção acadêmica no geral (e em comparação com o número de titulados em cursos de Pós-Graduação)... 0 1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006 * Relatório Trienal CAPES, 2004 A produção acadêmica em avaliação Ano de defesa e tema •Os temas variaram ao longo dos anos de maneira semelhante... 70 Debate conceitual, metodológico ou político sobre avaliação Avaliação de programa ou projeto do 3º setor 60 Avaliação de programa social público Gestão do 3º setor 50 Questão política e 3o setor Responsabilidade social 40 Capital Social Avaliação Econômica 30 20 10 0 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 A produção acadêmica em avaliação Região de produção • Pouca presença do Norte • Reprodução de padrões sobre a produção científica e tecnológica.. Distribuição da produção pelas regiões e UFs 90 80 80 70 60 50 40 30 18 20 9 10 19 18 9 3 2 1 PB RN CE 6 2 1 GO MT 5 1 0 SP RJ MG Sudeste = 82 PE BA Nordeste = 24 DF Centro-Oeste=15 RS SC Sul=9 PA Norte A produção acadêmica em avaliação Área do conhecimento • Muita presença da área de Administração, Educação, Ciências Sociais e Serviço Social... • Mas quem será que estuda “o quê”?... Multidisciplinar 4% Ciências Ciências da ambientais comunicação 3% 2% Ciências contábeis 5% Administração 26% Engenharias 5% Economia 5% Psicologia 6% Educação 14% Saúde 8% Serviço social 9% Ciências sociais 13% A produção acadêmica em avaliação Área do conhecimento e tema • O tema do debate conceitual: está distribuído entre várias áreas • Avaliações de projetos do 3º setor: presença maior da Administração •Avaliações programas públicos: áreas da Educação e Ciências Sociais Administração Serviço social Economia Multidisciplinar Outros Educação Saúde Engenharias Ciências ambientais História Ciências sociais Psicologia Ciências contábeis Ciências da comunicação Não indica Debate conc., met. ou político Avaliação de progr./ proj. 3º setor Avaliação progr. soc. público Gestão 3º setor Questão pol. e 3o setor Responsabilidade social Capital Social Avaliação Econômica 0% 20% 40% 60% 80% 100% A produção acadêmica em avaliação Área do conhecimento e tema Debate conc., met. ou político Avaliação progr. soc. público Questão pol. e 3o setor Capital Social Avaliação de progr./ proj. 3º setor Gestão 3º setor Responsabilidade social Avaliação Econômica Administração Educação Ciências sociais Serviço social Saúde Psicologia Economia Engenharias Ciências contábeis Multidisciplinar Ciências ambientais Ciências da comunicação Outros História Não indica 0% 20% 40% 60% 80% 100% A produção acadêmica em avaliação O que os resultados dessas análises nos dizem? “Não existe uma definição certa para a avaliação, uma definição que, se pudesse ser encontrada, poria para sempre fim às discussões sobre qual a melhor maneira de proceder e quais as suas verdadeiras razões de ser. Aceitamos as definições de avaliação como construções intelectuais, cuja correspondência com a ‘realidade’ não é, nem pode ser, uma questão”. [Guba e Lincoln, 1989: 21] •Como isso nos posiciona frente à avaliação? •O que essas aprendizagens nos dizem? Que definições emergem dos estudos acadêmicos? A avaliação é uma análise de processos e resultados que permite o aperfeiçoamento da gestão de ONGs, projetos e programas sociais, no âmbito público ou do Terceiro Setor... A produção acadêmica em avaliação O que os resultados dessas análises nos dizem? •Produção sobre avaliação parece ser recente (últimos 10 anos). •A produção sobre avaliação segue a curva da produção acadêmica como um todo. •Avaliação perpassa diversas áreas: é estudada por muitos campos do saber. •A Administração parece enfocar mais o Terceiro Setor, enquanto a Educação e o Serviço Social os programas sociais públicos. •Uma produção acadêmica significativa sobre avaliação começa a existir.Torna-se possível a configuração de espaços (encontros, congressos, periódicos) para divulgar estes estudos.