1/17 Uma proposta para organizar Avaliação: Modelo Lógico e a Teoria do Programa Martha Cassiolato Diretoria de Estudos e Políticas Sociais 2/17 Proposta se baseia na abordagem de avaliação orientada pela teoria do programa Alguns estudiosos da avaliação de programas destacam a importância de se partir da análise de sua teoria, não só para identificar o que o programa espera alcançar, mas para entender como espera alcançar. Para tanto é necessário articular uma explícita descrição das idéias, hipóteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado. A construção do modelo lógico cumpre esse papel de explicitar a teoria do programa e é um passo considerado essencial na organização dos trabalhos de avaliação. 3/17 Os elementos do modelo lógico são: recursos, ações, produtos, resultados intermediários e finais, assim como as hipóteses que suportam essas relações e as influências das variáveis relevantes de contexto. Os pressupostos sobre os recursos e ações e como esses levam aos resultados esperados são freqüentemente referidos como a teoria do programa. O modelo lógico serve como um organizador para desenhar avaliação e medidas de desempenho, focalizando nos elementos constitutivos do Programa e identificando quais questões de avaliação devem ser colocadas e quais medidas de desempenho são relevantes. 4/17 A construção de uma referência prévia para a avaliação busca estabelecer consensos para as expectativas dos diversos atores envolvidos. Na medida em que pontos prioritários e parâmetros de julgamento são pactuados anteriormente à avaliação propriamente dita, minimiza-se o risco de divergências quanto ao desenho da avaliação, à interpretação dos resultados e às recomendações de mudanças no programa avaliado. Procedimentos adotados na construção do modelo lógico: 1º passo: coleta e análise das informações relevantes do programa: levantamento da documentação, de fontes de informação disponíveis e entrevistas com “pessoas chave”; 2º passo: pré-montagem do modelo lógico pela equipe de avaliação; 3º passo: Oficina de validação do modelo lógico com atores envolvidos na formulação e implementação do Programa para a checagem dos componentes do modelo lógico e análise de sua consistência. 5/17 Modelo Lógico de Programa – CTMA*/IPEA Componentes 1. Explicação do problema e referências básicas do Programa (objetivos, público-alvo e beneficiários) 2. Estruturação do Programa para alcance de Resultados (Resultado Final e Impactos) Estrutura Lógica Resultados Recursos Ações Produtos Intermediários Resultado Final Impactos 3. Identificação de Fatores Relevantes de Contexto * Câmara Técnica de Monitoramento e Avaliação criada pelo Ministério do Planejamento em 2005 6/17 1. Explicação do problema e referências básicas A construção da árvore de problemas é a forma usualmente utilizada para elaborar a explicação do problema. É organizada em torno de um problema central, seus descritores, as principais causas e as principais conseqüências do problema. As referências básicas são atributos que delimitam o campo de atuação do programa: objetivos, público-alvo e beneficiários. Utilizar um método para enunciar o problema e elaborar sua explicação deveria ser, em princípio, o passo inicial na elaboração de programas. Ao se definir qual é o problema a ser enfrentado pelo programa, o objetivo geral é mais facilmente identificado, que é exatamente a mudança da situação do problema. O público-alvo fica evidenciado e torna-se mais claro definir quais ações irão integrar o programa, dado que estas devem estar orientadas para alterar as causas do problema 7/17 1. Explicação do problema e referências básicas do Programa Mais Educação Maior exposição ao risco social Conseqüências Reforço da exclusão social. Saída extemporânea da escola (evasão escolar) e baixo aprendizado. Descritores do Problema Situação Inicial Problema d1= apenas 400 mil crianças e adolescentes freqüentam escolas públicas em jornada integral Grande contingente de crianças e adolescentes em situação de vulnerabilidade social que não estão em atividades educativas em jornada integral. d2=17 milhões de crianças e adolescentes em situação de vulnerabilidade social (em famílias beneficiárias do BF) Causas Programa MAIS EDUCAÇÃO Reduzida oferta de Educação Integral em escolas públicas. Inexistência de profissionais c/ formação em Educação Integral Baixa disponibilidade de materiais didáticos para Educação Integral Não utilização dos equipamentos públicos disponíveis pelas populações vulneráveis Insuficiência de equipamentos e infra-estrutura nas escolas para Educação Integral Educação Integral não está incorporada nos currículos de formação de professores Educação Integral não está incorporada na formação de gestores educacionais e demais profissionais da educação Inexistência de instituições formadoras que incorporem novos perfis profissionais requeridos pela Educação Integral. Precária formulação pedagógica consolidada sobre Educação Integral Ausência de paradigma contemporâneo de Educação Integral Objetivo Fomentar atividades educativas que ampliem a jornada escolar com vistas à promoção da educação integral de crianças e adolescentes em situação de vulnerabilidade Público Alvo Insuficiência de equipamentos públicos (quadras, ginásios, museus, parques etc.) nas periferias. Alunos dos ensinos fundamental e médio, em escolas públicas. Beneficiários Ausência de políticas públicas para utilização dos espaços disponíveis nas periferias. Financiamento público é insuficiente para ofertar educação de qualidade Educação Integral nãopriorizada como política pública Alunos dos ensinos fundamental e médio atendidos pelo Programa “Mais Educação”. Prioridades 20092010 - escolas urbanas com Ideb abaixo de 3.2; - territórios c/ violação dos direitos (trabalho infantil, exploração sexual..) - territórios do PRONASCI 8/17 2. Estruturação do Programa para alcance de resultados Estrutura Lógica Resultados Recursos Ações Produtos Intermediários Resultado Final Impacto As ações do programa devem estar orientadas para mudar causas críticas do problema, aquelas sobre as quais se deve intervir pelo seu maior efeito para a mudança esperada. As ações geram produtos, que são bens ou serviços ofertados aos beneficiários do programa. Em decorrência dos produtos das ações, os resultados intermediários evidenciam mudanças nas causas do problema e, por sua vez, levam ao resultado final esperado, que está diretamente relacionado ao objetivo do programa, refletindo a mudança no problema. Os impactos são os efeitos diretamente associados ao alcance do resultado final e, muitas vezes refletem mudanças nas conseqüências do problema. A importância do modelo lógico reside na representação adequada dos vínculos causais, de forma que seja possível contemplar claramente a relação entre aquilo que o programa deve produzir e o resultado a que se propõe. 9/17 2. Estruturação do Programa Mais Educação para alcance de resultados Recursos Ações Produtos Sensibilização e disseminação sobre “Mais Educação” para gestores escolares (diretores, coord. pedagógicos e equipes de gestão). ______ gestores escolares informados para atuarem no Programa Mais Educação $ Formação continuada a distância via UAB em Educação Integral ______ professores com aperfeiçoamento em Educação Integral $ Curso de especialização de professores comunitários do projeto Escola Aberta com conteúdo sobre Educação Integral. ____ professores com especialização em Educação Integral (curso de 360 horas). $ Constituição de “centros colaboradores” da Educação Integral com as Universidades Federais. ______ “centros colaboradores” em Educação Integral constituídos. $ Ressarcimento de despesas com monitores voluntários. ______ monitores voluntários ressarcidos $ $ Disseminação dos novos perfis profissionais para formação de técnicos de nível médio $ Instituição de novos perfis profissionais para formação de técnicos de nível médio (macro-campos). ____ escolas públicas com Educação Integral do “Mais Educação” atendendo ____ crianças e adolescentes em situação de vulnerabilidade social. ______ novos perfis instituídos (macro-campos). _______ materiais sobre Educação Integral disponibilizados para escolas e Secretarias de Educação $ Apoio à aquisição de materiais para execução de atividades educativas (7 macro-campos) ______ materiais para execução das atividades educativas disponibilizados para _____ escolas $ Apoio à construção e reforma de quadras esportivas nas escolas que aderiram ao Mais Educação. Quadras multi-esportivas construídas ou reformadas em ________ escolas $ Repasse adicional de recursos para alimentação escolar dos alunos do Programa Mais Educação. Aumento das refeições em ________ escolas que estão no Mais Educação. $ Realização de estudos e pesquisas. _______ estudos e pesquisas realizadas. Resultado final Ampliação do número de profissionais habilitados e com formação em Educação Integral. ______ escolas técnicas oferecem formação de técnicos para EI Apoio à produção e distribuição de material formativo sobre Educação Integral e o Programa Mais Educação. $ Resultados intermediários Ampliação do número de escolas com recursos didáticos para Educação Integral. Oferta de condições para desenvolver atividades do Programa Mais Educação. Aperfeiçoamento do desenho do Programa Mais Educação. Impactos Melhoria do aprendizado dos alunos e permanência na escola. . Redução do número de crianças e adolescentes expostos à situação de vulnerabilidade social Mudança na concepção e organização curricular de Educação Integral. . 10/17 3. Identificação de Fatores Relevantes de Contexto Para finalizar a construção do modelo lógico, é preciso refletir sobre as possíveis influências do contexto sobre a implementação do programa. Devem ser identificados os fatores relevantes de contexto que podem favorecer e os que podem comprometer o desenvolvimento das ações. Este é um dado importante da realidade do programa, o qual irá permitir conhecer a sustentabilidade das hipóteses assumidas na sua estruturação lógica para o alcance de resultados. É importante ter em mente que a apreciação sobre os fatores de contexto deve ser continuamente atualizada 11/17 3. Identificação de fatores relevantes do contexto do Programa Mais Educação FAVORÁVEL Apoio da Presidência da República ao PDE. DESFAVORÁVEL Dificuldades dos gestores para implantar o Programa Mais Educação . Priorização da qualidade da Educação Básica no PDE favorece a opção pela Educação Integral. Existência de outros programas federais que ofertam atividades sócio-educativas. . Grande visibilidade do programa na Secad/MEC. Organização curricular existente hoje na escola não favorece a Educação Integral Descontinuidade das políticas educacionais nos municípios (eleições municipais 2008) Baixa articulação com os outros programas federais, estaduais e municipais . Educação Integral é fator de diferenciação na distribuição dos recursos do FUNDEB Ausência de mobilização e controle social Convergência de outros programas que atuam nos territórios do Programa Mais Educação. Limitação orçamentária. Inclusão do Mais Educação no PDDE. Restrição legal para pagamento dos monitores voluntários Conhecimento acumulado de que a EI é importante para a redução das desigualdades Existência e desenho do Programa Saúde na Escola (PSE). Famílias dos alunos não estão informadas sobre o Programa Mais Educação 12/17 DEFINIÇÃO DE INDICADORES Com a construção do modelo lógico é possível definir indicadores apropriados para aferir o desempenho do programa. O indicador é uma medida, que pode ser quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado. Quando da sua definição, é importante analisar a relevância e utilidade do indicador para seus usuários potenciais. Outros requisitos devem igualmente ser preenchidos pelo indicador selecionado: validade e confiabilidade (pertinência e adequação para aferir o desempenho); mensurabilidade (passível de aferição periódica) e economicidade (obtido a um custo razoável). 13/17 Indicadores de Produto do Programa Segundo Tempo Produto Metas anuais Indicador Fórmula Fonte da Informação Núcleos do Segundo Tempo implantados, (com convênios assinados) “X” Núcleos previstos Taxa de Implantação de Núcleos Monitores e coordenadores desenvolvendo atividades dos núcleos “X” Monitores necessários Grau de cobertura da nº. de monitores atuando nos núcleos monitoria nº. necessário de monitores SNEED “X” Coordenadores necessários Grau de cobertura da nº. de coordenadores atuando nos núcleos coordenação nº. necessário de coordenadores SNEED Evento de Esporte Educacional realizado “X” eventos programados Taxa de realização de eventos nº. de eventos realizados nº. de eventos previstos SNEED Espaços Físicos esportivos e equipamentos implantados em áreas de risco social “X” recursos investidos nos Núcleos Taxa de investimentos em infra-estrutura dos núcleos Total de recursos investidos p/ Núcleos do PST Total de recursos previstos SNEED nº. de núcleos implantados nº. de núcleos previstos SNEED Indicador Aferido Data:____ 14/17 Indicadores de Resultados Intermediários do Programa Segundo Tempo Metas anuais Indicador Aumento da participação e permanência das crianças e adolescentes no Programa “X” participantes com freqüência entre 80 a 100% Taxa de freqüência de participantes no Programa Ampliação de profissionais atuando na área de esporte educacional “X” profissionais atuando em esporte educacional nº. índice de profissionais de esporte educacional Ampliação e melhoria da capacidade de atendimento de crianças e adolescentes em áreas de risco social “X” Núcleos programados Evolução de implantação de núcleos Resultado Intermediário Linha de Base Fórmula Fonte da Informação t0 participantes c/ freqüência entre 80 a 100% Total de participantes Núcleos do PST nº. de profissionais atuando em tn nº. de profissionais atuando em t0 SNEED nº. de Núcleos do PST em tn nº. de Núcleos do PST em tn-1 SNEED Indicador Aferido Data:____ 15/17 Indicadores de Resultado Final do Programa Segundo Tempo Resultado Final Linha de Base Meta Indicador Fórmula Fonte da Informação nº. crianças e adolescentes atendidos nº. crianças e adolescentes expostos a situações de risco social A ser definida t0 Crianças e adolescentes expostos a situações de risco social, praticando regularmente esporte educacional no tempo ocioso. ““X” crianças e adolescentes expostos a situações de risco social praticando regularmente esporte educacional no tempo ocioso Taxa de atendimento de crianças e adolescentes expostos a situações de risco social Indicador Aferido Data:____