VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 VI Seminário Pró-Conselho Monitoramento e Avaliação Ferramentas para a qualificação das políticas públicas para a infância e adolescência ANOTAÇÕES ORIENTADORAS DA APRESENTAÇÃO1 Daniel Brandão2 Instituto Fonte para o Desenvolvimento Social3 1. INTRODUÇÃO Observação: pela absoluta predominância de lideranças femininas no espaço deste seminário e dos próprios conselhos de direitos e tutelares, utilizarei somente o gênero feminino em minha linguagem. Agradecimento ao Instituto Telemig Celular. A avaliação alcançou um lugar de destaque nos debates e nos discursos do setor, agora é necessário que ela alcance lugar na prática de projetos sociais e de conselhos de direitos e tutelares. Só a experiência no campo, na ação, pode nos fazer avançar. Convido todas a irem para a rua fazer avaliação. Vamos pra rua! Por isso, tentarei ser prático. Vou me fundamentar em um pouco de teoria, mas oriento a fala para tentar ajudá-las a realizar avaliações dentro de suas lutas cotidianas. A ver se logro isso. Guardo certo radicalismo ao redor de alguns temas. Isso é feito conscientemente com o intuito de fortalecer o debate, estimular a crítica e provocar as ouvintes. Acho que é um radicalismo pedagógico. 1 Estas são notas orientadoras que serão acrescidas de argumentação durante a apresentação. E mail: [email protected] 3 www.fonte.org.br 2 Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 Minha apresentação é dividida em três grandes blocos, que seguem a esta breve introdução. No primeiro vou propor um conceito de avaliação, construído a partir da desconstrução de três “mitos” ou “máximas” que me parecem hegemônicas hoje no setor. No segundo bloco tratarei de propor uma proposta de como avaliar, de maneira muito simples, mas real e possível. O terceiro bloco é dedicado a algumas ponderações sobre oportunidades e desafios para o desenvolvimento da avaliação em conselhos. Inicialmente gostaria de trazer uma imagem: A avaliação tem uma alma feminina. Ela é uma prática que exige escuta, acolhimento, abertura, ter dureza sem perder a ternura, alteridade. Características que estão, em geral, mais presentes em mulheres do que em homens. 2. O QUE É AVALIAÇÃO Gostaria de propor um conceito de avaliação a partir da derrubada de três idéias muito presentes hoje no setor social e que me parecem insuficientes para definir a avaliação. Estes três pontos são: _ Avaliação é uma prática para verificar se os objetivos do projeto/ trabalho/ conselho foram alcançados; _ Avaliar é medir. _ Todos os projetos sociais devem ser avaliados. As afirmações não são falsas, mas são parciais e estão longe de definir o que é avaliação. Vamos por partes: Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 • Avaliação é uma prática para verificar se os objetivos do projeto/ conselho foram alcançados. A perspectiva de que avaliação está relacionada a objetivos diz respeito a uma abordagem de avaliação chamada Avaliação centrada em objetivos. Esta perspectiva busca saber (basicamente) se o que foi planejado foi atingido. Mas este tipo de avaliação tem uma séria restrição: no campo social muitas vezes o alcance do trabalho realizado ultrapassa os limites dos seus objetivos. Surgem outros resultados (não esperados), ocorrem mudanças no projeto que levam a diferentes resultados, a lugares novos, não previstos inicialmente. E a abordagem centrada em objetivos não permite olhar para estes novos contornos, ela está presa no que foi formalizado no início do processo. Os objetivos se tornam uma camisa de força para esta avaliação. E com isso se perde uma possibilidade enorme e muito rica de explorar outros aspectos relevantes da realidade social. Existem outras abordagens possíveis, não vale a pena citá-las todas aqui porque são muitas e este tema não é o foco de nossa discussão aqui. Entretanto é pertinente contextualizar apenas uma outra abordagem, pois é com base nela que está estruturada a proposta de avaliação que vou apresentar: a avaliação centrada nos participantes ou avaliação participativa. Esta abordagem é orientada pelo envolvimento e participação de todas aquelas que estão envolvidas em determinado projeto social na construção e desenvolvimento da avaliação. A participação é fundamental para determinar os valores, critérios, necessidades e dados da avaliação. Esta é uma avaliação que tem uma premissa democrática e como falamos aqui neste seminário sobre impacto na democracia, é absolutamente urgente e necessário adotar ferramentas em nosso trabalho que sejam também democráticas. Os Conselhos são espaços democráticos, são espaços de participação da sociedade civil, espaços de exercer direitos. Uma avaliação participativa, que envolva as conselheiras, as entidades, bem como outros sujeitos do sistema de garantias de direitos das crianças e dos Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 adolescentes é coerente com a própria proposta dos Conselhos. Como pode ser esta participação é uma excelente questão que pretendo abordar um pouco mais adiante. • Avaliar é medir. O outro ponto bem vigente nas cabeças de lideranças do setor social é a idéia de que avaliar é medir. Isto é de um reducionismo absurdo, quase revoltante. É uma injustiça com a grandeza da avaliação. Esta concepção é vigente por uma série de razões, mas basicamente ela se relaciona com a forma que o mundo concebeu a ciência nos últimos séculos. É fruto da modernidade científica. Criou-se uma idéia de que só existe o que é mensurável, o que se traduz em números, mesmo na área social. Se falam isso sobre a física, tudo bem, mas falar isso em temas como a antropologia, a sociologia, a psicologia e outros é de um absurdo descabido. Esta visão prega que só existe uma verdade única no mundo e que a ciência pode desvendá-la. Que esta verdade única é objetiva e que nós, seres que a estudamos, podemos atuar neutramente neste processo. Porque isso se criou e hoje é hegemônico é uma longa - e bela - história. Porque é a história da ciência, de como o homem conhece o mundo, ou seja, do próprio conhecimento, o que nos leva para a filosofia. Nós, no trabalho que fazemos, temos o privilégio de explicar o mundo de outras formas, diferentes dos números, mantendo um absoluto respeito à ciência – mas a outras formas de entender a ciência. Temos a possibilidade de trabalhar com outras linguagens. Por isso ouso dizer que nos podemos pensar poetas. Acho que sim, que vocês são poetas porque lidam com a dureza de uma maneira bela. Isto para mim é poesia. E que delícia que é estar entre poetas. Poetas, como diz o maravilhoso Manoel de Barros, gostam mais dos vazios do que dos cheios, falam que os vazios são maiores que o infinito. Poetas enchem os vazios com peraltagens. Dá para mensurar isso? Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 Evidentemente que há algum espaço para a medida. Há lugar para números em nossas avaliações, há espaço para a quantificação. Mas não se pode dizer que isso, só e estritamente, é avaliação. Avaliar é muito mais bonito que apenas medir. • Todos os projetos sociais devem ser avaliados. Muito se fala sobre avaliação hoje no setor. É palavra presente em congressos, debates, fóruns. A beleza disso está em trazer o tema para a pauta e desenvolvê-lo na prática. Instiga-nos a trabalhá-la de maneira mais madura, a observar os campos onde ainda é necessário avançar. Observar os vazios que, como poetas, nos atraem mais que os cheios. O perverso desta história, que eu observo estar ocorrendo, é que se afirma constantemente que avaliar é fundamental, importante, precisa ser incorporado a todo e qualquer projeto. Ou seja, que todos os projetos devem ser avaliados. Entretanto, com isso há o risco de tornar a avaliação uma norma ou um dogma. E assim perde-se a noção do sentido que realmente pode motivar a avaliação. E quando se torna uma norma ou dogma, a avaliação ganha um forte atributo moral. Quem avalia é o bom cristão, quem não avalia é o herege. Divide-se o mundo entre o bem e o mal. Diaba é aquela que não avalia. Isso é um grande erro. Como eu disse, avaliação não se impõe. Dogmas são impositivos. Avaliação imposta é controle e o controle tem outras atribuições. Controle está relacionado à hierarquia, ao mando, à sanção. A avaliação só se torna dever quando por ela fazemos uma opção. Só opta quem é livre. Isso significa que avaliação não se impõe, avaliação se exerce. A avaliação está relacionada à liberdade, é tarefa de homens e mulheres livres que pensam sua própria prática e atuação no mundo. Só quem é livre pode empreender um processo que lhe faça sentido. E sentido é a mola motriz para uma avaliação que se quer participativa e transformadora. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 Frente a isso, cabe-nos perguntar: O que é, então, avaliação? Proponho uma concepção que me parece alinhada com novas formas de se pensar avaliação. Eu ousaria dizer que avaliar é conhecer. Avaliar é um ato em busca de conhecimento. Simples assim, mas nem tão simples quanto aparenta. O que significa conhecer? É importante um esclarecimento mínimo para não mistificar também a nossa compreensão sobre “conhecer”. Conhecer significa compreender melhor e em maior profundidade a realidade que nos cerca e onde atuamos, significa nos apropriarmos com mais consistência desta realidade, tendo com isso maior poder para nela intervir. Avaliar é então uma forma de melhor compreendermos a nossa realidade, o que fazemos, como fazemos e as conseqüências (resultados) do que fazemos. Sabemos mais sobre o nosso trabalho, nossas ações, nossos projetos, nossas poesias. Assim, posso dizer que avaliar é aprender. Ou seja, avaliar é uma ação educativa. Paulo Freire disse que homens e mulheres são seres inacabados e conscientes de seu inacabamento. Ou, como diria Guimarães Rosa, as pessoas ainda não foram terminadas. A busca por nos fazermos terminados, para sermos mais, é a busca da aprendizagem, da educação. E a avaliação é parte desta busca, sua travessia vai nesta direção. Por isso, por ser um ato de aprendizagem, por ser uma ação educativa, a avaliação é um direito de homens e mulheres. Aprender é um direito à vida. Cito aqui o brilhante filósofo argentino Enrique Dussel4 para quem a possibilidade de criação, reprodução e desenvolvimento de vida humana é a possibilidade da ética. Creio que a aprendizagem 4 Dussel, E. (2002) Ética da Libertação na idade da globalização e da exclusão. 2ª Ed. Petrópolis: Ed. Vozes. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 é uma mediação para esta criação, reprodução e desenvolvimento. Por isso a avaliação é um ato ético que permite a vida ao ser humano. A avaliação, quando entendida como um ato de aprendizagem, traz algumas variáveis importantes a serem consideradas em seu processo de realização. A primeira é que a aprendizagem, entre adultos, como somos todas e todos aqui, nasce a partir dos desejos e motivações do sujeito. Parte de sua própria vontade. Parte de dentro e não de fora. É vontade e não obrigação. Parte de sua curiosidade, de sua inquietação em quer saber mais sobre algo. A avaliação precisa ser desejada e orientada pela curiosidade do conselho. Com isso entramos no outro aspecto desta apresentação que é Como avaliar. 3. COMO AVALIAR Vou propor uma forma de avaliar que seja, antes de mais nada, simples e possível. Quero crer que uma outra avaliação é possível, para parafrasear o Fórum Social Mundial. Corro o risco de ser tachado de banal pelos formalistas, mas preocupo-me com a ação prática, com quem, como vocês, tem as mangas arregaçadas no enfrentamento de adversidades infinitas. Proponho um processo que pode ser dividido em três fases. Para cada fase há um conjunto de perguntas orientadoras que apóiam a discussão a ser feita. FASE 1: Construção do Significado da Avaliação. Nesta fase o Conselho busca: (a) formar o grupo que participará da avaliação; (b) definir o que este grupo entende por avaliação; (c) definir o foco da avaliação. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 As perguntas a serem respondidas neste momento são: [1] Quem participa? [2] O que entendemos por avaliação? [3] O que queremos avaliar? Busca-se, inicialmente e com certa flexibilidade, definir o grupo que irá participar da avaliação. Aqui entra a questão da participação. Atores sociais para além do conselho podem ser convidados a contribuir. A liderança pode ser do conselho, que passa a contar com o envolvimento de outras pessoas. A forma de participação também deve ser equacionada. Acreditar que todas participando de tudo é o caminho me parece uma idéia um tanto ingênua e que se mostra, na prática, de difícil realização. É importante identificar que contribuição cada um pode dar e receber e em quais momentos isso pode ocorrer. Define-se um grupo que lidera o processo e outro que o apóia. Por que buscar a participação? Para que todas aquelas que estão envolvidas, de alguma maneira, com o trabalho do conselho possam aportar suas perspectivas, trazer seus juízos e critérios, o que aprofunda as possibilidades de leituras do mundo, potencializa a aprendizagem e permite o desenvolvimento dos envolvidos como sujeitos de processo. Isto é uma tarefa difícil. Confesso que este é um dos maiores desafios profissionais que tenho hoje: criar possibilidades de ampliar a participação nas avaliações que realizo. Formado o grupo básico para a avaliação, parte-se para responder a segunda pergunta que compõe esta fase: [2] O que este grupo entende por avaliação? Como já discutimos, há muitas concepções a respeito de avaliação e é um grande risco iniciar um processo desta natureza sem alinhar o grupo a este respeito. É importante que se converse sobre isso, sem a intenção de um embate teórico, mas simplesmente com o Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 intuito de que o grupo construa, a partir de seus referenciais próprios, a sua compreensão sobre o significado do processo que pretende detonar. Este debate permite que o Conselho construa a sua própria compreensão de avaliação. Isto, em si, já é um aprendizado. Respondidas estas duas questões iniciais, pode-se dar o próximo passo que trata de definir o foco da avaliação. Isto significa: ter claro o que se quer avaliar. Muitos aspectos do trabalho do Conselho podem ser avaliados, mas não é possível fazer tudo ao mesmo tempo, há que priorizar. Por exemplo: o Conselho pode avaliar sua capacidade de mobilização social, a participação das entidades, a relação com outros atores do sistema de garantia de direitos. Ou avaliar seu processo de trabalho, como está atuando, como realiza suas atividades. Ou avaliar os resultados de sua ação, o impacto de sua atuação para o direito das crianças, a contribuição para o desenvolvimento das entidades, a sua influência na formulação de programas e políticas públicas focadas na criança. Isso são alguns exemplos. O que define isso será o que se fizer necessário para o grupo em determinado momento, ou seja, o que de fato contribuir para o fortalecimento do Conselho. A questão a ser respondida neste momento é: [3] O que queremos avaliar? Costumo sugerir que o foco da avaliação seja traduzido ou expresso na forma de uma pergunta. Elas são capazes de dizer o que queremos ao mesmo tempo em que estimulam nossa curiosidade, nos põem em movimento. Estas perguntas são fundamentais e a elas chamamos de perguntas avaliatórias. Estas atuarão como guia de todo o trabalho. Toda a investigação e a reflexão serão feitas para se responder a estas questões. Cuidem bem desta etapa. Perguntas de avaliação são simples e poucas. Não são infinitas, inumeráveis. São aquelas capazes de guardar em si um conjunto expressivo de outras questões. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 Com as perguntas de avaliação definidas parte-se para um outro passo, ainda dentro da definição do foco da avaliação, que trata de outro assunto muito discutido no setor, eu diria até que é um assunto mitificado: os indicadores. Para cada pergunta podem-se construir indicadores, que são no fundo algo muito simples. São as variáveis que nos dão pistas, que nos apontam sinais para responder às perguntas que formulamos. Os indicadores irão nos orientar sobre informações que devemos buscar, recolher, sobre as quais devemos refletir. É a exploração do conjunto de indicadores que nos dará a resposta à pergunta de avaliação. Mas eu ousaria mais: diria que é possível fazer uma avaliação sem indicadores! Eles ajudam, mas não são fundamentais. Eu tenho algumas experiências com isso, todas muito interessantes. Trabalhei em avaliações sem indicadores e o trabalho foi muito bom porque apesar de não termos indicadores - que simplesmente não se fizeram importantes ou necessários nas discussões do grupo - tínhamos o essencial: ótimas perguntas. Excelentes perguntas orientadoras para o trabalho. FASE 2: Construção dos Espaços de Escuta Nesta fase o Conselho busca: (d) Definir, estruturar e implementar os espaços de escuta da avaliação. As perguntas a serem respondidas neste momento são: [4] Quais as formas de levantarmos informações sobre as nossas perguntas? [5] Como registrar as informações? Com isso em mãos: o que o Conselho entende por avaliação, suas perguntas e os indicadores (que, reforço, não são obrigatórios para uma boa avaliação), entramos na segunda fase da avaliação que chamamos da Construção dos Espaços de Escuta. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 É neste momento que o grupo elabora os espaços e formas de diálogo para escutar o que se tem a dizer sobre as perguntas que formulamos. Ou, de outra maneira: é a coleta de informações sobre as perguntas formuladas. A questão aqui é: [4] Quais as formas de levantarmos informações sobre as nossas perguntas? Há que se definir quem participa de cada espaço criado para se levantar informações. Isso depende de cada pergunta. Pode ser o próprio Conselho, as entidades, as famílias, a promotoria, a polícia, o juizado, a câmara municipal, as próprias crianças e adolescentes. Tudo depende do que queremos responder. Quando digo criar espaços de diálogo e escuta para estes públicos procuro ser simples. Devem-se construir espaços viáveis, possíveis, realizáveis pelo Conselho dentro de suas possibilidades. Conversas, reuniões, um questionário simples. O fundamental é criar a possibilidade de ouvir o outro de fato. Prefiro o risco a alguma imprecisão técnica ao imobilismo que o rigor cientificista pode nos trazer. Outro aspecto a ser considerado aqui é: [5] Como registrar as informações? Manter uma sistemática de registro, que sejam anotações, gravações ou outros, sempre focada nos fatos, no que foi dito, visto, escutado, é muito importante para democratizar a informação com todas aquelas que participam do processo, para alimentar uma boa análise das informações, que traz a próxima fase para a boca de cena. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 FASE 3: Atribuição de Sentido às Informações Nesta fase o Conselho busca: (e) Compreender as informações a aprender a partir delas. A pergunta a ser respondida neste momento é: [6] O que significam estas informações? Frente às informações levantadas, torna-se necessário compreendê-las em profundidade, refletir sobre o seu sentido. São dados que precisam ganhar vida e isso só é possível com a reflexão do grupo. Chamamos este o momento de atribuição de sentido às informações. Este é o outro momento da avaliação: quando, de posse de muita escuta, de muita conversa, ou seja, de muita informação, o Conselho reflete sobre as informações. Atribui sentido ao dado. A informação per si nada significa, precisa ser transformada em saber pelo grupo, precisa ser compreendida, o que ocorre frente a debates e reflexões. Este momento permite sistematizar a compreensão do grupo da sua realidade, construir alguns acordos, realizar os julgamentos, atribuir os méritos devidos, orientar a tomada de decisões. Dados estes passos o Conselho estará mais maduro e preparado para empreender seus projetos futuros, tomar decisões conscientes e aumentar as possibilidades de impacto de sua ação. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 4. AVALIAÇÃO E CONSELHOS: OPORTUNIDADES E DESAFIOS Falei aqui de maneira geral sobre a avaliação, são aspectos aplicados a qualquer situação de projeto social. Gostaria agora fazer um recorte específico e simples sobre esta questão aplicada em Conselhos, tendo dois eixos orientadores: oportunidades e desafios para os Conselhos realizarem avaliações. OPORTUNIDADES: • Contribui para acompanhar o trabalho das entidades que fazem parte do Conselho de Direitos; • Contribui com a legitimidade do trabalho ao fazê-lo transparente; • Pode fortalecer relações de parceria, que no caso dos Conselhos de Direitos são muito importantes para aumentar as captações para o fundo da criança e do adolescente; • Contribui para integrar o trabalho dos Conselhos de Direitos e Conselho Tutelar ao criar espaços comuns de discussão; • Contribui para reunir informações que ajudem a pressionar o governo a adotar medidas, políticas ou programas na área da infância e juventude; • Pode fortalecer a coesão interna dos Conselhos, fortalecer a sua identidade (sua missão, seus princípios, seus valores) ao criar espaços de discussão interna. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 DESAFIOS: • Romper o imobilismo: Avançar na prática da avaliação a partir das necessidades e recursos locais, com a utilização das técnicas que estão ao alcance das pessoas. Enfrentar as crenças vigentes e articular-se ao redor de suas próprias perguntas utilizando os meios disponíveis para respondê-las. É pôr em movimento uma avaliação possível. • A constituição dos Conselhos como um grupo. Conselheiros têm mandatos por tempo determinado (que variam em geral entre 2 e 4 anos). Para realizar uma avaliação é importante que o próprio Conselho, como grupo, esteja minimamente estruturado, com coesão interna que permita a construção de alguns acordos. Enquanto os Conselhos se formam e se preparam para sua própria tarefa, a avaliação encontra pouco espaço para se desenvolver. • A disponibilidade dos Conselhos. O trabalho é imenso e as pautas das reuniões são extensas. A avaliação precisa de espaço, de tempo para ser trabalhada, demanda disponibilidade dos conselheiros. • A sobreposição do interesse privado ou partidário ao interesse público, que leva a disputa política a ser focada no acúmulo de poder por determinados grupos e não no debate de propostas de transformação social. Algo muito comum e triste no Brasil de hoje. Conselhos de Direitos são bipartites, têm em sua composição 50% de representantes da sociedade civil e 50% de representantes governamentais. Os arranjos para a composição dos representantes do governo, em alguns casos, configuram um cenário onde o que predomina é o interesse partidário/ privado sobre o público. Nesses casos, construir acordos mínimos para uma avaliação e avançar em reflexões profundas e honestas é de pouco interesse para aqueles que estão no poder. Documento orientador para apresentação sobre avaliação e monitoramento VI Seminário Pró - Conselho A cidadania das crianças e dos adolescentes eu impacto na democracia Instituto Telemig Celular - Julho 2006 Algumas referências bibliográficas para quem tem interesse no tema: Brandão et al. (2005) Da Construção de Capacidade Avaliatória em Iniciativas Sociais: algumas reflexões. In: Ensaio: Avaliação e Políticas Públicas em Educação.. No. 48. Vol 13. Pg 361 – 374. Rio de Janeiro: Fundação Cesgranrio. Texto disponível em: http://www.fonte.org.br/documentos/artigo%2010.pdf Chianca T; Marino E; Schiesari L. (2001) Desenvolvendo a cultura de avaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I. Fonte/ Editora Global; 2001. Demo, P. Avaliação Qualitativa, 2a edição, S.Paulo, Cortez Editora, 1988. Marino, E. (2003). Manual de Avaliação de Projetos Sociais. 2ª Ed. São Paulo. Ed. Saraiva. Silva, R. e Brandão, D. (2003). Os quatro elementos da avaliação. In: Olho Mágico. Vol. 10. No. 2. Londrina: CCS – UEL. Texto disponível em: http://www.fonte.org.br/documentos/artigo%209.pdf Silva et al (2006). Desafio do Nosso Tempo: a atuação em rede no sistema de garantias de direitos de crianças e adolescentes. Resultados e reflexões do Programa Pro-Direitos. (2006) Fundação Telefonica e Instituto Fonte. Texto disponível em http://www.risolidaria.org.br/docs/ficheros/200603300010_87_0.pdf Worthen et al. (2004) Avaliação de Programas: Concepções e Práticas. 1ª Ed. São Paulo: Ed. Gente e Instituto Fonte. Documento orientador para apresentação sobre avaliação e monitoramento