UNIVERSIDADE DE SÃO PAULO Faculdade de Economia, Administração e Contabilidade Departamento de Administração TRABALHO DE CONCLUSÃO DE CURSO MENSURAÇÃO DO RESULTADO SOCIAL NO CONTEXTO DAS ORGANIZAÇÕES DO TERCEIRO SETOR Rafael Martín Delatorre Orientador: Roy Martelanc São Paulo 2002 UNIVERSIDADE DE SÃO PAULO Faculdade de Economia, Administração e Contabilidade Departamento de Administração MENSURAÇÃO DO RESULTADO SOCIAL NO CONTEXTO DAS ORGANIZAÇÕES DO TERCEIRO SETOR Trabalho de Conclusão de Curso apresentado à Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo Rafael Martín Delatorre Orientador: Roy Martelanc São Paulo 2002 Sumário SUMÁRIO ...................................................................................................................................... I
INTRODUÇÃO .............................................................................................................................. 1
SOBRE O TERCEIRO SETOR......................................................................................................... 4
1.1. Contextualização............................................................................................................. 4
1.2. Uma Conceituação para o Terceiro Setor ................................................................... 6
1.3. Áreas de Atuação das Organizações do Terceiro Setor ........................................... 8
1.4. A Forma Jurídica das Organizações Brasileiras........................................................ 9
SOBRE A AVALIAÇÃO DE PROJETOS E PROGRAMAS ............................................................ 11
2.1. Projetos, Programas e sua Administração................................................................ 11
2.2. Avaliação de Programas e Projetos ........................................................................... 13
2.3. Objetivos Econômicos versus Objetivos Sociais .................................................... 15
ENTIDADES SEM FINS LUCRATIVOS E AVALIAÇÃO DE PROJETOS ..................................... 18
3.1. Objetivos da Avaliação no Terceiro Setor ............................................................... 18
3.1.1. Aprimoramento da Gestão........................................................................................... 18
2.1.1. Causas nobres ‘versus’ causas econômicas ................................................................... 19
3.1.2. Ferramenta de Captação de Recursos......................................................................... 20
3.1.3. Compromissos das Organizações................................................................................ 21
2.3.1. Compromisso com os Doadores de Recursos ................................................................ 21
2.3.2. Compromisso com os Voluntários ................................................................................ 22
2.3.3. Compromisso das Organizações com a Sociedade ........................................................ 23
3.2. Dificuldade de Avaliar o Desempenho Social........................................................ 24
AVALIAÇÃO SOCIAL DE PROJETOS ......................................................................................... 27
4.1. Revisão Histórica dos Métodos de Avaliação de Impacto.................................... 29
4.2. Orientações para a Definição do Resultado / Impacto .......................................... 31
i 4.3. Métodos de avaliação de impacto.............................................................................. 32
4.3.1. Oxfam .............................................................................................................................. 32
4.3.1.1. Indicadores................................................................................................................. 34
4.3.1.2. Propriedades dos Indicadores..................................................................................... 36
4.3.2. Cost‐Benefit Analysis .................................................................................................... 38
4.3.2.1. Definições .................................................................................................................. 38
4.3.2.2. Possíveis objetivos a serem perseguidos..................................................................... 39
4.3.2.3. Avaliação das preferências individuais...................................................................... 41
4.4. Questão do Âmbito do Projeto .................................................................................. 43
MEDINDO O RESULTADO SOCIAL........................................................................................... 44
5.1. Benefícios de uma Medida de Impacto Social........................................................ 45
5.2. Características do Processo de Medida do Impacto Social ................................... 47
5.3. Mensurando o Impacto Social ................................................................................... 47
5.3.1. Usando Indicadores para Mensurar o Impacto Social.............................................. 48
5.3.2. Unindo os Indicadores Através da Análise Conjunta .............................................. 49
5.4. Análise Conjunta.......................................................................................................... 49
5.4.1. Propriedades dos Indicadores para a Análise Conjunta .......................................... 52
5.4.2. Escolha do Modelo Básico de Composição ................................................................ 53
5.4.3. Aspectos a serem considerados na Análise Conjunta .............................................. 53
5.5. Utilizando os Resultados da Análise Conjunta...................................................... 54
EXEMPLO DE APLICAÇÃO DO MÉTODO.................................................................................. 56
6.1. Realização da Pesquisa................................................................................................ 57
6.2. Resultados do Exemplo ............................................................................................... 58
6.3. Interpretação dos Resultados ..................................................................................... 63
6.4. Aplicação dos Resultados ........................................................................................... 64
6.4.1. Escolha de Projetos ........................................................................................................ 64
6.5. Mensuração do Resultado........................................................................................... 65
CONCLUSÕES E PRÓXIMOS PASSOS ........................................................................................ 67
BIBLIOGRAFIA ........................................................................................................................... 69
ANEXOS ...................................................................................................................................... 71
ii Introdução O Terceiro Setor desempenha um papel de grande relevância na sociedade brasileira. Em alguns casos, sua atuação determina o bem estar de inúmeras pessoas, pessoas que de outra forma teriam problemas sérios. Nos Estados Unidos, onde o setor sem fins lucrativos é mais desenvolvido, o Terceiro Setor é composto por cerca de 1,13 milhões de organizações de diferentes tamanhos, movimentando mais de US$ 400 bilhões e representando cerca de 7,4% do GDP do país. (Salamon in Salamon e Anheier, 1997, p. 302) No Brasil, apesar de não existirem dados confiáveis a respeito do real tamanho do Terceiro Setor no país, como mostrado na Figura 0.1, se reconhece que é um setor que vem ganhando maior expressão a cada momento. Já existem no Brasil organizações de grande porte no Terceiro Setor, atuando em mais de uma área de atuação, com diversos projetos. Em uma simples vista aos portais dessas instituições, entre as quais a Fundação Bradesco, o Instituto Ayrton Senna e a Fundação ABRINQ; é possível ver a grande relevância que o Terceiro Setor vem atingindo no Brasil. Com a crescente importância do Terceiro Setor para a sociedade, outra tendência se torna clara: a profissionalização da atuação social. Busca‐se cada vez mais conduzir a ação social de maneira racional, de tal forma a se conseguir o máximo de mudança social com os recursos disponíveis. Para tanto, as organizações tentam incorporar técnicas de administração empresarial em suas atividades, adaptando‐as conforme as peculiaridades 1 desse setor não lucrativo. Desse processo surge uma série de novos conceitos, expressões como “marketing social”, “balanço social”, “contabilidade social”, entre outros. Figura 0.1. As indefinições sobre o Terceiro Setor no Brasil (adaptado de Filinto, 2002) • Fundações: 11.076
Não se sabe quantas organizações da sociedade civil existem,
e nem como atuam. Não só o número de organizações é
desconhecido, como também não se sabe ao certo qual o
volume de recursos movimentados pelas ONGs (sua origem e
destino)
• Associações: 169.260
• Organizações Religiosas: 29.473
• Sindicatos: 7.874
• Federações: 1.451
MEREGE, Luiz Carlos. Entrevista ao Jornal Valor, Maio, 2001
• Confederações: 425
• Total: 219.559
Secretaria da Receita Federal in LANDIM, Leilah, 1998
• 550.000 instituições no Terceiro Setor
Jornal “O Estado de S.Paulo”, julho 2000
• 12.000 instituições no Terceiro Setor no Estado de
Pernambuco
Ministério Público do Estado de Pernambuco, 2000
• 5.200 fundações de direito privado no Brasil
Fundata/CEFEIS/FIPE, 2000
O capítulo brasileiro do trabalho realizado pelo John Hopkins
Institute for Policy Studies da Universidade John Hopkins –
USA – Estudo Comparativo Internacional sobre o setor sem fins
Lucrativos - , foi dificultado pela falta de dados estatísticos
e sistematização da área do Brasil .
LANDIM, Leilah e BERES, Neide.1999
No decorrer da pesquisa baseada a partir das fontes
estatísticas oficiais hoje existentes, evidenciou-se que estas
fontes são relativamente imprecisas e limitadas.
LANDIM, Leilah. BERES, Neide.1999
Atualmente, existem diversas publicações buscando exatamente atender a essa demanda das organizações por técnicas, procedimentos e orientações vindos do setor privado e aplicáveis ao Terceiro Setor. Exemplos podem ser encontrados em Bernstein (1997), Tenório (org.) (1997) e McKinsey e Ashoka (2001). Apesar dessa tendência, uma área da administração ainda possui sérias lacunas na aplicação ao Terceiro Setor: a avaliação dos projetos e a mensuração do resultado social. Na medida em que as organizações buscam desenvolver‐se cada vez mais, é importante conseguir obter uma medida de desempenho ou de resultado que oriente as decisões tanto dos financiadores e doadores quanto dos gestores das organizações e dos voluntários. Este trabalho se dispõe a discutir a respeito destas questões associadas à avaliação dos projetos sociais e à mensuração do resultado social e, a partir disso, propor uma forma de se medir efetivamente o resultado social de um projeto, apresentando um exemplo de 2 aplicação do método. O Capítulo 1 apresenta o Terceiro Setor, sua definição e abrangência. O Capítulo 2 discute a respeito de projetos e programas, suas definições e principais aspectos, além dos conceitos associados à avaliação. O Capítulo 3 traz reflexões a respeito da avaliação de projetos e programas dentro do contexto do Terceiro Setor. O Capítulo 4 apresenta a metodologia proposta para a mensuração do resultado social, assim como os conceitos associados às técnicas estatísticas utilizadas. O Capítulo 5 apresenta um exemplo prático, através de uma pequena pesquisa realizada com um caso hipotético. 3 Capítulo 1 Sobre o Terceiro Setor Se você não puder explicar o conceito de forma simples e clara, pare de falar e continue trabalhando até que você o consiga. Karl Popper, Filósofo 1.1. CONTEXTUALIZAÇÃO Se olharmos para como se organiza a sociedade, veremos que existe uma infinidade de organizações diferentes, com diferentes objetivos e diferentes pessoas. São organizações tão diversas quanto um órgão público, uma empresa transnacional e uma pequena empresa. Apesar desta grande diversidade, podemos classificar as organizações segundo a natureza de suas atividades, em um modelo de três setores. Coelho (2000, p. 39‐40) descreve os três setores da seguinte forma: ™ Governo, ou primeiro setor – As atividades têm por objetivo o atendimento universal das necessidades sociais. Ao contrário do mercado, o governo tem sua ação legitimada por poderes coercitivos, possuindo todo um arcabouço legal que limita, orienta e regula sua atuação. ™ Mercado, ou segundo setor – As atividades envolvem a troca de bens e serviços, com o objetivo de produzir lucro. O mercado atua sob o princípio da não‐coerção legal, ou seja, nenhuma pessoa é 4 obrigada a comprar, nem a vender. Os mecanismos do mercado estão ligados a preços e demanda. ™ Terceiro Setor – Seria formado por instituições cujas atividades não são coercitivas, ou seja, possuem toda liberdade de atuação, porém seu objetivo não está ligado ao lucro, mas sim ao atendimento das necessidades coletivas. Coelho (2000, 40) torna claro neste ponto a diferença entre interesse público e coletivo. Os interesses coletivos se referem a um determinado grupo, enquanto os interesses públicos necessariamente dizem respeito a toda sociedade. Esses conceitos são importantes para a compreensão da diferença de escopo entre o governo e o Terceiro Setor. Enquanto aquele necessariamente representa os interesses de toda a sociedade, uma organização do Terceiro Setor pode buscar atender às necessidades de um pequeno grupo, dentro de uma região restrita. Fernandes (1994, p. 20) define o Terceiro Setor a partir das possíveis combinações entre os agentes e os fins na sociedade, como o apresentado na Figura 1.1. Com isso a definição de Terceiro Setor seria pura e simplesmente um conjunto de organizações e iniciativas privadas que visam à produção de bens e serviços públicos. Figura 1.1. Combinações entre o Público e o Privado (Fernandes, 1994, p. 21) Agentes
privados
para
Fins
privados
=
Setor
mercado
públicos
privados
para
para
públicos
públicos
=
=
Estado
terceiro setor
públicos
para
privados
=
(corrupção)
O Terceiro Setor aparece pela primeira vez, na história brasileira, vinculado à Igreja Católica. Na época da Proclamação da República, a Igreja ainda estava muito ligada ao 5 Estado, porém as Confrarias, formadas por pessoas religiosas e reconhecidas pela Igreja, realizavam um importante papel filantrópico e de assistência social. Eram organizações voluntárias, que ofereciam serviços como assistência médica e financeira, organizava funerais e oferecia refúgio para mendigos. Essas organizações tinham estatutos que deveriam ser aprovadas pelo governo e pela lei eclesiástica, mantendo no entanto a independência de atuação. Exemplos dessas organizações são as Irmandades de Misericórdia, que estabeleceram no Brasil os primeiros hospitais, hospedarias e asilos. Essas organizações eram financiadas, em sua maior parte, por doações de pessoas ricas da sociedade. (Landim in Salamon e Anheier, 1997) Mais recentemente, o Terceiro Setor vem ganhando cada vez mais importância na sociedade a partir da atuação das chamadas Organizações Não‐Governamentais (ONG). Trata‐se de um conceito pouco preciso, porém amplamente usado na sociedade. Landim (1998, p. 24) afirma que a ONG situa‐se justamente num ponto do caminho que vai da caridade pessoalizada à ação pública governamental, não se confundindo com nenhuma das duas. As origens das ONG remontam à década de 70, quando surgem como uma forma de congregar os esforços de um grupo de pessoas com ideais comuns, notadamente movimentos sociais ou grupos buscando a transformação social. Oliveira Neto (1992) apud Landim (1998) mostra a importância dessas organizações como canais das classes média na esfera pública, exercendo formas de tradução e rearticulação dos interesses e demandas populares nas arenas institucionais de confronto e negociações sociais. 1.2. UMA CONCEITUAÇÃO PARA O TERCEIRO SETOR Os conceitos de Fernandes (1994) e Coelho (2000) ajudam a localizar o Terceiro Setor dentro da sociedade, porém não fornecem um parâmetro forte o suficiente para a pesquisa. Apesar da distinção entre os setores ser de simples compreensão, o resultado é um grupo nada 6 homogêneo de organizações com diferentes objetivos, tamanhos e escopo. Como coloca Salamon e Anheier (1997, p. 2) instituições muito diferentes, das que oferecem sopas aos pobres a orquestras sinfônicas, são normalmente colocadas em um mesmo Terceiro Setor, atrapalhando quaisquer estudos que se queira fazer sobre o tema. Salamon e Anheier (1997, p. 33) tentaram preencher esta lacuna teórica, estudando como o setor filantrópico, ou não lucrativo, funcionava em 13 países, inclusive o Brasil. Além disso, foram analisadas as diferentes abordagens que haviam sido propostas até então. A partir deste estudo, ele propõe uma definição “estrutural‐operacional”, que enfatiza a estrutura básica das organizações. Com isso, as instituições inseridas no conceito de Terceiro Setor compartilhariam as seguintes características: •
Organizadas – institucionalizadas de alguma forma. Segundo os autores, a realidade institucional não precisa ser necessariamente formal, mas pode demonstrada por reuniões periódicas, representantes reconhecidos, regras de atuação etc. Não são consideradas parte do Terceiro Setor, portanto, iniciativas ad hoc ou grupos informais e temporários de pessoas. •
Privadas – as instituições devem ser formalmente separadas do setor governamental, não fazendo parte nem sendo governadas ou geridas pelo governo. Isto não significa que as instituições não possam receber recursos públicos, nem que nenhum membro do governo possa fazer parte do corpo de diretores. •
Não distribuidoras de lucros – Os eventuais superávits produzidos pela instituição não podem ser repartidos entre os diretores, devendo ser reinvestidos no cumprimento de seus objetivos estabelecidos. Com isso, se diferencia o Terceiro Setor do mercado. 7 •
Auto governadas – As organizações devem ser geridas independentemente de outras organizações, com procedimentos e forma de atuação definidos internamente. •
Voluntárias – As organizações devem envolver algum grau de participação voluntária, em funções gerenciais ou operacionais. Uma instituição com um corpo de diretores voluntário pode ser classificada como “voluntária”. Esta definição do que é e não é considerado organização sem fins lucrativos torna o setor um objeto de estudo passível de ser analisado, o que não acontecia quando se levava em conta apenas a definição do privado com objetivo público. 1.3. ÁREAS DE ATUAÇÃO DAS ORGANIZAÇÕES DO TERCEIRO SETOR Salamon e Anheier (1997, p. 92), ainda com o objetivo de se criar uma classificação e definição comum que permitisse o estudo abrangente do Terceiro Setor, analisaram quais eram as atividades realizadas pelas organizações. A partir deste estudo, propuseram a chamada “International Classification of Nonprofit Organizations – ICNPO”, classificando por tipo de atividade as organizações. A Figura 1.2 apresenta as 12 áreas de atuação. 8 Figura 1.2. International Classification of Nonprofit Organizations – ICNPO (Salamon e Anheier, 1997, p.92‐94) 1. Cultura e Recreação
6. Desenvolvimento e Habitação
Cultura e Artes
Desenvolvimento Econômico, Social e Comunitário
Recreação
Habitação
Clubes de Serviços
Emprego e Capacitação
2. Educação e Pesquisa
7. Defesa de Direitos e Atuação Política
Educação de Primeiro e Segundo Graus
Entidades de Defesa de Direitos Civis
Educação Superior
Serviços Jurídicos e de Proteção Legal
Educação Alternativa e de Adultos
Entidades de Atuação Política
Pesquisa
8. Intermediários Filantrópicos e Promoção do Voluntariado
3. Saúde
Hospitais e Reabilitação
Sanatórios e Asilos
9. Atividades Internacionais
Saúde Mental e Pronto-Socorro Psiquátrico
Outros Serviços de Saúde
4. Assistência Social
Assistência Social
10. Religião
11. Sindicatos e Associações Profissionais de Empregadores,
de Empregados e de Autônomos
Emergências
Geração e Manutenção de Renda
12. Outros
5. Ambientalismo
Ambientalismo
Proteção de Animais
Cada uma destas áreas possui características muito diferentes, de tal forma não pode existir forma de avaliação que não leve em conta esse fato. 1.4. A FORMA JURÍDICA DAS ORGANIZAÇÕES BRASILEIRAS Szazi (2000, p.27‐29 37‐39), apresenta as formas jurídicas que podem tomar as organizações do Terceiro Setor no Brasil. •
Associação – uma pessoa jurídica criada a partir da união de idéia e esforços de pessoas em torno de um propósito que não tenha finalidade lucrativa. (Szazi, 2000) 9 •
Sociedade Civil sem Fins Lucrativos – Da mesma forma que as associações, são pessoas jurídicas formadas a partir da união dos esforços de pessoas em prol de algum objetivo comum. (Diniz, 2000, p. 144) •
Fundações – é um conjunto de bens, com um fim determinado, que a lei dá a condição de pessoa. (Resende, 1997 apud Szazi, 2000) A grande diferença, portanto, entre as associações/sociedades civis e as fundações é o objeto cerca do qual elas se constituem, e quem é responsável pela elaboração dos objetivos. Para as associações/sociedades civis, trata‐se da conjugação de vontades autônomas para chegar ao fim, em outras palavras, o meio são as pessoas e o fim é por elas concebido. No caso das fundações, a conjugação é de bens para alcançar o fim. Nesse caso, o meio são os bens e o fim é concebido pelo instituidor. O patrimônio não é a pessoa jurídica em si, mas o objeto da organização que se instituiu e constituiu. (Diniz, 2000, p. 144) Outras denominações encontradas no Brasil, como os institutos, não possuem uma forma jurídica prevista em lei. Tratam‐se apenas de nomenclaturas que se utilizam sem grande diferenciação, para formas jurídicas que obrigatoriamente são associação, fundação ou sociedade civil sem fins lucrativos. A distinção entre as formas jurídicas é importante porque elas possuem obrigações diferentes perante a lei. Como será apresentado adiante, as fundações são obrigadas a prestar contas à sociedade de maneira muito mais detalhada do que as associações. Além disso, essas prestações de contas incluem verificar se os objetivos da organização estão sendo cumpridos, tarefa que exige uma avaliação do resultado social dessas organizações. 10 Capítulo 2 Sobre a Avaliação de Projetos e Programas 2.1. PROJETOS, PROGRAMAS E SUA ADMINISTRAÇÃO Projeto, segundo a definição do Project Management Institute, é um esforço temporário empreendido para criar um produto ou serviço único. Temporário significa que cada projeto tem um início e um final definido. Único significa que o produto ou serviço é diferente, em alguma forma de distinção, de todos os outros produtos ou serviços similares. (PMI, 1999, p. 4‐5) Já um Programa pode ser considerado como um projeto de longa duração, não possuindo um final definido. Trata‐se de um esforço contínuo com algum objetivo definido. (Meredith e Mantel Jr., 1989 apud Durigan, 2000) Normalmente a atuação das organizações do Terceiro Setor é organizada em torno de projetos e programas. Organizações menores eventualmente não possuem projetos e programas formais, mas certamente sua atuação pode ser vista dessa forma. Com isso, torna‐se clara a importância dos conceitos de administração de projetos para o estudo das atividades empreendidas por essas organizações. Apesar disso, os conceitos e métodos utilizados para a avaliação de projetos e programas são relativamente semelhantes, com o que, no decorrer deste trabalho, não se faz distinção entre os dois. 11 Segundo o PMI (1996, p. 6), Administração de Projetos é a aplicação de conhecimento, habilidades, ferramentas e técnicas a atividades de projeto, com vistas a satisfazer ou exceder às necessidades e expectativas do stakeholder. Satisfazer ou exceder às necessidades e expectativas do stakeholder invariavelmente envolve o equilíbrio entre demandas concorrentes como: 1) escopo, tempo, custo e qualidade; 2) stakeholders com diferentes necessidades e expectativas; 3) exigências identificadas (necessidades) e não identificadas (expectativas). Um dos aspectos importantes mais importantes no contexto da administração é a limitação dos recursos e a demanda por resultados. É óbvio notar que é preferível conseguir o máximo possível de resultado por cada recurso aplicado, seja ele material, financeiro ou humano. Chianca et al (2001, p. 15) colocam, neste sentido, que a escassez de recursos obriga os gestores de organizações da sociedade civil a ter de utilizar de maneira racionalizada cada centavo de que dispõem, o que os leva com freqüência a tomar decisões difíceis, como o cancelamento total ou a eliminação de partes ou componentes de programas. Para conseguir utilizar os recursos da melhor maneira possível é essencial para as organizações contar com informações que as orientem em suas atividades. Analisando com cuidado os resultados obtidos com as atividades da organização será possível ao gestor implementar ações corretivas, ou mesmo mudar a estratégia da organização, com vistas a obter o resultado desejado. A obtenção dessas informações não é tarefa trivial, no entanto. Para isso é necessária a criação de indicadores, processos de medição do resultado etc, que juntos constituem a prática da avaliação de projetos e programas. Chianca et al (2001, p.15) completam afirmando que essas informações incluem, entre outras coisas, respostas a questões como: Que programas estão funcionando bem e quais estão mal? Quais os custos e quais os benefícios que cada programa traz para o público que atende? Há partes do programa que contribuem mais do que as outras? Que adaptações precisam ser feitas para melhorar o 12 programa? Buscar respostas adequadas e confiáveis para essas perguntas é a principal função da avaliação. 2.2. AVALIAÇÃO DE PROGRAMAS E PROJETOS Chainca et al (2001, p. 16) sintetizaram uma definição do que seria avaliação, a partir das propostas de Worthen et al (1997) e Patton (1997). Segundo eles, a Avaliação de Programas seria a coleta sistemática de informações sobre as ações, as características e os resultados de um programa, e a identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos publicamente, para determinar o valor (mérito e relevância), a qualidade, utilidade, efetividade ou importância do programa sendo avaliado em relação aos critérios estabelecidos, gerando recomendações para melhorar o programa e as informações para prestar contas aos públicos interno e externo ao programa do trabalho desenvolvido. Chianca et al (2001, p.19) apresentam ainda as diferentes abordagens que podem ser utilizadas na avaliação sistemática/formal de projetos e programas: •
Avaliação voltada para objetivos – Procura avaliar em que medida os objetivos e metas determinados previamente foram alcançados. O grande problema com essa abordagem é que não leva em conta os benefícios ou limitações que não estejam contemplados no plano traçado inicialmente. •
Avaliação orientada para a tomada de decisões – Está voltada às necessidades que os gestores/gerentes têm de informação. Todo o processo é voltado a julgar a efetividade do “tomador de decisões”, influenciando diretamente a avaliação. As críticas que se faz a essa abordagem estão relacionadas 1) à dificuldade de trazer à tona questões importantes do 13 programa que não estão no rol de preocupações ou de alguma forma vão de encontro às posições do gestor, que controla a avaliação e 2) a preferência que é dada aos gestores que estão no topo das decisões, o que pode tornar o processo pouco democrático. •
Avaliação voltada para consumidores – É aquela realizada junto aos consumidores ou beneficiários da ação social, principalmente através de pesquisas de opinião junto a esse público. •
Avaliação baseada em opiniões de especialistas – É baseada na aplicação de conhecimentos técnico‐profissionais por especialistas no julgamento da qualidade de um projeto ou programa. Funciona como uma espécie de auditoria, onde os especialistas são convidados a opinar sobre a condução e os resultados obtidos por determinada iniciativa. Um exemplo apresentado por Chianca et al é a contratação de uma equipe de profissionais da área da saúde (médicos, psicólogos, enfermeiros), especializada no atendimento a dependentes químicos, para julgar o mérito e relevância de um programa de tratamento de drogados realizado por um hospital público. A principal limitação dessa abordagem é o grau de subjetividade envolvido na opinião, mesmo de um especialista. Com este método, as avaliações variam segundo as crenças e opiniões, o que pode gerar conflitos. •
Avaliação baseada em opiniões contrárias – É baseada no desenvolvimento de pontos de vista opostos por diferentes avaliadores, de forma semelhante a um tribunal. Sua aplicação na área social é ainda limitada, porém trata‐se de uma abordagem que pode ser útil quando 1) o objeto avaliado atinge a muitas pessoas; 2) a população está mobilizada, graças a controvérsias relacionados ao objeto avaliado; 3) existe a necessidade de se decidir sobre a continuidade ou o término de um programa; 4) existem avaliadores externos disponíveis para ajudar na avaliação; 5) há clareza sobre os principais aspectos 14 relacionados ao objeto avaliado e 6) existem recursos disponíveis para financiar a implantação de uma abordagem como essa. A crítica que se lança sobre essa abordagem está relacionada com o fato de essa avaliação acabará só sendo realizada quando existirem problemas ou crises que precisam de solução, reforçando a prática de se avaliar os projetos somente quando existem problemas. •
Avaliação baseada na participação – Envolve as pessoas interessadas ou influenciadas pelo programa ou projeto avaliado. Essa influência acontece na determinação das necessidades, do tipo de dados a serem coletados e dos critérios e valores a serem utilizados na formação de juízo de valor sobre o objeto avaliado. (Chianca et al, 2001, p. 23) 2.3. OBJETIVOS ECONÔMICOS VERSUS OBJETIVOS SOCIAIS O conceito de projeto e programa surgiu no mercado. Assim, toda a teoria de administração de projetos foi desenvolvida nesse contexto. É óbvio pensar que não é possível utilizar as teorias de administração de projetos da mesma forma no Terceiro Setor e no mercado. No mercado, o objetivo final está quase sempre ligado ao lucro e ao aumento de valor da empresa, de tal forma que o conceito de eficiência sempre aparece como de fundamental relevância. No Terceiro Setor, no entanto, os objetivos estão ligados ao setor público, fato que deve ser considerado ao se pensar em métodos de avaliação. Assim, nos objetivos do Terceiro Setor não aparece o lucro, nem estes estão necessariamente ligados apenas à eficiência. Fuguitt e Wilcox (1999, p. 38‐42) apresentam os objetivos que um programa do setor público podem perseguir: 15 •
Eficiência – No fim do século XIX, Pareto já apresentava um conceito de eficiência. Segundo este conceito, uma política qualquer será superior (ou mais eficiente) se conseguir aumentar os ganhos sociais sem prejudicar ninguém, ou compensando os prejudicados. Essa definição não era totalmente adequada, uma vez que é rara uma política que não prejudique algum grupo e as compensações que existem não são automáticas. Assim, uma nova definição foi desenvolvida e chegou‐se ao chamado critério de Kaldor‐Hicks, que diz que a eficiência está sendo atingida quando alguma política gera mais benefícios que custos, não importando quem recebe os benefícios, quem suporta os custos e se os prejudicados são recompensados. •
Diminuição da desigualdade (distributional equity) – O critério da eficiência não diz nada a respeito da igualdade de uma sociedade. Uma política qualquer, dita eficiente, pode trazer benefícios para apenas parte da sociedade, aumentando sua desigualdade. No entanto, os efeitos distributivos de qualquer política não podem ser ignorados pelos tomadores de decisão, sendo que o objetivo de alguma política pode não ser necessariamente a eficiência no uso dos recursos, mas sim a promoção da eqüidade. •
Sustentabilidade – O conceito de sustentabilidade não é unânime entre os estudiosos, mas é normalmente associado com os impactos de determinada política para as gerações futuras. Assim, uma política é dita sustentável quando não impacta negativamente nas gerações futuras. Um exemplo seria uma política de desenvolvimento da Amazônia que incluísse a industrialização maciça da área florestal. Essa política poderia muito bem atender aos anseios da população local, diminuindo a desigualdade. Porém não promoveria a sustentabilidade, uma vez que a destruição da reserva natural certamente prejudicaria a sociedade futura. 16 •
Direitos humanos – Existem dois tipos de critérios possíveis no momento de analisar alguma política em particular. O princípio deontológico enfatiza o dever ético do administrador público de proteger os direitos humanos. Assim, uma política que possa causar qualquer malefício a algum indivíduo deve ser evitada. A ética ulititarista – base do análise de custo‐benefício – afirma ao contrário que o que é certo é o que irá maximizar o que é bom (Beatley apud Fuguitt e Wilcox, 1999, p. 41), não importando se causa algum prejuízo a alguém neste processo. A idéia é que, desde que no cômputo geral a sociedade saia ganhando, qualquer coisa é permitida. Estes dois critérios oferecem diferentes respostas para os problemas de escolha. Por exemplo, se todos os seres humanos tem direito a respirar ar puro, política de “poluição zero” devem ser permitidas. Uma análise segundo o critério utilitarista poderia chegar a uma conclusão diferente, priorizando investimentos em outras áreas que possam causar um impacto mais significativo na vida das pessoas. •
Direitos da natureza – Este objetivo diz respeito a responsabilidade do ser humano em relação aos recursos naturais. Apesar de haver algum debate a respeito de se a natureza e seus componentes (animais, pedras, plantas, ecossistemas) possuem direitos, o tomador de decisão deve levar em conta os custos ambientais na sua análise, se não por uma perspectiva deontológica (onde os humanos tem o dever moral de proteger o ambiente), pelo menos pelo impacto que determinada política pode ter na sustentabilidade e nos direitos humanos. 17 Capítulo 3 Entidades sem Fins Lucrativos e Avaliação de Projetos A avaliação do resultado é uma ferramenta de grande utilidade para os gestores de quaisquer organizações, como visto no capítulo anterior. No mundo das organizações do Terceiro Setor, a avaliação de projetos pode ser usada com outros objetivos além dos tradicionais. Neste capítulo são apresentados os usos possíveis da avaliação de projetos e programas sociais dentro do contexto do Terceiro Setor, além de uma discussão sobre as dificuldades iniciais de um processo de avaliação. 3.1. OBJETIVOS DA AVALIAÇÃO NO TERCEIRO SETOR 3.1.1. Aprimoramento da Gestão Um dos usos principais da avaliação é o aprimoramento da gestão. Algumas organizações não possuem qualquer tipo de medição do resultado social que sua atuação proporciona a sociedade, estando desta forma trabalhando às cegas. Não é difícil entender que, ao não se visualizar claramente os resultados de seu trabalho, as organizações podem se envolver em atividades que não as ajudam a atingir seus objetivos. Além disso, ao não acompanhar os resultados de seu trabalho, sequer tomam consciência a respeito de problemas em seus sistemas de trabalho, o que as impede de promover quaisquer ações corretivas. Não se pode corrigir o que não se conhece. 18 A avaliação do resultado social é uma forma de se fornecer ao gestor da organização uma medida de seu trabalho, de tal forma que ele possa acompanhar seu desenvolvimento. Torna‐se mais palpável o surgimento de problemas, porque estes terão influência no resultado. A partir dessas informações, é possível tomar ações corretivas ou mesmo mudar radicalmente a estratégia, de forma a sempre avançar no cumprimento dos objetivos e no benefício à sociedade. 2.1.1. Causas nobres ‘versus’ causas econômicas Nesse sentido, uma das objeções apresentadas pelas instituições à avaliação e medição do resultado social é que o processo de avaliação as afastariam de sua função e objetivo principal: a atividade social. Contra este argumento, Drucker (1997, p. 82) apresenta os conceitos de causa nobre e causa econômica, dizendo o seguinte: As instituições sem fins lucrativos em geral acham quase impossível abandonar qualquer coisa. Tudo o que fazem é ‘trabalho do Senhor’ ou ‘uma boa causa’. Mas elas precisam distinguir entre causas morais e causas econômicas. Uma causa moral é um bem absoluto. Os pregadores vêm vociferando contra a fornicação há cinco mil anos. Infelizmente os resultados foram nulos, mas isto só prova que o mal está profundamente enraizado. A ausência de resultados indica somente que os esforços têm que ser redobrados. Esta é a essência da causa moral. No caso de uma causa econômica, a pergunta é: Esta é a melhor aplicação de nossos recursos escassos? Há muito trabalho a ser feito. Coloquemos nossos recursos onde estão os resultados. Não podemos nos dar ao luxo de ser íntegros e continuar um projeto no qual parecemos incapazes de atingir os resultados que fixamos para nós mesmos. Neste ponto é inserido o pragmatismo nas ações sociais. Não é possível querer resolver todos os problemas de uma só vez e por um só programa. É necessário procurar formas de utilizar os recursos de forma a conseguir o máximo de resultado possível, mesmo que isso signifique deixar de lado algum público, ou alguma atividade em especial. Sem dúvida que esses públicos e atividades podem ser importantes para a sociedade como um todo, mas o fato é a ação estará melhor orientada se buscar o máximo de benefício que puder. 19 É possível fazer uma analogia com o setor privado. O gestor de uma empresa freqüentemente tem a seu dispor uma série de opções de investimento. Ele, focado em seus objetivos finais – teoricamente aumentar o valor para o acionista – não hesita em escolher aquele que tiver o melhor lucro, ou o melhor fluxo de caixa. Mais do que isso, ele escolhe entre esses projetos a partir de uma perspectiva que leva em conta o custo ou o investimento para determinado projeto. Uma organização sem fins lucrativos pode incorporar essa visão na sua gestão interna. As diferenças estão nos objetivos, de lucro para benefício social; nas fontes de recurso, de venda de bens e serviços para atividades de captação de recursos e nos interessados, de acionistas, funcionários e clientes para financiadores, voluntários, públicos‐alvo. 3.1.2. Ferramenta de Captação de Recursos Uma considerável parte das organizações do Terceiro Setor dependem fundamentalmente de recursos doados por terceiros. Trata‐se de pessoas físicas e jurídicas, interessadas de alguma forma no desenvolvimento da sociedade. Como tal, é claro que são pessoas interessadas em como serão utilizados os recursos doados, e qual o benefício que decorrerá dessa atuação. Mesmo considerando que o setor não é desenvolvido plenamente no Brasil, com os doadores muitas vezes não buscando ou não tendo acesso aos resultados das organizações que suporta, certamente a informação a respeito do benefício e do uso dos recursos seria apreciada pelo doador. As organizações, ao buscarem estas doações, utilizam toda uma série de argumentos. Desde apelos à consciência das pessoas até projetos sociais elaborados cuidadosamente, esses argumentos serão tão mais convincentes quanto a reputação da organização perante a sociedade. 20 É possível dizer que uma avaliação dos resultados sociais de uma organização é um argumento poderoso nesse sentido, ao se demonstrar que os recursos doados são utilizados de maneira eficaz. De posse dessas informações, a organização pode vir a ter sua tarefa de captação de recursos significativamente facilitada. 3.1.3. Compromissos das Organizações As organizações do Terceiro Setor não possuem donos ou proprietários a quem devam responder ou prestar contar. Sua atuação e orientação são independentes, sendo que nesse processo abrem‐se brechas para o aparecimento de comportamentos oportunistas e ineficácia. Constituídas com objetivos nobres, as organizações podem se descobrir envolvidas com a corrupção, ou ver seu patrimônio dilapidado por desvios ou má administração, ou ainda simplesmente não conseguir atingir seus objetivos de maneira eficaz. Com isso, fica claro então que as organizações devem prestar contas de suas atividades a todos os interessados ou envolvidos. Trata‐se da cobrança feita pelos doadores de recursos, da supervisão dos voluntários, do velamento do Estado etc. As organizações possuem compromissos com esses agentes, que devem ser atendidos seja por imposição legal ou moral. 2.3.1. Compromisso com os Doadores de Recursos O primeiro controle das atividades das fundações vem da cobrança dos doadores de recursos. Esse controle não é feito da mesma maneira por, nem sua relevância é igual para todos os doadores. Existem doadores que não se envolvem com a atuação das entidades de maneira direta. Normalmente, são pessoas que respondem a algum apelo específico de captação de 21 recursos, não realizando doações continuamente. Algumas vezes, isso significa passar ao largo de qualquer tipo de supervisão, sendo que as organizações acabam livres para realizar o que seja com os recursos. Algumas dessas instituições acabam prestando contas por iniciativa própria, o que não é a regra. Exemplos desse tipo de doador podem ser encontrados facilmente em campanhas como o Criança Esperança. Outros doadores fiscalizam e acompanham continuamente a atuação das organizações. Um exemplo desse tipo de doador é as organizações filantrópicas, cuja atuação social é realizada através do financiamento de outras instituições. Essas organizações, como o W.K. Kellogg Foundation nos EUA e o Instituto Ayrton Senna no Brasil, possuem programas contínuos de avaliação de projetos, condicionando a doação ao cumprimento de metas e objetivos. 2.3.2. Compromisso com os Voluntários Os voluntários podem ser vistos com outra classe de doadores. Enquanto aqueles ajudam a organização do Terceiro Setor doando valores monetários, os voluntários doam o valor de seu trabalho. Dessa forma, os voluntários são merecedores de atenção tão especial quanto os doadores de recursos. Afinal de contas, uma organização de má reputação terá dificuldades de formar seu quadro de colaboradores, o que atrapalhará suas operações. É possível afirmar que é de interesse da organização manter seus voluntários motivados e desejosos de contribuir. A avaliação do resultado social, neste contexto, surge como forma de demonstrar ao voluntário os benefícios conseguidos com sua colaboração. Os benefícios sociais demonstrados inequivocamente, transmitirão ao mesmo tempo a eficácia na atuação e o valor do trabalho do voluntário. 22 2.3.3. Compromisso das Organizações com a Sociedade Como visto anteriormente, as organizações do Terceiro Setor podem ser constituídas segundo três formas jurídicas: Associação, Sociedade Civil sem Fins Lucrativos ou Fundação. Cada tipo de organização presta contas de suas atividades de maneiras diferentes. É possível dizer que as fundações possuem uma maior cobrança em relação aos seus resultados, enquanto as associações possuem uma atuação menos controlada pela sociedade. As associações e sociedades civis não possuem uma legislação específica a respeito de prestação de contas à sociedade. Uma associação só precisa prestar contas ou apresentar informações ao Estado se possuir algum tipo de certificação que a obrigue, como é o caso da Utilidade Pública Federal, Estadual e Municipal, do Certificado de Entidades de Fins Filantrópicos, do Registro no Conselho Nacional de Assistência Social (CNAS) e da Qualificação como Organização da Sociedade Civil de Interesse Público (OSCIP). Tais certificações exigem uma renovação periódica, envolvendo a apresentação dos resultados das organizações, de seus objetivos etc. No caso das fundações, a legislação prevê que serão veladas pelo Ministério Público do estado onde estejam situadas. Como coloca Szazi (2000, p. 38), o patrimônio constituído para a fundação não pertence mais a quem institui, sendo destinado ao bem da coletividade. Dessa forma, a fundação não é nem de seus dirigentes, nem dos usuários e nem mesmo pertence ao Estado. Trata‐se de um patrimônio para bem comum, porém não pertencente a ninguém, o que exige uma proteção especial. O velamento da fundação pelo Ministério Público consiste na aprovação dos estatutos e das suas reformas; em velar para que os bens não sejam malbaratados por administrações ruinosas, ou desviados dos destinos a que os aplicou o instituidor; e em verificar se a fundação se pode 23 manter; ou se o patrimônio deve ser incorporado no de outra que se proponha a fins semelhantes. (Bevilácqua apud Szazi, 2000, p. 38) Considerando que os objetivos da fundação estão vinculados às atividades do Terceiro Setor, o Ministério Público deve saber avaliar se os objetivos estatutários estão sendo cumpridos. Essa tarefa exige, necessariamente, que se busque avaliar de alguma forma o impacto das ações na sociedade. Além do velamento realizado pelo Ministério Público, se uma fundação possui alguma certificação como as apresentadas acima, elas também necessitam apresentar documentos sobre suas atividades, sofrendo as mesmas exigências das associações. 3.2. DIFICULDADE DE AVALIAR O DESEMPENHO SOCIAL Não são poucas as instituições que não têm claro como avaliar seu desempenho. Rocche (2000, p. 14), inclusive, se refere a um estudo recente a respeito do impacto de ONGs, que concluiu que o verdadeiro impacto do (...) trabalho de desenvolvimento era pouco claro e que havia pouco consenso sobre quais ferramentas e métodos eram mais apropriados para sua definição. Apesar de extremamente relevante e importante, é muito difícil avaliar o desempenho de uma organização sem fins lucrativos. Rocche (2000, p. 14) coloca inclusive que, por falta de um programa apropriado de avaliação nas instituições, o setor entrou em um círculo vicioso, como o mostrado na Figura 3.1. 24 Figura 3.1. O círculo vicioso enfrentado pelo Terceiro Setor (adaptado de Rocche, 2000, p. 15) Crescente
Concorrência
entre as ONGs
Crescente
Necessidade de um
Perfil para Levantar
Recursos e Trabalho
de Advocacy
Incipiente
Aprendizagem e
Responsabilidade
Institucional
Crescente Pressão
para Apresentar
Resultados e
Impacto
Falta de Normas e
Padrões Profissionais
O círculo apresenta cinco elementos principais. As organizações necessitam cada vez mais da confiança da sociedade, para a captação de recursos e da imprensa, como forma de auxiliar o trabalho de advocacy. Além disso, existe uma grande concorrência entre as organizações por este mesmo espaço, o que provoca uma crescente pressão por apresentar resultados e impacto de seus projetos sociais. No entanto, muitas instituições ainda sofrem com a falta de normas e padrões profissionais na sua atuação, provocando uma incipiente aprendizagem e uma fraca atuação. Rocche (2000, p. 14) afirma, nesse sentido, que esses elementos se combinam para produzir um enorme espaço vazio entre a retórica das agências e a realidade do que realizam. Eles também alimentam um ceticismo cada vez maior sobre o valor da ajuda e diminuem a confiança entre as organizações. Um dos motivos dessa dificuldade é a falta de uma única variável que nos sirva de resultado e para a qual podemos voltar nossas análises. Nas empresas privadas, existe o lucro, conceito claro para qualquer pessoa na empresa e fora dela. Nas organizações sem 25 fins lucrativos, o resultado seria o benefício trazido por determinada ação para a sociedade ou um grupo. Numa empresa, existe o resultado financeiro. Lucro e prejuízo por si sós não são suficientes para julgar o desempenho, mas pelo menos são coisas concretas. Quer os executivos da empresa gostem ou não, o lucro certamente será usado para medir seu desempenho. Entretanto, quando os executivos de instituições sem fins lucrativos se vêem diante de uma decisão que implica em riscos, eles precisam definir os resultados desejados – antes que os meios de medir o desempenho e os resultados possam ser determinados. (Drucker, 1997, p. 79). 26 Capítulo 4 Avaliação Social de Projetos O que é um cínico? Um homem que sabe o preço de tudo e o valor de nada. Oscar Wilde A avaliação do resultado social, como visto, é fundamental para as atividades das organizações do Terceiro Setor. Infelizmente, as dificuldades que se apresentam não são poucas, da dificuldade de se definir qual é o benefício de determinada ação social a implementação concreta dos processos de avaliação, passando pela necessidade de se convencer as pessoas da organização da importância de se medir o resultado. Podemos classificar os métodos de avaliação em dois conjuntos: ™ Métodos de Avaliação Operacional; e ™ Métodos de Avaliação de Impacto. Os métodos de avaliação operacional buscam avaliar se o planejado foi executado corretamente, chegando‐se aos resultados previstos. É o caso de indicadores operacionais, presentes principalmente em hospitais. O foco desses métodos está na eficiência da atuação. 27 Os métodos de avaliação de impacto buscam avaliar o resultado e o impacto que determinada ação teve sobre a sociedade. De fato, Rocche (2000, p. 36) define impacto como mudanças sustentadas nas vidas das pessoas provocadas por uma determinada intervenção. Neste trabalho o foco é na avaliação do impacto ou do resultado, não abordando questões referentes exclusivamente à operação dos projetos / programas. A Figura 4.1 mostra a diferença entre eficiência, consistência, eficácia e impacto. A eficiência estaria ligada ao bom uso dos recursos disponíveis e a consistência à correta realização das atividades e processos. A avaliação neste nível se refere àquilo que é chamado neste trabalho de métodos de avaliação operacional, dissociados do resultado ou impacto efetivo. A eficácia e o impacto se referem, ao contrário, aos efeitos efetivos da ação nas pessoas a que se destinam os projetos. Na prática, a distinção entre resultados e impacto é pouco clara. A avaliação neste nível está ligada aos que são chamados métodos de avaliação de impacto. Figura 4.1. Diferenças entre Eficiência, Eficácia, Consistência e Impacto (Adaptado de Willot, 1985 apud Rocche, 2000) Recursos
Atividades / Processos
Eficiência
Consistência
Resultados
Eficácia
Resultados ou Efeito
Impacto
Mudança nas vidas das pessoas que
vivem na pobreza
28 4.1. REVISÃO HISTÓRICA DOS MÉTODOS DE AVALIAÇÃO DE IMPACTO Rocche (2000, p. 33) apresenta um breve histórico dos métodos de avaliação de impacto. Segundo ela, as primeiras abordagens datam da década de 1950, quando agências de desenvolvimento começam a usa‐las para prever as prováveis conseqüências ambientais, sociais e econômicas de um projeto, para poder aprova‐lo, ajusta‐lo ou rejeita‐lo. Nesse sentido, as abordagens mais comuns são a avaliação de impacto ambiental (environment impact assessment – EIA), avaliação de impacto social (social impact assessment – SIA), análise de custo‐benefício (cost‐benefit analysis – CBA) e análise de custo‐benefício social (social cost‐
benefit analysis – SCBA). 29 Figura 4.2. Abordagem para Avaliação e Determinação (Adaptado de Howes, 1992 apud Rocche, 2000) Participação
Modernização
Participação Aumentada
1950
EIA
1960
SIA
Análise de
Impacto
CBA
1970
LFA
Análise de
Impacto
Auto
Avaliação
1980
EIA
SIA
Análise de
Impacto
ZOOP
LFA
1990
Avaliação do
Desenvolvimento Social
RRA
RRA
LFA
SIA & EIA ?
PRA
ZOOP
PPA
Quarta
Geração
Síntese
Legenda
Métodos de planejamento
ou determinação
Métodos retrospectivos
ou de avaliação
Na década de 1970, surge uma nova abordagem, que tenta estabelecer uma hierarquia dos insumos, atividades e objetivos, relacionando estas com as suposições feitas a respeito do ambiente externo. Essa abordagem, denominada análise do marco lógico (logical framework analysis – LFA) e suas variantes são a estrutura de planejamento mais comum usada atualmente. 30 Na década de 1980 começam a surgir abordagens participativas de avaliação de impacto, onde as pessoas e comunidades são sujeitos ativos e não apenas objetos da avaliação. Entre essas abordagens estão a avaliação rural rápida (rapid rural appraisal – RRA), pesquisa com ação participativa (participatory action research – PAR), avaliação rural participativa (participatory rural appraisal – PRA) denominada atualmente ação e aprendizado participativos (participatory learning and action – PLA), entre outros. Isso leva ao surgimento de esforços para se sintetizar os diferentes resultados. Nesse sentido, surge o projeto orientado pelos objetivos (ZOPP), que buscava introduzir noções de participação na abordagem do marco lógico. Outras abordagens, levando em conta a avaliação do desenvolvimento social e as idéias da quarta geração vêem a avaliação como uma negociação das diferentes opiniões e perspectivas. Essas abordagens buscam compreender as opiniões dos vários grupos de interesse, especialmente aqueles cujos pontos de vista não são normalmente levados em conta. Mais recentemente, as estratégias de avaliação começaram a levar em conta as avaliações participativas da pobreza (participatory poverty assessments – PPA), procurando incorporar as perspectivas locais e as opiniões pela inclusão de métodos de pesquisa participativa. 4.2. ORIENTAÇÕES PARA A DEFINIÇÃO DO RESULTADO / IMPACTO Existem dois erros comuns na determinação do que é resultado concreto para uma organização: temeridade e exagero. A temeridade significa subestimar as possibilidades da organização, mirando em objetivos para os quais é fácil conseguir recursos ou resultados. Já o exagero consiste em superestimar os objetivos a serem alcançados, esquecendo‐se do que é possível ou dos recursos existentes para determinada ação. Quando os executivos de uma instituição sem fins lucrativos começam a definir o desempenho que torna operacional a missão da mesma, 31 precisam resistir a duas tentações comuns. Em primeiro lugar: temeridade. É muito fácil dizer que a causa é tudo e que se as pessoas não querem apóia‐la, pior para elas. Desempenho significa concentrar os recursos disponíveis onde estão os resultados. Não significa fazer promessas que não podem ser cumpridas. Mas o oposto também é perigoso – buscar resultados fáceis ao invés daquelas que promovem a missão. Evite o excesso de ênfase nas coisas para as quais a instituição pode conseguir dinheiro com facilidade. As universidades, por exemplo, freqüentemente estão sob grande pressão para aceitar dinheiro para uma cátedra que, para a administração e o corpo docente, prejudica a missão da escola. (Drucker, 1997, p. 80). 4.3. MÉTODOS DE AVALIAÇÃO DE IMPACTO 4.3.1. Oxfam Roche (2000, p. 57) apresenta as orientações seguidas pela Oxfam – uma confederação de organizações com projetos de combate a pobreza em mais de 100 países – em seus processos de avaliação de impacto. Segundo a autora, a avaliação de impacto deve ser feita em todo o ciclo de projeto, sendo que em cada uma das fases muda o foco da avaliação. A Figura 4.3 apresenta as diferentes características da avaliação para cada parte do ciclo do projeto. Uma parte importante do processo de avaliação, ainda segundo o proposto por Rocche, são as etapas preparatórias. Na preparação do processo é que se definem as questões principais que irão orientar todo o trabalho posterior. Essas etapas preparatórias levam em conta o seguinte: •
Definição do objetivo da avaliação de impacto – Segundo Rocche é um ponto que parece óbvio, mas é geralmente negligenciado. O ponto principal é que quanto maior o número de pessoas envolvidas no projeto ou programa, maior a possibilidade de tensão entre elas. O esclarecimento das expectativas e o que 32 diferentes grupos de interesse interpretam como impacto podem auxiliar a criar uma compreensão partilhada do processo. Figura 4.3. Elementos‐Chave da Avaliação de Impacto em Etapas Específicas do Ciclo de Projeto (Rocche, 2000) Rev isão ou Avaliação
Pode ser feito durante o pr ojeto, no seu
tér mino, ou vários anos depois.
Ger almente envolve r ever a eficácia, a
eficiên cia e o impacto do pr ojeto,
estr utur ado sobr e dados pr eliminar es,
coletados no início, bem como
monitor ar os dados coletados no
decorr er da implementação
Implem entação
No decorr er do pr ojeto, a coleta e a
análise ou monitor amento das
infor mações são r ealizadas para
ajudar no desenvolvimento do
pr ojeto, mas também para per mitir
que o impacto seja avaliado com o
decorr er do tempo. Envolve r ever os
dados e indicador es pr eliminar es,
•
bem como olhar adiante para o
futur o impacto.
Pode significar ter que descar tar
indicador es existentes e incor porar
outr os novos. Momentos específicos
de r eflex ão e r evisão nor malmente
r equer em que se baseiem em planos
de implementação, par ticular mente
no tér mino das etapas específicas.
Identificação e Elabor ação
Envolve a análise inicial da
situação, das mudanças
passadas e pr ovavelmente
futur as nas vidas das pessoas,
e uma avaliação de impacto
esper ado de qualquer
inter venção pr oposta. Pode
levar ao estabelecimento de
dados pr eliminares e
indicador es de impacto contra
que futur a mudança pode ser
avaliada.
Av aliação Prelim inar
Em ger al envolve uma
r evisão detalhada da
ex eqüibilidade,
eficácia, custos,
benefícios e o impacto
do pr ojeto pr oposto.
Definição dos modelos de mudança – Qualquer processo de avaliação faz suposições a respeito de como a atividade irá influenciar na mudança e porque ela irá ocorrer no final. Esse modelo de mudança, em muitos casos, é implícito e pode ser visto como bom senso. No entanto, em outros casos trata‐
se de uma questão de grande relevância para o processo de avaliação. Rocche cita o caso de um projeto de combate à pobreza que avaliava as mudanças observando o consumo e a renda, enquanto outro projeto de combate a pobreza, seguindo a idéia de que a pobreza só acaba efetivamente quando as pessoas conseguirem defender seus direitos, avaliava a extensão até onde as 33 organizações e federações locais colocavam seus interesses contra a estrutura local de poder e depois contra o Estado. 4.3.1.1. Indicadores Rocche ainda traz considerações a respeito das áreas de mudança e indicadores que devem ser avaliados. Não há nenhum método acordado de como fazer essa definição, mas Rocche apresenta três abordagens utilizadas por ela em seus estudos. •
A primeira, usada em estudos retrospectivos, é em grande parte conduzida por projeto e envolve uma análise conjunta do ambiente externo e do projeto em si, determinando quais são os indicadores mais importantes de se explorar. Algumas vezes, isso envolve um processo de consulta com as comunidades e grupos de enfoque, de modo a determinar os indicadores. •
A segunda abordagem tenta ser mais aberta, explorando primeiramente as mudanças provocadas por projeto, conforme indicado pelas várias partes interessadas em listas genéricas. As pessoas são convidadas a opinar a respeito das mudanças nas várias áreas. •
A terceira abordagem olha o impacto a partir da perspectiva de uma organização ou projeto que apóia, buscando identificar que mudanças são consideradas mais significativas na vida das pessoas. Passa a explorar então quais processos produzem tais mudanças. Enquanto a primeira abordagem os indicadores são estabelecidos e a avaliação consiste em verificar a mudança nesses indicadores, as últimas duas buscam levar em conta áreas mais amplas de mudança na vida das pessoas. A importância de se analisar indicadores outros que não os previamente estabelecidos é exemplificado pelo dilema do indicador, onde fica claro que ao se prender aos indicadores definidos no planejamento, o avaliador pode perder de vista situações inesperadas, conforme o mostrado na Figura 4.4. 34 Figura 4.4. O dilema do indicador: Que tipo de mudança é captado? (Goyder et al., 1998 apud Rocche, 2000) Acordado
Não Acordado
Esperado
Não Esperado
999
???
???
???
Além disso, o dilema do indicador põe a mostra a questão dos impactos negativos, normalmente não considerados ou analisados. É natural que existam impactos negativos. Como cita Rocche, haverá impactos positivos e impactos negativos. Há impactos negativos mesmo de boas atividades, nada com que se deva ficar embaraçado. Por exemplo, se uma mulher se casa, ela passa menos tempo com seus pais; eu tenho um bom emprego, disponho de menos tempo para tomar chá com os amigos. Rocche acrescenta ainda que você próprio deve, na verdade, desejar saber o que não deu certo, ou o que não está dando certo – se não deseja, como pode divulga‐lo? Uma outra discussão se refere aos tipos de indicador que devem ser utilizados. Rocche faz referência a três grandes áreas ou categorias de mudança, usados em três grandes projetos com ênfase no monitoramento e no registro de seu andamento (Wajir, BRAC, Proshika). Essas três grandes categorias são: •
Riqueza material, que compreende os bens e outros aspectos econômicos da comunidade, como situação ocupacional, salários etc. •
Bem‐estar social ou capital humano, relacionado principalmente à saúde, saneamento etc e educação, alfabetização, freqüência escolar etc. •
Empoderamento ou capital político, relacionado com a propriedade e controle sobre o patrimônio, percepções do bem‐estar e qualidade de vida, participação nas tomadas de decisão e nas instituições políticas, acesso aos recursos públicos, dependência, mobilidade etc. A Figura 4.5 apresenta os indicadores e as grandes áreas utilizadas na análise dos projetos citados. 35 Figura 4.5. Importantes áreas de mudança dentro das quais os indicadores específicos são selecionados (Rocche, 2000) BRAC
Proshika
Bem estar econômico
Empoderamento Econômico
Wajir
Mudança no bem-estar/sutento
· posse de terra
· dívidas
· mortalidade animal
· ocupação
· bens
· ocorrência de destituição periurbana
· bens
· renda
· necessidade de ajuda alimentar
· qualidade da moradia
· poupança
· qualidade da alimentação
· gasto e consumo com o domicílio
· investimento
· segurança alimentar
· mobilidade e poder de mercado
· taxa de retorno para investimento
fornecido por meio de crédito
· crédito e poupança
· lei e ordem
· habilidade para enfrentar a crise
Aspectos sociais do bem estar
Empoderamento social
Empoderamento social
· alfabetização e nível educacional
· alfabetização
· níveis de freqüência escolar
· saúde, saneamento e planejamento
familiar
· saúde, educação e conscientização
· planejamento familiar
· satisfação paterna com a qualidade da
educação
· características demográficas e outras do
domicílio
· conscientização ambiental e prática
· segurança do fornecimento de água
· mortalidade infantil
· mortalidade juvenil
Empoderamento da mulher
Empoderamento da mulher
· envolvimento nas atividades geradoras de
renda
· acesso a recursos públicos
· participação em instituições locais
Empoderamento da mulher
· percepções das mudanças na qualidade
de vida
· propriedade e controle sobre os bens
· percepções do próprio bem-estar
· dependência econômica dos maridos
· mobilidade
4.3.1.2. Propriedades dos Indicadores Rocche apresenta dois tipos diferentes de propriedades que os indicadores devem ter, como tipos diferentes de indicadores. Esses dois tipos são descritos pelas siglas SMART e SPICED. SMART significa Específico, Mensurável, Atingível, Relevante e Comprometido com o Tempo: ™ Específico – Devem refletir o que o projeto pretende mudar, evitando as medidas que estão muito sujeitas às influências externas; ™ Mensurável (sem ser ambíguo) – Devem estar definidos de modo a que sua medição e interpretação não deixem margem à dúvidas, proporcionando dados coletivos, independentemente de quem os colete; 36 ™ Atingível e sensível – Devem ser viáveis, portanto sensíveis às mudanças que o projeto propõe; ™ Relevante e fácil de coletar – Os indicadores não podem ser difíceis de coletar, dentro de prazos e custos razoáveis; ™ Comprometidos com o tempo – Devem determinar para quando está prevista uma certa mudança. Este tipo de indicador é objetivo e direto, porém não dá margem a que se analisem outros impactos, como o descrito pelo Dilema do Indicador apresentado anteriormente. O outro tipo de indicador tenta complementar essa visão. SPICED significa Subjetivo, Participativo, Interpretados e comunicáveis, Checados de modo cruzado e comparados, Empoderante, Diverso e desagregado: ™ Subjetivo – Os informantes têm uma especial posição ou experiência que lhes atribuem percepções ímpares que podem render um retorno muito alto no tempo do investigador. Nesse sentido, o que poderia ser visto por outrem como anedótico, torna‐se dado importante por causa do valor da fonte. ™ Participativo – Os indicadores deve contar com a participação daqueles mais bem colocados para avalia‐los. Por exemplo, deve‐se incluir nessa definição os beneficiários últimos do projeto. ™ Interpretados e comunicáveis – Os indicadores definidos localmente podem não significar muito para outras partes interessadas, de forma que devem ser explicados. ™ Checados de modo cruzado e comparados – A validade da avaliação deve ser checada, usando‐se métodos, informantes e pesquisadores diferentes. 37 ™ Empoderantes – Os indicadores devem propiciar uma reflexão a respeito do processo de mudanças, sendo empoderante por si próprio. ™ Diverso e desagregado – Deve‐se buscar continuamente novos indicadores e grupos onde avaliar, e essas informações devem ser registradas para a avaliação ao longo do tempo. 4.3.2. Cost‐Benefit Analysis A análise de custo‐benefício surgiu no início do século XX como um auxiliador na tomada de decisões por parte do governo. Sua primeira aplicação conhecida foi durante os anos 30, se expandindo e sendo utilizada pela Inglaterra e outras nações ocidentais nos anos 60. Sua versatilidade permitiu a análise de projetos tão diferentes como projetos de fornecimento de água, projetos de transporte, programas educacionais, políticas de saúde e nutrição da população e projetos ambientais. (Fuguitt e Wilcox, 1999) 4.3.2.1. Definições Segundo Fuguitt e Wilcox (1999, p. 35), a análise de custo benefício é uma abordagem útil na análise de quais decisões que utilizam recursos escassos promovem eficiência. Considerando uma política específica e as alternativas relevantes, a análise envolve a identificação sistemática das conseqüências de tal política, acompanhada da valoração dos benefícios e custos sociais, além da aplicação do critério de decisão apropriado. Dentro desta definição, podemos destacar três pontos principais: 1. A analise de custo‐benefício é uma ferramenta, um meio pelo qual o decisor pode atuar racionalmente; 38 2. A análise de custo‐benefício avalia a eficiência no uso dos recursos, sendo que isso é caracterizado, no setor público, pelo aumento do bem‐estar da sociedade. 3. A análise de custo‐benefício não é o mesmo que contabilizar o valor dos recursos e ver o quanto foi gasto em alguma política em especial. Na realidade, o conceito central na análise é o valor social das políticas e recursos, segundo o ponto de vista de todos os indivíduos da sociedade. 4.3.2.2. Possíveis objetivos a serem perseguidos Dentro do contexto do setor público, existem alguns possíveis objetivos para uma dada política ou programa para a sociedade, que são bastante distintos dos que norteiam a ação privada. Fuguitt e Wilcox (1999, p. 38‐42), elencam os seguintes possíveis objetivos: •
Eficiência – No fim do século XIX, Pareto já nos apresentava um conceito de eficiência. Segundo este conceito, uma política qualquer será superior (ou mais eficiente) se conseguir aumentar os ganhos sociais sem prejudicar ninguém, ou compensando os prejudicados. Essa definição não era totalmente adequada, uma vez que é rara uma política que não prejudique algum grupo e as compensações que existem não são automáticas. Assim, uma nova definição foi desenvolvida e chegou‐se ao chamado critério de Kaldor‐Hicks, que diz que a eficiência está sendo atingida quando alguma política gera mais benefícios que custos, não importando quem recebe os benefícios, quem suporta os custos e se os prejudicados são recompensados. •
Diminuição da desigualdade (distributional equity) – O critério da eficiência não diz nada a respeito da igualdade de uma sociedade. Uma política qualquer, dita eficiente, pode trazer benefícios para apenas parte da sociedade, aumentando sua desigualdade. No entanto, os efeitos distributivos de qualquer política não podem ser ignorados pelos tomadores de decisão, 39 sendo que o objetivo de alguma política pode não ser necessariamente a eficiência no uso dos recursos, mas sim a promoção da eqüidade. •
Sustentabilidade – O conceito de sustentabilidade não é unânime entre os estudiosos, mas é normalmente associado com os impactos de determinada política para as gerações futuras. Assim, uma política é dita sustentável quando não impacta negativamente nas gerações futuras. Um exemplo seria uma política de desenvolvimento da Amazônia que incluísse a industrialização maciça da área florestal. Essa política poderia muito bem atender aos anseios da população local, diminuindo a desigualdade. Porém não promoveria a sustentabilidade, uma vez que a destruição da reserva natural certamente prejudicaria a sociedade futura. •
Direitos humanos – Existem dois tipos de critérios possíveis no momento de analisar alguma política em particular. O princípio deontológico enfatiza o dever ético do administrador público de proteger os direitos humanos. Assim, uma política que possa causar qualquer malefício a algum indivíduo deve ser evitada. A ética ulititarista – base da análise de custo‐benefício – afirma ao contrário que o que é certo é o que irá maximizar o que é bom (Beatley apud Fuguitt e Wilcox 1999, p. 41), não importando se causa algum prejuízo a alguém neste processo. A idéia é que, desde que no cômputo geral a sociedade saia ganhando, qualquer coisa é permitida. Estes dois critérios oferecem diferentes respostas para os problemas de escolha. Por exemplo, se todos os seres humanos tem direito a respirar ar puro, política de “poluição zero” devem ser permitidas. Uma análise segundo o critério utilitarista poderia chegar a uma conclusão diferente, priorizando investimentos em outras áreas que possam causar um impacto mais significativo na vida das pessoas. •
Direitos da natureza – Este objetivo diz respeito a responsabilidade do ser humano em relação aos recursos naturais. Apesar de haver algum debate a 40 respeito de se a natureza e seus componentes (animais, pedras, plantas, ecossistemas) possuem direitos, o tomador de decisão deve levar em conta os custos ambientais na sua análise, se não por uma perspectiva deontológica (onde os humanos tem o dever moral de proteger o ambiente), pelo menos pelo impacto que determinada política pode ter na sustentabilidade e nos direitos humanos. 4.3.2.3. Avaliação das preferências individuais Os indivíduos de uma sociedade possuem diferentes interesses e desejos. Na tomada de decisão a respeito de políticas públicas, o decisor deve levar em conta estes interesses e desejos, de tal sorte a identificar os interesses da sociedade. Esses interesses e preferências podem ser descritos pelo conceito de utilidade. Segundo Samuelson e Nordhaus (1993, p. 100), utilidade significa satisfação. Mais precisamente, a utilidade seria o prazer ou benefício subjetivo que um indivíduo recebe com o consumo de um bem ou serviço. No entanto, para a tomada de decisão, não necessitamos necessariamente avaliar absolutamente a utilidade de um bem ou serviço – uma tarefa bastante complexa – mas sim avaliar a utilidade relativa de determinado bem ou serviço em relação aos demais. Os economistas rejeitam atualmente a noção de uma utilidade cardinal que possa ser relacionada com o consumo de bens vulgares, como sapatos e café. De fato, podem ser deduzidas curvas de procura sem se mencionar alguma vez a noção de utilidade. Para a moderna teoria de procura, o que conta é se um consumidor prefere mais certos conjuntos de bens do que outros, uma abordagem representada em afirmações do tipo ‘A é preferível a B’. Não é necessário mais do que esta ‘utilidade ordinal’ para fundamentar as propriedades gerais das curvas de procura (Samuelson e Nordhaus, 1993, p. 102) 41 A análise de custo‐benefício deve considerar a avaliação da utilidade das políticas públicas para os indivíduos da sociedade. Conforme coloca Fuguitt e Wilcox (1999, p. 43), a análise de custo‐benefício presume, portanto, que as preferências expressas no mercado podem oferecer dados valiosos para a mensuração dos valores sociais. Tal afirmação, no entanto, não é isenta de críticas. Segundo alguns especialistas, as preferências demonstradas nas eleições oferecem informações muito mais apropriadas para o decisor público, distinguindo dessa forma a figura do consumidor e do cidadão. Fuguitt e Wincox, resolvem a questão, apontando que as preferências individuais, independentemente se expressas economicamente ou politicamente, podem fornecer informações de relevância para a tomada de decisão pública. O uso do conceito de utilidade na análise de custo‐benefício implica na aceitação de duas premissas básicas: •
A soberania do consumidor ou indivíduo – o indivíduo sabe o que é melhor para ele, ou seja, o valor de todos os indivíduos da sociedade deve ser considerado, ao invés de um grupo restrito de especialistas ou de uma elite na sociedade. •
A distribuição de renda é dada – This is similar to the consumer in the market who determines the amount he or she is willing to pay for a particular good within the constraint of available household income. Since individuals have different income constraints, they have different abilities to pay. Thus, the analysis in effect accepts the existing income distribution as given. (Fuguitt e Wilcox, 1999, p. 45) 42 4.4. QUESTÃO DO ÂMBITO DO PROJETO Mullen e Dumpson (1976, p.11) afirmam que todos os projetos podem ser classificados segundo seu âmbito de atuação. Por âmbito de atuação, entende‐se qual a extensão da ação social na sociedade como um todo. Assim, são três os sistemas que os projetos sociais podem contemplar: •
Microsistema – Os problemas de um microsistema dizem respeito a um indivíduo ou pequenos grupos, como famílias. •
Mezzosistema – Os mezzosistemas são determinados são apenas seres humanos em sua individualidade, mas sim as relações entre eles em um sistema social. Assim, o mezzosistema é encontrado na realidade como uma vizinhança ou uma comunidade, mais do que uma família. •
Macrosistema – Os macrosistemas dizem respeito a uma grande comunidade, formada por grupos individuais, espalhada por uma grande extensão territorial. Nesse caso temos por exemplo um país, ou um estado. 43 Capítulo 5 Medindo o Resultado Social Como apresentado, não é tarefa simples realizar a avaliação do resultado ou impacto social de qualquer projeto. Quando se entra no universo das entidades filantrópicas, que financiam outros projetos de outras organizações, a questão se torna ainda mais aguda. Como decidir a respeito de quais projetos são os que merecem mais recursos? E como avaliar se os diferentes projetos, com diferentes objetos e meios de ação estão cumprindo seu objetivo social a contento e a contento de quem financia. Como foi visto, o problema central de não se conseguir avaliar com clareza o resultado entre projetos diferentes reside no fato de que não há uma medida única de resultado, como no setor privado: o lucro. Uma medida de benefício social, como um “lucro social” ou “impacto social”, que pudesse ser medido nas ações de diferentes projetos serviria para esse propósito. Este capítulo se propõe a discutir essas questões, propondo uma forma de se analisar os projetos segundo uma ótica de indicador único. Primeiramente, serão apresentados os benefícios e justificativas para um trabalho nessa direção. Segundamente, será discutida a forma pela qual se daria essa medição, com alguns detalhes a respeito de sua aplicação. 44 5.1. BENEFÍCIOS DE UMA MEDIDA DE IMPACTO SOCIAL Como visto, as organizações do Terceiro Setor possuem compromissos com uma série de agentes. Esses agentes possuem maior ou menor grau de influência em relação às atividades da organização, mas todos demandam informação a respeito de suas atividades. Isso se torna claro quando se observa que toda a atividade social depende em grande parte da motivação das pessoas em construir um mundo melhor, uma sociedade mais justa etc. Entre os benefícios de uma medida de Impacto Social estão os seguintes: ™ Comparabilidade ™ Objetividade Um dos benefícios mais evidentes de um indicador único de resultado social é tornar comparáveis projetos diferentes, em diferentes áreas. A pergunta que esse indicador responde é como um projeto contribui dentro do conjunto de projetos para a promoção do bem‐estar social. Dessa forma, seria possível comparar os resultados de um projeto de educação a adultos com outro de cuidados a idosos. É sabido que ambos projetos seriam úteis a qualquer sociedade, em maior ou menor grau. Quão úteis são esses projetos para a sociedade é a questão não respondida. Quando colocamos essa discussão dentro do contexto de organizações filantrópicas e voluntários, a contribuição de um indicador único é clara. Os financiadores terão uma forma de decidir razoavelmente por um ou outro projeto apresentado, enquanto as organizações que possuem uma contribuição efetiva para a sociedade teriam facilitada a tarefa de demonstra‐lo aos mesmos financiadores. 45 Mesmo quando consideramos a questão do voluntariado, fica simples pensar que para as organizações torna‐se mais simples a tarefa de atrair voluntários, a partir da demonstração da utilidade e impacto de suas ações à sociedade. Outro benefício ligado a um indicador único diz respeito ao estabelecimento de objetivos e metas. Uma medida única permite ao gestor da organização ter uma forma simples de avaliar o desempenho da sua organização no cumprimento de seus objetivos sociais. Essa objetividade de uma medida de Impacto Social possui impactos interessantes na administração das organizações do Terceiro Setor. Em primeiro lugar, na gestão dos voluntários. Um dos problemas que se enfrenta atualmente com a gestão dos voluntários é que estes são pessoas extremamente motivadas, porém possuem opiniões bastante divergentes entre si. Essa divergência constante a respeito de como melhor contribuir para objetivos sociais da organização muitas vezes leva à ineficiência. Um indicador único representativo do resultado social pode ser um importante aliado à solução dessas divergências, servindo mesmo para a orientação de todos rumo a consecução de seus objetivos. Assim, a discussão se daria em torno deste indicador, culminando com os voluntários concordando com um plano de ação que impacte de forma significativa na medida de Impacto Social. O plano de ação de um projeto social poderia ter relacionada toda a lista de relações de causa e efeito, e como cada ação contribuiria para o objetivo final: o Impacto Social. Novos voluntários poderiam ser introduzidos a organização a partir de outro referencial de resultado, mais simples de entender e ser adotado. Torna‐se possível também estabelecer metas de crescimento, e observar seu cumprimento. 46 Além do uso na orientação do trabalho voluntário, uma medida de impacto social torna simples a prestação de contas das organizações à sociedade, no que diz respeito a seus objetivos estatutários. Torna‐se possível criar um padrão de análise que servisse a todas as organizações, facilitando, por exemplo, o papel de velamento do Estado junto à fundações. 5.2. CARACTERÍSTICAS DO PROCESSO DE MEDIDA DO IMPACTO SOCIAL Para ser implantado com sucesso, um método de medida de impacto social necessita ter algumas características importantes. Essas características são as seguintes: •
Facilidade de implantação e operacional – O projeto não pode ser excessivamente complicado de se implementar. O Terceiro Setor é composto, em grande parte, por organizações de pequeno‐médio porte, sem recursos abundantes para investir em avaliação. Essas organizações não teriam como implantar um sistema complicado de avaliar suas atividades. •
Custo de implantação – Da mesma forma, os custos associados a esse método de avaliação não podem ser tão altos quanto para essas pequenas organizações desistirem de implementar‐la. •
Validade temporal – Para que seja realmente relevantes, as medidas do resultado e as pesquisas necessárias para sua implantação devem continuar válidas por longos períodos de tempo. Além disso, o desempenho de determinado projeto deve ser passível de análise ao longo do tempo. 5.3. MENSURANDO O IMPACTO SOCIAL A chave para essa resposta está em buscar o que há de igual nos diferentes projetos. Neste caso, é possível afirmar sem grandes receios que todos os projetos sociais, por definição, buscam aumentar de alguma forma o bem‐estar da sociedade como um todo. 47 Mesmo levando em conta que grande parte dos projetos atende às demandas de uma pequena coletividade, os idealizadores do projeto e seus executores buscam simplesmente cumprir sua parte dentro da sociedade. Não podendo atingir à sociedade como um todo ao mesmo tempo, os projetos se focam em pequenas coletividades, se encaixando bem ou mal para aumentar o bem‐estar da sociedade como um todo. Assim, a questão se reduz a medir a variação do bem‐estar social nos diferentes projetos. Porém isto não torna o problema muito mais simples. Afinal de contas, o bem‐estar social não é um conceito concreto, passível de ser medido como se conta o lucro de uma empresa. Neste ponto, é necessário recorrer aos conceitos apresentados quando apresentada a análise de custo benefício, no capítulo 04. Para a análise de custo benefício é necessário supor que o consumidor ou indivíduo é soberano, e saberá decidir o que é melhor para si mesmo e para a sociedade. Portanto, para se avaliar os resultados de um projeto social, de forma que sejam comparáveis os projetos, basta deixar que a sociedade escolha entre os benefícios trazidos pelos projetos, dizendo ao mesmo tempo quê benefícios considera mais importantes. Na prática, avalia‐se a utilidade relativa de cada um dos vários benefícios possíveis para um projeto social. A partir dessa utilidade, cria‐se um padrão de referências, aplicável aos projetos sociais conduzidos naquela sociedade, que trará o benefício que a sociedade vê em cada um de seus projetos. 5.3.1. Usando Indicadores para Mensurar o Impacto Social Para se perguntar à sociedade quais benefícios são mais úteis em proporcionar o aumento do bem‐estar social, é necessário ter muito claro quais as contribuições efetivas dos projetos. 48 Assim, para área de atuação devem ser definidos indicadores de impacto, através de uma pesquisa ampla com as organizações, buscando um padrão de referências de indicadores. Tais indicadores poderão ser classificados como propõe Rocche (2000), em medidas de riqueza pessoal, bem‐estar social e bem‐estar econômico. Serão estes indicadores que serão valorados e escolhidos pela sociedade. Tais indicadores devem possuir as características descritas como SMART, ou seja, Específico, Mensurável, Atingível, Relevante e Comprometido com o Tempo. Como veremos, este é um aspecto importante para a aplicação da metodologia de pesquisa que será proposta. 5.3.2. Unindo os Indicadores Através da Análise Conjunta A análise conjunta é um método de pesquisa usado normalmente para se avaliar a importância que o consumidor dá a diferentes atributos de um produto. Hair et al (1995, p. 560) a define como uma técnica multivariada [de análise] usada especificamente para entender como os respondentes desenvolvem preferências por produtos ou serviços. É baseada na simples premissa que consumidores avaliam o valor ou utilidade de um produto, serviço ou idéia combinando as quantidades de utilidades proporcionadas por cada atributo em separado. No contexto da mensuração do resultado social, a análise conjunta seria utilizada para se obter a utilidade que a sociedade dá aos indicadores pesquisados por área, em uma série de pesquisas. Essa utilidade medida por indicador seria utilizada posteriormente para se avaliar o resultado dos projetos sociais, no que se refere á utilidade para a sociedade. 5.4. ANÁLISE CONJUNTA A pesquisa de Análise Conjunta se baseia em um conjunto de estímulos em cartões ou outras formas, cada um com uma série de fatores. Solicita‐se ao entrevistado que ordene os 49 cartões segundo sua preferência pessoal. A partir dessa ordenação se calcula a utilidade relativa de cada um dos fatores para o entrevistado. A Figura 0.1 apresenta o processo de elaboração de uma pesquisa de análise conjunta. Os principais passos a serem seguidos são os seguintes: ™ Definir os objetivos da Análise Conjunta – Definir os objetivos da pesquisa, definir que aspectos da utilidade do produto / serviço / idéia serão considerados; ™ Elaborar o instrumento de pesquisa – Escolher os fatores e níveis, desenhar os estímulos, especificar o modelo básico de composição, definir a forma de apresentação, aplicação das entrevistas. ™ Suposições da Análise Conjunta – Avaliar que suposições a respeito de como o indivíduo tomaria decisões a respeito de que projetos financiar ou participar foram feitas no desenho dos estímulos. ™ Estimar o Modelo – Desenvolver um modelo para prever a decisão que o indivíduo tomaria com respeito às alternativas de projeto. 50 Figura 5.1. Processo de Decisão da Análise Conjunta (Hair et al, 1995, p. 566) A
Problema de Pesquisa
Quais são os elementos da
utilidade que serão levados em
conta? Quais são as decisões
chave?
Coleta de Dados
Escolher forma de medida
(ordenação vs avaliação)
Desenhar Estímulos
Coleta de Dados
Selecionar os fatores e níveis
Escolher forma de pesquisa
Desenhar Estímulos
Pressupostos
Selecionar o modelo básico:
aditivo ou interativo
Selecionar uma
Técnica de
Estimação
Coleta de Dados
Escolher a forma de
apresentação
Avaliar os
Resultados
Perfil
Completo
Matriz de
Trade-Off
Comparação
de Pares
Interpretar os
Resultados
Coleta de Dados
Criando os estímulos
Validar os
Resultados
Desenho
Fatorial
Fracionário
Desenho
Fatorial
A
Aplicar os
Resultados
™ Interpretar os resultados – Realizar a análise agregada ou desagregada, buscando encontrar grupos homogêneos e distintos entre os indivíduos entrevistados. Calcular a importância relativa dos atributos. ™ Validar os resultados; 51 ™ Aplicar os resultados – Os resultados seriam utilizados através de um modelo que previsse a escolha da sociedade segundo os indicadores apresentados pelo projeto. 5.4.1. Propriedades dos Indicadores para a Análise Conjunta O método de Análise Conjunta requer que os fatores apresentados aos indivíduos possuam uma série de características, sendo que da correta definição destes fatores dependerá a eficiência do modelo e da pesquisa. Segundo Hair et al (1995, p. 568), as orientações para a definição dos indicadores são: •
Os indicadores devem ser realistas – o indivíduo deve ser capaz de imaginar os fatores e níveis, sendo que estes devem ser objetivos. Medidas como “satisfação geral” devem ser evitadas, pois trata‐se de um fator cuja percepção é diferente de acordo com a pessoa. •
Os indicadores devem ser comunicáveis – o indivíduo deve ser capaz de entender perfeitamente o que os indicadores significam. •
O número de atributos deve ser cuidadosamente escolhido – Quanto mais fatores escolhidos, maior o número de estímulos necessários, dificultando a pesquisa. •
Os níveis devem ser balanceados – Quanto maior o número de níveis para determinado atributo, maior a atenção que o indivíduo dará a ele, o que influenciará os resultados finais da pesquisa. •
Os níveis devem ser colocados ligeiramente fora das escalas reais – estabelecer os níveis ligeiramente fora dos padrões reais facilita o trabalho do indivíduo em escolher. Neste caso o cuidado que se deve ter é tornar os estímulos não‐
críveis. •
Os atributos devem ser ortogonais – Isso significa que se deve evitar indicadores que tenham grande correlação. Nestes casos o melhor é eliminar um dos 52 atributos, mantendo o mais importante. Outra alternativa é juntar os indicadores em um indicador maior. 5.4.2. Escolha do Modelo Básico de Composição Para a aplicação da Análise Conjunta é necessário decidir como é que a utilidade total do produto, serviço ou idéia é composta a partir das utilidades‐parciais de seus componentes. Uma primeira forma é considerar um modelo aditivo, onde a utilidade total é a simples soma das utilidades de seus componentes. Esta é a forma mais simples de abordar‐se a questão, facilitando o processo de desenho de estímulos, ao mesmo tempo que diminuindo significativamente seu número. A segunda forma leva em conta os efeitos que uma variável eventualmente tenha com as outras variáveis. Este modelo é chamado modelo interativo, e aumenta significativamente o número de estímulos necessários para a pesquisa. 5.4.3. Aspectos a serem considerados na Análise Conjunta Há uma série de aspectos a serem considerados na elaboração e uso da Análise Conjunta para mensurar o resultado social de uma organização ou organizações. Em primeiro lugar, é importante ressaltar que a medida apresentada representa a utilidade que a sociedade dá aos projetos apresentados e aos fatores apresentados. No entanto, as percepções a respeito do que é realmente importante possivelmente varie significativamente ao longo do tempo e em diferentes localidades. Com esse pressuposto, que necessita ser melhor investigado, os resultados obtidos a partir da Análise Conjunta passam a ser relevantes somente para uma área geográfica restrita. Não existe nenhuma indicação sobre o quão restrita seria essa área geográfica, porém pode‐se imaginar que 53 seriam necessárias pesquisas em cada estado, ou região do país. Certamente, não é razoável supor que uma pesquisa de Análise Conjunta obtenha os mesmos resultados, por exemplo, na Suécia e no Brasil, porém os resultados para o estado de São Paulo podem ser significativamente expressivos como para orientar o investimento social das ONGs. Além disso, como dito, é possível que a medida que forem mudando as condições sócio‐
econômicas do país, é provável que os resultados mudem. Afinal de contas, algumas demandas perdem significado para outras, que exigirão mais atenção. Assim, uma pesquisa de Análise Conjunta necessitaria de atualização periódica. A partir dos resultados obtidos pela Análise Conjunta, é possível que se obtenha grupos homogêneos de pessoas, que valorizam de maneira semelhante os indicadores sociais. Por exemplo, é possível que se obtenha um grupo que dá maior ênfase ao desenvolvimento, valorando mais os indicadores relacionados com a educação, enquanto outros valorizariam a assistência social, valorando mais os indicadores relacionados com o combate à fome. Caso se identifiquem grupos assim, se deve desenvolver duas medidas de resultado social, associado ao perfil desses grupos. Assim, o investidor social deverá escolher, a partir de suas próprias crenças, que perfil é o seu, e utiliza‐lo para avaliar os projetos que lhe são apresentados. 5.5. UTILIZANDO OS RESULTADOS DA ANÁLISE CONJUNTA O resultado final de uma análise conjunta é os valores das utilidades atribuídas pelos entrevistados aos indicadores pesquisados. São esses valores que podem ser utilizados para se medir o resultado social de um projeto. 54 O conceito por trás dessa idéia é bastante simples: serão melhores e oferecerão maior resultado social aqueles projetos que melhorem mais os indicadores mais valorizados pela sociedade ou grupo. Com as utilidades parciais se podem estabelecer padrões de medida para os projetos. Além disso, se podem agrupar dados semelhantes, formando com isso medidas diferentes de acordo com os perfis descobertos. Esses padrões podem ser utilizados igualmente como critério de escolha de projetos, ou como meio para se calcular a eficiência das organizações em promover o bem‐estar, segundo a opinião da sociedade ou grupo. A metodologia detalhada é apresentada junto com um exemplo, no próximo capítulo. 55 Capítulo 6 Exemplo de Aplicação do Método Este capítulo pretende exemplificar o método apresentado no capítulo anterior, através de um exercício hipotético. Limitações de tempo e recursos tornaram impossível realizar a pesquisa de maneira apropriada, de forma os resultados que serão apresentados possuem apenas efeito ilustrativo. Para tanto, foi realizado um número limitado de entrevistas (28 pessoas), onde o entrevistado era opinado a opinar a respeito de projetos ligados à educação. Os resultados das entrevistas embasaram uma série de análises. No caso, serão abordados dois usos possíveis das informações coletadas na análise conjunta. No primeiro exemplo, uma instituição financiadora estaria querendo escolher entre dois projetos, o primeiro deles teria foco na redução no uso de drogas e no aumento da freqüência escolar, por parte dos jovens de determinada comunidade, através de campanhas de conscientização e ações diretas; enquanto o segundo projeto estaria focado no aproveitamento escolar, através de aulas de reforço e do incentivo à freqüência escolar. Figura 6.1. Projetos a serem escolhidos Projeto 1
Projeto 2
Porcentagem de crianças da
comunidade na escola
90% das
crianças
80% das
crianças
Média de anos de defasagem
idade x série
Diminuição
de 30%
Sem impacto
significativo
Número de casos de uso de
drogas reportado
Sem impacto Redução de
significativo
40%
56 O segundo exemplo, a instituição financiadora teria escolhido financiar os dois projetos, se bem que com um volume de recursos distinto. O objetivo da segunda análise é, a partir dos resultados efetivamente alcançados pelas duas ONGs e dado o valor financiado, calcular qual dos dois projetos foi mais efetivo no atendimento das demandas sociais. Figura 6.2. Resultado efetivo obtido pelos projetos Projeto 1
Projeto 2
Porcentagem de crianças da
comunidade na escola
92% das
crianças
80% das
crianças
Média de anos de defasagem
idade x série
Diminuição
de 40%
Diminuição
de 15%
Número de casos de uso de
drogas reportado
Custo dos Projetos
Sem impacto Redução de
significativo
40%
100.000
75.000
6.1. REALIZAÇÃO DA PESQUISA Para a pesquisa de exemplo, foi escolhido o modelo aditivo para a Análise Conjunta, e a apresentação dos perfis completos. Os fatores escolhidos estão relacionados com o problema apresentado anteriormente. Portanto, foram escolhidos três fatores, com três níveis cada, da seguinte forma: •
Porcentagem de crianças da comunidade na escola – significa o número crianças efetivamente freqüentando a escola da comunidade, sem fazer referência ao real aproveitamento dela. Foram escolhidos três níveis: 80%, 90% e 95%. •
Média de anos de defasagem idade x série – significa o número de anos que, em média, as crianças da comunidade se encontram defasadas em relação ao que seria considerado ideal para cada idade. Foram escolhidos três níveis: Diminuição de 10%, 30% ou 30%. 57 •
Número de casos de uso de drogas reportado – significa o número de casos de uso de drogas observado por pais, professores etc, entre as crianças da comunidade. Foram escolhidos três níveis: Redução de 15%, 20% e 40%. A partir desses fatores e níveis, foram elaborados 9 estímulos, que foram utilizados nas entrevistas, além de um instrumento de pesquisa. Os estímulos e o instrumento de pesquisa podem ser encontrados nos Anexos. Não houve nenhuma preocupação na formação da amostra. Os candidatos foram escolhidos aleatoriamente principalmente entre alunos da Universidade de São Paulo, entre os dias 3 e 4 de dezembro de 2002. 6.2. RESULTADOS DO EXEMPLO A partir dos dados coletados pela pesquisa, foram calculadas as seguintes informações, conforme metodologia apresentada por Malhotra (1999, p. 558): •
A utilidade parcial de cada fator para cada um dos respondentes, utilizando‐
se para isso regressões múltiplas a partir de variáveis dummy, além da importância relativa de cada fator correspondente a cada entrevistado. Esses resultados são apresentados na Figura 6.3. •
A utilidade parcial de cada fator para a amostra como um todo, e da mesma forma que o anterior, a importância relativa de cada fator para o conjunto de respostas. Esses resultados são apresentados na Figura 6.4. Em seguida, os respondentes foram agrupados em dois grupos homogêneos, coincidentemente com 14 respondentes cada, segundo o método de aglomeração hierárquica de Ward, onde se deve minimizar o quadrado da distância euclidiana às 58 médias dos conglomerados. Esse método é descrito por Malhotra (1999, p. 531), e apresentado como um método superior entre os métodos hierárquicos. •
A partir dos dois grupos, foram calculados da mesma forma a utilidade parcial para cada fator e a importância relativa a cada fator para cada grupo. •
Por fim, foram normalizadas as utilidades parciais de cada fator para a amostra como um todo e para cada grupo. As utilidades foram normalizadas atribuindo‐se valor 0 ao menor nível de cada fator, e o valor correspondente à importância relativa do fator para o maior nível. Com isso, a soma das utilidades dos maiores níveis de cada fator é sempre igual a 1. Esses resultados podem ser encontrados na Figura 6.5. 59 Figura 6.3. Resultados da Análise Conjunta Experimental, para Cada Respondente Crianças Matriculadas
80% das
crianças
90% das
crianças
95% das
crianças
Estimativas para Cada Entrevistado
1.
(3,000)
1,333
1,667
2.
0,333
0,667
(1,000)
3.
(0,667)
0,000
0,667
4.
(3,000)
0,000
3,000
5.
(1,667)
0,000
1,667
6.
(0,667)
0,000
0,667
7.
(1,000)
0,000
1,000
8.
(3,000)
0,333
2,667
9.
(3,000)
0,000
3,000
10.
(1,000)
0,000
1,000
11.
(2,000)
(1,000)
3,000
12.
(2,333)
(0,333)
2,667
13.
(0,333)
0,000
0,333
14.
(0,667)
0,000
0,667
15.
(2,333)
0,000
2,333
16.
(1,667)
0,667
1,000
17.
(0,333)
0,000
0,333
18.
0,000
1,000
(1,000)
19.
(1,000)
0,667
0,333
20.
(1,667)
0,000
1,667
21.
(3,000)
0,000
3,000
22.
(3,000)
1,000
2,000
23.
(1,333)
0,000
1,333
24.
(3,000)
0,000
3,000
25.
(2,667)
0,667
2,000
26.
(3,000)
0,000
3,000
27.
(1,667)
(0,333)
2,000
28.
(1,000)
0,333
0,667
Estimativa de Utilidades Parciais
Defasagem Idade x Série
Diminuir
10%
(1,667)
(3,000)
(1,667)
0,000
(0,667)
0,000
(3,000)
(1,333)
(1,000)
0,000
(0,333)
(0,667)
(3,000)
(2,333)
(0,667)
(1,000)
(2,333)
1,333
(0,333)
0,000
0,000
(0,333)
0,000
0,000
(1,333)
(1,000)
(1,000)
(3,000)
Diminuir
30%
0,000
1,333
0,000
0,000
0,000
(1,667)
0,000
0,000
0,000
0,000
0,333
0,000
0,000
(0,333)
0,333
0,000
0,000
1,667
0,000
(0,333)
0,000
0,667
0,000
0,000
(0,667)
0,000
0,333
0,000
Diminuir
60%
1,667
1,667
1,667
0,000
0,667
1,667
3,000
1,333
1,000
0,000
0,000
0,667
3,000
2,667
0,333
1,000
2,333
(3,000)
0,333
0,333
0,000
(0,333)
0,000
0,000
2,000
1,000
0,667
3,000
Casos de Uso de Drogas
Redução
de 15%
0,000
(1,333)
(1,667)
(1,000)
(1,667)
(2,333)
0,000
0,333
0,000
(3,000)
(1,667)
(1,333)
(1,000)
(1,333)
(1,333)
(1,667)
(1,000)
(1,000)
(3,000)
(1,667)
(1,000)
(1,333)
(2,667)
(1,000)
(0,333)
0,000
(1,667)
0,000
Redução
de 20%
0,000
0,333
(1,333)
0,000
(1,333)
(0,333)
0,000
0,000
0,000
0,000
0,000
(0,667)
0,333
(0,667)
(1,000)
(1,333)
(1,333)
1,333
0,000
(1,333)
0,000
(0,333)
(0,333)
0,000
(0,333)
0,000
(1,000)
0,333
Redução
de 40%
0,000
1,000
3,000
1,000
3,000
2,667
0,000
(0,333)
0,000
3,000
1,667
2,000
0,667
2,000
2,333
3,000
2,333
(0,333)
3,000
3,000
1,000
1,667
3,000
1,000
0,667
0,000
2,667
(0,333)
Importância Relativa dos Fatores
Crianças
matriculadas
58,3%
19,2%
14,3%
75,0%
35,7%
13,8%
25,0%
63,0%
75,0%
25,0%
55,6%
51,7%
8,0%
13,8%
50,0%
28,6%
7,4%
22,2%
20,0%
38,5%
75,0%
55,6%
32,0%
75,0%
51,9%
75,0%
37,9%
20,0%
Defasagem
idade x série
41,7%
53,8%
35,7%
0,0%
14,3%
34,5%
75,0%
29,6%
25,0%
0,0%
7,4%
13,8%
72,0%
51,7%
10,7%
21,4%
51,9%
51,9%
8,0%
7,7%
0,0%
11,1%
0,0%
0,0%
37,0%
25,0%
17,2%
72,0%
Casos de uso de
drogas
0,0%
26,9%
50,0%
25,0%
50,0%
51,7%
0,0%
7,4%
0,0%
75,0%
37,0%
34,5%
20,0%
34,5%
39,3%
50,0%
40,7%
25,9%
72,0%
53,8%
25,0%
33,3%
68,0%
25,0%
11,1%
0,0%
44,8%
8,0% 60 Figura 6.4. Resultados da Análise Conjunta Experimental, Geral e Grupos Crianças Matriculadas
80% das
crianças
90% das
crianças
95% das
crianças
Estimativa de Utilidades Parciais
Defasagem Idade x Série
Diminuir
10%
Diminuir
30%
Diminuir
60%
Casos de Uso de Drogas
Redução
de 15%
Redução
de 20%
Redução
de 40%
Importância Relativa dos Fatores
Crianças
matriculadas
Defasagem
idade x série
Casos de uso de
drogas
Estimativa Geral dos Resultados
Agg
(1,702)
0,179
1,524
(1,012)
0,060
0,952
(1,202)
(0,321)
1,524
40,8%
24,8%
34,4%
Estimativa Segundo os Grupos Formados
0,167
2,357
G1
(2,524)
0,191
0,691
G2
(0,881)
(1,024)
(1,000)
0,048
0,071
0,976
0,929
(0,619)
(1,786)
(0,143)
(0,500)
0,762
2,286
59,1%
20,8%
24,2%
25,5%
16,7%
53,8% 61 Figura 6.5. Utilidades Relativas dos Fatores Normalizados, Geral e Grupos Crianças Matriculadas
80% das
crianças
Casos de Uso de Drogas
95% das
crianças
Diminuir
10%
Diminuir
30%
Diminuir
60%
Redução
de 15%
Redução
de 20%
Redução
de 40%
Utilidades Relativas Normalizadas
0,238
0,408
Agg
0,000
0,000
0,135
0,248
0,000
0,111
0,344
0,000
0,000
0,130
0,142
0,242
0,255
0,000
0,000
0,058
0,170
0,167
0,538
G1
G2
0,000
0,000
90% das
crianças
Estimativa de Utilidades Parciais
Defasagem Idade x Série
0,326
0,142
0,591
0,208
62 6.3. INTERPRETAÇÃO DOS RESULTADOS Antes da efetiva aplicação dos resultados nos problemas propostos, é interessante analisar os resultados por si só. A Figura 6.6 apresenta os gráficos das utilidades relativas para cada um dos fatores, de toda a amostra e para cada um dos grupos. Figura 6.6. Gráficos das utilidades relativas para cada um dos fatores, agregado e grupos Crianças na escola
3,000
Utilidade
2,000
1,000
0,000
(1,000)
(2,000)
(3,000)
80% das
90% das
95% das
crianças
crianças
crianças
Casos de uso de drogas
1,500
3,000
1,000
2,000
0,500
Utilidade
Utilidade
Defasagem idade x série
Agregado
Grupo 1
Grupo 2
0,000
(0,500)
1,000
0,000
(1,000)
(1,000)
(1,500)
(2,000)
Diminuir
Diminuir
Diminuir
Redução
Redução
Redução
10%
30%
60%
de 15%
de 20%
de 40%
É interessante notar que os gráficos confirmam a existência dos dois grupos, um deles enfatizando com mais força a presença das crianças na escola e outra enfatizando o combate ao uso das drogas por jovens. Além disso, confirma‐se a hipótese que se poderia fazer da crescente utilidade de todos os indicadores, ou seja, quanto maiores melhores para o bem estar da sociedade, segundo a opinião dos entrevistados. No entanto, isso não é uma 63 hipótese generalizável a qualquer indicador. Para alguns indicadores, é possível que existam pontos ideais, por exemplo. A Figura 6.7 apresenta a importância relativa atribuída a cada um dos fatores, que será utilizada na aplicação dos resultados. Figura 6.7. Importância atribuída a cada um dos fatores, agregado e grupos 80,0%
Importância dos Fatores
Agregado
Grupo 1
60,0%
Grupo 2
40,0%
20,0%
0,0%
Crianças matriculadas
Defasagem idade x série
Casos de uso de drogas
6.4. APLICAÇÃO DOS RESULTADOS 6.4.1. Escolha de Projetos A primeira aplicação pretende criar um critério de escolha para diferentes projetos sociais, a partir de que indicadores a sociedade valoriza mais. No exemplo, os dois projetos a serem analisados podem ser encontrados na Figura 6.1. O critério de escolha para os projetos, a partir da pesquisa de Análise Conjunta, será simplesmente o que trouxer maior utilidade para a sociedade. Isso pode ser calculado 64 através da soma das utilidades relativas normalizadas, apresentadas na Figura 6.5, equivalentes a cada projeto. É importante ressaltar que, como foram encontrados grupos homogêneos, na prática se obteve duas formas distintas de se medir o resultado social. Essas formas são diferentes pois são diferentes as crenças subjacentes a elas. Com isso, deve‐se escolher que medida utilizar, a do Grupo 1 ou do Grupo 2, conforme o que opina quem for tomar a decisão. Uma instituição financiadora poderia, por exemplo, pesquisar quais os valores vinculados a sua atuação, e utilizar essa informação para orientar sua escolha. O cálculo das utilidades para cada grupo pode ser encontrado na Figura 6.8. Figura 6.8. Escolha entre os projetos, segundo a medida agregada, grupo 1 e grupo 2 Resultado Pretendido
Agregado
Utilidades Relativas
Grupo 1
Grupo 2
Indicadores
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Porcentagem de crianças da
comunidade na escola
90% das
crianças
80% das
crianças
0,238
0,000
0,326
0,000
0,142
0,000
Média de anos de defasagem
idade x série
Diminuição
de 30%
Sem impacto
significativo
0,135
0,000
0,130
0,000
0,142
0,000
Sem impacto Redução de
significativo
40%
0,000
0,344
0,000
0,167
0,000
0,538
Número de casos de uso de
drogas reportado
Utilidade Total do Projeto
Escolha
0,373
0,344
Projeto 1
0,456
0,167
Projeto 1
0,284
0,538
Projeto 2
6.5. MENSURAÇÃO DO RESULTADO Na segunda aplicação, o objetivo é determinar qual dos dois projetos foi mais eficiente após o término dos mesmos e considerando o valor investido em cada um, usando os mesmos critérios pesquisados pela Análise Conjunta. Os projetos para exemplo que será discutido estão apresentados na Figura 6.2. Para obter esse resultado, deve‐se utilizar também as utilidades relativas normalizadas, interpolando os valores quando necessário. Apesar de a interpolação não redundar em um 65 resultado exato, ela pode trazer uma boa indicação do que seria a escolha efetiva dos grupos. Podem ser pesquisadas formas alternativas de mensuração, associadas a utilização de outros modelos que não o linear. Para este trabalho, no entanto, não foram pesquisadas informações a respeito das funções que melhor descreveriam a escolha indicadores, com o que será utilizada a interpolação. Figura 6.9. Mensuração do Resultado dos Projetos segundo as medidas Agregada, Grupo 1 e Grupo 2 Resultado Obtido
Agregado
Utilidades Relativas
Grupo 1
Grupo 2
Indicadores
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Projeto 1
Projeto 2
Porcentagem de crianças da
comunidade na escola
92% das
crianças
80% das
crianças
0,306
0,000
0,432
0,000
0,168
0,000
Média de anos de defasagem
idade x série
Diminuição
de 40%
Diminuição
de 15%
0,173
0,034
0,167
0,033
0,180
0,036
Sem impacto Redução de
significativo
40%
0,000
0,344
0,000
0,167
0,000
0,538
Número de casos de uso de
drogas reportado
Custo dos Projetos
100.000
75.000
Utilidade Total do Projeto
Relação Utilidade Obtida / Recursos Empreendidos
Projeto mais Eficiente
0,479
0,378
4.787
5.037
Projeto 2
0,599
0,200
5.993
2.660
Projeto 1
0,348
0,574
3.481
7.647
Projeto 2
A partir da utilidade relativa calculada, pode‐se calcular a relação Utilidade Obtida / Recursos Empreendidos, de onde é possível distinguir os projetos eficientes, conforme o apresentado na Figura 6.9. É interessante notar que projeto 2, ao ser analisado segundo as opiniões de toda a amostra seria mais eficiente ao se considerar o custo, apesar de obter um resultado pior em termos absolutos. Isso significaria que o projeto foi mais capaz de trazer benefícios a sociedade. Porém, ao considerarmos as opiniões de cada grupo isoladamente, vemos que o projeto considerado mais eficiente é diferente. Novamente, tal diferença se deve as diferentes opiniões dos grupos. 66 Capítulo 7 Conclusões e Próximos Passos A partir do exemplo apresentado ficou claro que há uma possibilidade razoável de o método de mensuração seja prático e efetivo para as organizações do Terceiro Setor no Brasil. Infelizmente, não foi possível realizar‐se o estudo completo, com todos os cuidados necessários ao completo desenvolvimento de uma nova metodologia. Apesar disso, a idéia central deste trabalho, a avaliação e mensuração do resultado, poderá ser detalhada em trabalhos posteriores, resultando no futuro em uma metodologia completa. Portanto, há uma série de aspectos da metodologia que deverão ser aprofundados. Esses aspectos podem ser traduzidos em questões a serem respondidas em estudos posteriores. Em primeiro lugar, Qual é a real limitação geográfica da Análise Conjunta? Não foi possível chegar a nenhuma conclusão a respeito de qual seria o tamanho ideal para se realizar os estudos. Os resultados seriam válidos para grandes populações? Apenas para comunidades médias? Em segundo lugar, Quais os indicadores que devem ser usados na avaliação? Não existem estudos abrangentes a respeito de indicadores relevantes e válidos para avaliar‐se as ações sociais. Nem mesmo para áreas determinadas estes estudos existem. É necessária uma pesquisa que crie um referencial de indicadores para as organizações, pesquisa essa que servirá como base para o desenvolvimento da metodologia proposta. 67 Um outro aspecto a ser estudado é Qual a forma que seria mais efetiva para a determinação das utilidades atribuídas pela sociedade aos indicadores? Neste trabalho foi sugerida a Análise Conjunta mas esta possui diversas formas de aplicação, além de não ser a única forma de se estimar as utilidades atribuídas pela sociedade aos indicadores. Uma última questão diz respeito a Qual a melhor maneira de se aplicar os resultados da pesquisa? Quais os usos possíveis? No trabalho se desenvolveram duas sugestões de aplicação, uma para a escolha entre projetos e outra para se obter uma medida do resultado final. São sugestões relacionadas aos usos imaginados pelo autor do trabalho, porém poderão desenvolver‐se outras aplicações, como índices de desempenho, listas de organizações mais efetivas em obter resultado social etc. Além disso, mesmo as sugestões apresentadas podem avançar bastante, através de pesquisas posteriores. Este trabalho deseja contribuir de forma efetiva para o fortalecimento do Terceiro Setor no Brasil. É sabido que as condições sociais do país estão muito aquém do que seria ideal para uma nação justa, porém o autor considera que para atingir este objetivo será necessário um esforço longo e constante. O Terceiro Setor é um vetor muito importante na articulação dessa mudança, representando a atuação direta da sociedade organizada nas demandas dos setores mais carentes. Trata‐se de uma grande responsabilidade, e sua gestão e atuação merecem uma atenção significativa. Em especial, a avaliação do resultado e a mensuração do resultado ainda são questões muito pouco debatidas, relativamente ao seu significado. Assim, melhor avaliadas e com mais informações a respeito de suas atividades, as organizações poderão contribuir ainda mais profundamente para as mudanças sociais, econômicas e políticas do país. 68 Bibliografia BERNSTEIN, Philip. Best Practices of Effective Nonprofit Organizations: A practitioner’s guide. EUA: The Foundation Center, 1997. CHIANCA, Thomaz. MARINO, Eduardo. SCHIESARI, Laura. Desenvolvendo a Cultura da Avaliação em Organizações da Sociedade Civil. Coleção Gestão e Sustentabilidade. São Paulo: Global, 2001. COELHO, Simone de Castro Tavares. Terceiro Setor: Um estudo comparativo entre Brasil e Estados Unidos. São Paulo: SENAC, 2000. DINIZ, Gustavo Saad. Direito das Fundações Privadas: Teoria geral e exercício de atividades econômicas. Porto Alegre: Síntese 2000. DRUCKER, Peter. Administração de Organizações sem Fins Lucrativos: Princípios e práticas. 4a ed. São Paulo, Pioneira: 1997. DURIGAN, Paulo Roberto. A Avaliação de Projetos no Terceiro Setor: Um estudo sobre a FEAC – Federação das Entidades Assistenciais de Campinas / Fundação Odila e Lafayette Álvaro. Dissertação (mestrado) apresentada a Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo. São Paulo: 2000. FERNANDES, Rubem César. Privado porém Público: O Terceiro Setor na América Latina. Rio de Janeiro: Civicus, 1994. FILINTO, Eduardo Marcondes. Panorama do Terceiro Setor. 1º Congresso Acreano do Terceiro Setor. Rio Branco, Ministério Público do Acre: Julho 2002, in Internet: www.fundata.org.br/apresentacoes.htm. FUGUITT, Diana e WILCOX, Shanton J. Cost‐benefit analysis for public sector decision makers. EUA: Quorum Books, 1999. 69 HAIR, Joseph. ANDERSON, Rolph. TATHAM, Ronald. BLACK, Willian. Multivariate Data Analysis (with readings). New Jersey, EUA: Prentice Hall, 1995. LANDIM, Leila (org.). Ações em Sociedade: Militância, caridade, assistência etc. Rio de Janeiro: NAU, 1998. MALHOTRA, Naresh K. Pesquisa de Marketing: Uma orientação aplicada. 3ª edição. Porto Alegre: Bookman, 2001. MKKINSEY & COMPANY e ASHOKA EMPREENDEDORES SOCIAIS. Empreendimentos Sociais Sustentáveis: Como elaborar planos de negócio para organizações sociais. São Paulo: Peirópolis, 2001. MULLEN, Edward. DUMPSON, James e Associados. Evaluation of Social Intervention. São Francisco (EUA), Jossey‐Bass: 1976. PMI Standards Commitee. A Guide To The Project Management Body of Knowledge. EUA: Project Management Institute, 1996. ROCCHE, Chris. Avaliação de Impacto dos Trabalhos de ONGs: Aprendendo a valorizar as mudanças. Edição adaptada para o Brasil pela ABONG. São Paulo: Cortez, 2000. SALAMON, Lester. e ANHEIER, Helmut. Defining the Nonprofit Sector: A cross‐national analysis. Jonhs Hopkins Nonprofit Sector Series. Manchester: Manchester University, 1997. SAMUELSON, Paul A. e NORDHAUS, William D. Economia. 14ª edição. Portugal, McGraw‐Hill: 1993. SZAZI, Eduardo. Terceiro Setor: Regulação no Brasil. Grupo de Institutos, Fundações e Emrpesas. São Paulo: Peirópolis, 2000. TENÓRIO, Fernando G. (org.) Gestão de ONGs: Principais Funções Gerenciais. São Paulo: Fundação Getúlio Vargas, 1997. 70 Anexos 1. Estímulos para a Aplicação da Análise Conjunta Cartão A
Porcentagem de crianças da
comunidade na escola
Cartão B
80% das crianças
Porcentagem de crianças da
comunidade na escola
Diminuir 10%
Média de anos de defasagem
idade x série
Média de anos de defasagem
idade x série
Número de casos de uso de
drogas reportados
Redução de 15%
Número de casos de uso de
drogas reportados
Porcentagem de crianças da
comunidade na escola
90% das crianças
Média de anos de defasagem
idade x série
Diminuir 10%
Média de anos de defasagem
idade x série
Número de casos de uso de
drogas reportados
80% das crianças
Diminuir 30%
Média de anos de defasagem
idade x série
Diminuir 60%
Redução de 20%
Porcentagem de crianças da
comunidade na escola
90% das crianças
Porcentagem de crianças da
comunidade na escola
90% das crianças
Média de anos de defasagem
idade x série
Diminuir 30%
Média de anos de defasagem
idade x série
Diminuir 60%
Cartão E
Redução de 20%
Número de casos de uso de
drogas reportados
95% das crianças
Porcentagem de crianças da
comunidade na escola
Diminuir 10%
Média de anos de defasagem
idade x série
Cartão G
Porcentagem de crianças da
comunidade na escola
80% das crianças
Número de casos de uso de
drogas reportados
Cartão D
Número de casos de uso de
drogas reportados
Cartão C
Porcentagem de crianças da
comunidade na escola
Cartão F
Redução de 40%
Número de casos de uso de
drogas reportados
95% das crianças
Porcentagem de crianças da
comunidade na escola
95% das crianças
Diminuir 30%
Média de anos de defasagem
idade x série
Diminuir 60%
Cartão H
Redução de 40%
Número de casos de uso de
drogas reportados
Redução de 40%
Redução de 15%
Cartão I
Redução de 15%
Número de casos de uso de
drogas reportados
Redução de 20%
2. Instrumento de Pesquisa Utilizado Contexto
Uma ONG, da área educacional, possui um programa de atendimento a crianças carentes. Sua atuação se dá através de um projeto chamado
"Ajudando a crescer", que oferece a crianças de uma comunidade particular (uma favela localizada na periferia de São Paulo) aulas de reforço
escolar. Além das aulas de reforço, são promovidas atividades como esportes e sessões de leitura.
Os objetivos principais de tal atuação estão ligados a diminuir a evasão escolar da comunidade e melhorar o desempenho das crianças que
participam do projeto.
Colocar em ordem os cartões apresentados, segundo que projetos os entrevistados julgam será mais benéfico à sociedade como um todo.
Primeiro
Segundo
Terceiro
Quarto
Quinto
Sexto
Sétimo
Oitavo
Nono
71