Meta-análise sobre Avaliação de Programas e Projetos Sociais: levantamento de artigos
publicados no período de 2000 a 2009
Autoria: Natália Real Pereira, Fernanda Cristina da Silva, Ronise Suzuki de Oliveira
Resumo
Os estudos sobre avaliação de programas e projetos sociais, durante muito tempo, eram
escassos e por vezes, sem muita clareza, pois não existia um campo de conhecimento
específico ao qual esses estudos pudessem ser associados. Posteriormente, a colaboração de
pesquisadores de diversas áreas do conhecimento permitiu o amadurecimento das diretrizes
teórico-metodológicas deste campo de pesquisa, gerando uma variedade significativa de tipos
e modelos de avaliação de programas e projetos sociais. Atualmente, temas como eficiência,
eficácia e desempenho ganharam popularidade no meio acadêmico e governamental. Nesse
sentido, as pesquisas sobre avaliação adquirem relevância, na medida em que podem trazer à
tona problemas, inconsistências ou mesmo potencialidades de um determinado processo.
Diante do exposto, o presente artigo tem como objetivo analisar a produção científica da
última década em relação aos estudos sobre avaliação de programas e projetos sociais. Para
tanto, foram levantados todos os artigos publicados na Revista de Administração Pública
(RAP), na Revista do Serviço Público (RSP) e nos anais de todos os eventos organizados pela
Associação Nacional de Pós-Graduação e Pesquisa em Administração (Anpad) entre os anos
de 2000 e 2009. Ao todo foram analisados 56 artigos, os quais foram analisados por meio da
técnica análise do conteúdo, fundamentada em Bardin (1977). Na primeira etapa, foi
realizada a caracterização dos artigos por meio das seguintes subcategorias : (i) instituições de
origem dos trabalhos; (ii) ano de publicação; (iii) autores mais citados. Posteriormente, foram
analisados os artigos oriundos de pesquisas empíricas em relação às seguintes subcategorias:
(i) metodologia em relação ao momento da avaliação; (ii) metodologia em relação aos fins da
avaliação; (iii) abordagem metodológica; (iv) área temática. Os resultados mostraram que
somente a partir do ano de 2006 houve um aumento no número de publicações sobre o tema e
que boa parte dessas publicações são de instituições das regiões sul e sudeste. Em relação aos
estudos empíricos nota-se que a maior parte pode ser caracterizada como ex-post em relação
ao momento da avaliação (80%), como avaliação de impactos (55%), no que diz respeito aos
fins da pesquisa, e de natureza qualitativa (50%), quanto à metodologia utilizada. Já em
relação a área temática dos programas e projetos analisados destacaram-se as áreas da
educação, assistência social e agropecuária. Acredita-se que os resultados encontrados no
trabalho possam contribuir para uma possível complementaridade do conhecimento
desenvolvido na área sob diferentes perspectivas.
1. Introdução
O aprimoramento dos instrumentos de controle social do Estado brasileiro, nos últimos
20 anos, fez com que a mídia, os sindicatos, os conselhos gestores de políticas públicas e a
própria sociedade civil passassem a exercer um maior poder de fiscalização sobre os
governantes. Como conseqüência, exige-se maior eficiência, eficácia e efetividade na gestão
dos gastos públicos, o que demanda a reorganização das atividades de planejamento,
implementação e controle dos programas sociais.
Segundo Thoenig (2000), há motivos para crer que a avaliação está destinada a
desempenhar um papel importante no atendimento dessas expectativas, uma vez que ela
possibilita aos gestores, além da escolha das alternativas mais econômicas para alcançar os
objetivos traçados, que estes acompanhem os projetos e promovam alterações nos rumos do
projeto quando se julgar que os objetivos não estão sendo alcançados.
A avaliação pode ser considerada como um componente das práticas presentes em
diversos âmbitos e campos do espaço social. Entretanto, apesar das inúmeras considerações
existentes a respeito da função avaliativa, a conceituação da avaliação de programasi e
projetosii sociais ainda não é consensual (ALA-HARJA e HELGASON, 2000).
O objetivo da avaliação, em um entendimento mais amplo, relaciona-se com a
determinação do valor de um programa ou de parte dele. De acordo com Aguilar e Ander-Egg
apud Cotta (1998), a avaliação pode ser entendida como um processo destinado a identificar,
obter e proporcionar, de maneira válida e confiável, dados e informações relevantes para
apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa que se
realiza, foi realizado ou se realizará, com o propósito de produzir efeitos e resultados
concretos. E tem como premissa comprovar a extensão e o grau em que se deram essas
conquistas, de forma tal que sirva de base uma tomada de decisões racionais, ou para
solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao
êxito ou ao fracasso de seus resultados.
Além disso, o processo avaliativo permite, muitas vezes, que os gestores conheçam
melhor as necessidades e a percepção dos usuários/beneficiários, que testem a viabilidade de
seus projetos e se certifiquem de que as ações implementadas levarão ao alcance dos objetivos
previstos, ou ainda, possibilita aos gestores conhecerem e mensurarem o impacto dessas
ações. Em suma, trata-se de uma ação contínua, comprometida com as repercussões de um
projeto ao longo da sua realização.
De acordo com Vasconcelos (2007), o papel da avaliação deve transcender a
fiscalização e o controle, abrangendo uma intensa reflexão feita com todos envolvidos no
processo. Nesse sentido, a idéia fundamental é que os processos avaliativos ajudem os
envolvidos a encontrarem seus próprios caminhos de aprendizagem e desenvolvimento, e
ampliem o nível de consciência dos sujeitos e agentes sociais.
Assim, com intuito de consolidar o conhecimento acerca desses vários aspectos da
avaliação de programa e projetos sociais, o presente artigo tem como objetivo analisar a
produção científica dos últimos anos em relação aos estudos sobre avaliação de programas e
projetos sociais. Para tanto, foram levantados todos os artigos publicados na Revista de
Administração Pública (RAP), na Revista do Serviço Público (RSP) e nos anais de todos os
eventos organizados pela Associação Nacional de Pós-Graduação e Pesquisa em
Administração (Anpad) entre os anos de 2000 e 2009.
Na primeira etapa, foi realizada a caracterização dos artigos por meio das seguintes
subcategorias: (i) das instituições de origem dos trabalhos; (ii) ano de publicação; (iii) autores
mais citados. Posteriormente, foram analisados os artigos oriundos de pesquisas empíricas em
relação aos seguintes critérios: (i) metodologia em relação ao momento da avaliação; (ii)
2
metodologia em relação aos fins da avaliação; (iii) meta-avaliação; (iv) abordagem
metodológica; (v) área temática.
2. Referencial Teórico
2.1. Avaliação de Programas e Projetos Sociais como Objeto de Estudo
A avaliação de programas e projetos sociais se encontra atualmente em um estágio de
maturidade analítica e conceitual, alcançado através de um desenvolvimento potencializado
pelas inovações da legislação e implementação das diferentes políticas sociais dos governos
norte-americanos (REBOLLOSO E PACHECO, 1998).
De acordo com Cavalcanti (2007), na Inglaterra, durante o século XIX, o
descontentamento com os programas educacionais e sociais gerou movimentos de reforma e,
para avaliar tais programas, foram designadas comissões constituídas por membros da realeza
para ouvir e analisar testemunhos.
Segundo a mesma autora, foi a partir da década de 1930 que iniciou-se um esforço em
direção à avaliação dos programas sociais nos Estados Unidos, a fim de averiguar se os
recursos públicos estavam sendo bem aplicados e surtindo os resultados esperados. Dessa
forma, visando a subsidiar as avaliações, ocorreu uma gradativa inserção de cientistas sociais
nas agências governamentais, com o objetivo de desenvolver pesquisa social aplicada às áreas
de interesse público tais como: saúde, educação, transportes.
Nesse sentido, a necessidade de “se conhecer os resultados” das ações sociais voltadas,
principalmente, para a saúde e educação direcionou a prática avaliativa. O desenvolvimento
de novos conhecimentos científicos, que inclui a aplicação de ferramentas estatísticas, bem
como o advento de novas tecnologias contribuíram também para o avanço da avaliação na
pesquisa social.
No entanto, ainda observa-se que, atualmente, as decisões na área de programas e
projetos sociais costumam ser tomadas com boas intenções a fim de atender às necessidades
de determinada população, mas geralmente carecem de análise técnica das alternativas que
permita selecionar a mais eficaz para consecução dos objetivos procurados e mais eficiente na
utilização dos recursos que serão destinados a tal programa (COHEN e FRANCO, 2008).
Remontando a história das avaliações de projetos sociais, verifica-se que as
abordagens iniciais datam da década de 50, quando as agências de desenvolvimento
governamentais começaram a utilizá-las. O objetivo era tentar prever, antes que o projeto
tivesse início, seus possíveis resultados em termos ambientais, sociais e econômicos, visando
a dar prosseguimento ou nem mesmo implementá-lo (ROCHE, 2002).
Reforçando esses argumentos, Albaek apud Faria (2005) afirma que quando do início
da massificação da avaliação nos Estados Unidos, na década de 1960, a pesquisa avaliativa
era encarada predominantemente como ferramenta de planejamento destinada aos
formuladores de políticas e aos gerentes de alto escalão. Buscava-se elaborar o melhor
modelo ou referencial metodológico que permitisse avaliar o grau de sucesso ou fracasso das
intervenções estatais na área social, através da construção de métodos avaliativos pautados em
critérios definidos a priori e, geralmente, desconsideravam-se as variáveis contextuais que
poderiam obstaculizar (ou facilitar) o processo de intervenção. O objetivo central desses
estudos era respaldar as ações do governo ao instrumentalizar o planejamento social e indicar
correções de seu curso (CASTRO, 1989).
Posteriormente, em um contexto de expansão do gasto público no país, de escasso
conhecimento acerca do impacto da ação governamental e da busca de um maior controle
sobre os burocratas/implementadores, a avaliação é institucionalizada, tendo como
característica predominante o seu desenho top-down. Já na década de 1970, avolumaram-se as
evidências sobre o excesso de otimismo no que dizia respeito à plena utilização e
3
incorporação, de forma racional, dos resultados das avaliações. O paradigma top-down foi
assim progressivamente revertido, abrindo espaço para o desenvolvimento de abordagens e
metodologias bottom-up (REBOLLOSO E PACHECO, 1998).
No Brasil, as primeiras iniciativas institucionalizadas referentes à avaliação foram
observadas no início da década de 70, quando o governo tentou montar um sistema de
acompanhamento e avaliação do programa de metas e bases para ação do governo. O primeiro
relatório elaborado referia-se ao exercício de 1971, quando constatou-se um elevado grau de
execução dos projetos incluídos no plano de governo (75% dos projetos). Após essa
experiência, foi procedida a avaliação do I Plano Nacional de Desenvolvimento – PND (1972)
que também apresentou um resultado positivo e deu início ao Programa de Acompanhamento
dos PND's até o início do regime militar – quando, assim como os projetos dos PNDs, as
contas do Executivo também deixaram de ser apreciadas pelo Congresso Nacional
(GHIRLANDA e TRISTÃO, 2002).
Na década de 80, a crise de financiamento e o grau de endividamento público
soterraram o planejamento e as ações públicas passaram a ser conduzidas com predominância
de uma perspectiva de curto prazo.
Com a agenda de reformas estruturais empreendida nos anos 90, verificou-se um
crescimento da demanda por ações e serviços sociais, especialmente os de natureza
compensatória. Nesse cenário de crônica escassez de recursos, tornou-se necessidade crucial e
urgente o aumento da eficiência e do impacto dos investimentos governamentais em
programas sociais (COSTA e CASTANHAR, 2003).
Em decorrência disso, a pesquisa de avaliação de programas e projetos sociais
expandiu-se diante do contexto de transição política e da necessidade de formulação de
políticas sociais mais equânimes, a fim de garantir o direito dos cidadãos na construção de
uma nova ordem democrática. Assim, começava a surgir um conjunto relativamente amplo de
estudos e análises que objetivam avaliar o funcionamento e o impacto dos programas
governamentais (SERPA e CALMON, 2009).
Todavia, na prática, o que se observa no cenário atual, segundo Guirlanda e Tristão
(2002), é um grande hiato entre o diagnóstico da situação, a tomada de decisão, a
implementação e a avaliação dos programas. Essas atividades são dissociadas e os problemas
detectados não são analisados de modo que contribuam para o aprimoramento do programa.
De acordo com Serpa e Calmon (2009), o que se vê no Brasil, atualmente, é um amplo
acervo de teorias, modelos e técnicas de avaliação desenvolvidas no exterior, que têm sido
absorvidas de maneira passiva e acrítica, transpondo isoladamente para o contexto nacional
modelos e estratégias específicas que, muitas vezes, requereriam uma reflexão mais
detalhada.
2.2. O debate metodológico no âmbito da avaliação de programas e projetos
sociais
De acordo com Faria (2005), parte significativa dos estudos sobre os processos de
avaliação de políticas públicas desde a década de 1960 refere-se às questões de ordem
metodológica e/ou às distintas maneiras de se classificar a avaliação.
Atualmente, a vasta literatura, sobretudo americana, dedicada aos estudos de avaliação
dispõe de uma variedade de métodos avaliativos, elaborados em função da natureza do objeto
examinado e dos objetivos e intenções privilegiados pelos analistas. Segundo Castro (1989,
p.3):
Dos enfoques econométricos e de cunho mais quantitativo às
abordagens mais interativas que levam em conta as variáveis
contextuais e processuais vinculadas à implementação de políticas em
4
situações específicas, configurou-se um vasto campo de estudos que
incorpora um enfoque interdisciplinar bastante influenciado pelas
Ciências Sociais, entre outras áreas do conhecimento.
Nesse sentido, a primeira pergunta a ser feita deve ser: o que avaliar? Essa pergunta é
necessária para que se determine o foco da avaliação, uma vez que uma metodologia de
avaliação de programas sociais envolve a escolha de um conjunto de critérios e o uso de um
elenco de indicadores (ou outras formas de mensuração) consistentes com os critérios
escolhidos e que permitam efetuar um julgamento continuado e eficaz acerca do desempenho
de um programa, mediante o confronto com os padrões de desempenho anteriormente
estabelecidos.
Do ponto de vista metodológico, o ponto central da avaliação de programas e projetos
sociais é estabelecer conexões lógicas entre seus objetivos, seus critérios de avaliação e os
modelos analíticos, devendo analisar os propósitos, produtos e/ou impactos gerados por
determinada decisão governamental, bem como as “razões” (morais ou instrumentais)iii que
motivaram sua avaliação.
Dentre as metodologias usuais de avaliação verifica-se: a avaliação de metas, que tem
como propósito medir o grau de êxito que um programa obtém com relação ao alcance de
metas previamente estabelecidas; a avaliação de impactos, em que o problema central a
investigar é a efetividade do programa, recorre-se, assim, a mecanismos que permitam
estabelecer relações causais entre as ações de um programa e o resultado final obtido; a
avaliação de processos, que acompanha os processos internos de determinado projeto ou
programa (COSTA e CASTANHAR, 2003).
Nessa discussão, a elucidação de três conceitos chave torna-se fundamental. O
primeiro deles, a eficácia, relaciona-se com o “grau em que se alcançam os objetivos e metas
de um programa ou projeto na população beneficiária, em um determinado período de tempo,
independentemente dos custos implicados” (COHEN e FRANCO, 2008:102). Segundo estes
mesmos autores, o conceito de eficiência pode ser considerado a partir de duas dimensões
complementares: de um lado a quantidade de produto está predeterminada, logo, procura-se
minimizar o custo total; de outro, o gasto total está previamente fixado, procura-se, então,
otimizar a combinação de insumos para maximizar o produto. Por fim, o conceito de
efetividade refere-se à razão matemática entre os resultados e os objetivos (COHEN e
FRANCO, 2008:107).
Atualmente, maior atenção tem sido dada a uma metodologia de estruturação de
políticas públicas chamada metodologia do marco lógico. Esta metodologia parte da
concepção de políticas públicas como processos articulados e estabelece os recursos que
configuram a política pública, seus programas e projetos, e encadeiam as etapas de um mesmo
programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção.
Essa abordagem começa por analisar a situação existente e desenvolver os objetivos a
fim de dar resposta às necessidades reais. A fase de análise geralmente começa com uma
análise dos problemas. A análise do problema é realizada através da identificação dos
principais problemas e desenvolvimento de uma "árvore do problema" em que são analisadas
as causas e efeitos. Identificando o principal problema, técnicas de brainstorming são
utilizadas para identificar as conseqüências decorrentes desse “macro-problema” Em seguida,
a árvore do problema é transformada em uma árvore de objetivos ao se reafirmar os
problemas como objetivos. Em suma, a árvore de objetivos seria nada mais que a imagemespelho positiva da árvore do problema, em que o topo da árvore é o fim desejado e os níveis
mais baixos são os meios para que se alcance tal fim. Na fase seguinte, dar-se-á a análise
estratégica que buscará avaliar a viabilidade das diferentes intervenções. Desse modo, o
5
estágio final da fase de análise envolve a seleção de uma estratégia para atingir os resultados
desejados (DEY, HARIHARAN e BROOKE, 2006).
3. Procedimentos metodológicos do estudo
Esta pesquisa pretendeu analisar publicações científicas nacionais que tratam sobre a
avaliação de programas e projetos sociais. Consiste em um meta-estudo do tipo bibliográfico,
de nível descritivo e exploratório, uma vez que busca a identificação de aspectos ainda não
explorados sobre o problema formulado (VERGARA, 2006).
Rich et al. (1999) afirmam que a meta-análise é uma técnica rigorosa amplamente
utilizada e aceita, que objetiva acumular resultados de vários estudos para se chegar a uma
representação mais acurada do seu relacionamento na população do que aquela fornecida
pelos estimadores de estudos considerados de forma individual.
Assim, o processo central dessa metodologia é a combinação de dados, de forma
quantitativa, resultando em um trabalho que consolida os resultados dos estudos individuais
agrupados (PEREIRA, 2004).
De acordo com Hunt (1997), apud Pereira (2004), a meta-análise foi originada em
1904, quando o matemático Karl Pearson inventou um método para combinar resultados
divergentes. Contudo, apenas em 1976, a partir do estudos de Gene Glass e Mary Lee Smith,
foi realizado um estudo e apresentados os resultados de uma meta-análise em Psicoterapia,
envolvendo a análise de 375 estudos e 833 effect sizes durante dois anos.
Não obstante, a meta-análise por ser utilizada nas diversas áreas do conhecimento,
passou a ser alvo constante de críticas quanto ao seu potencial de generalização e de
grupamento de estudos com naturezas diversas (PEREIRA, 2004).
Conforme Armstrong (2001), citado por Pereira (2004), a meta-análise pode ser
entendida como um “estudo de estudos”. Segundo o autor, esta metodologia torna possível
identificar estudos realizados em determinada área do conhecimento, visualizar estudos
relevantes, codificar os resultados, e realizar um sumário quantitativo dos mesmos. Assim,
conforme Pereira (2004, p. 3), o pesquisador pode “explorar a causa principal das
incoerências em determinada pesquisa, auxiliando no delineamento de pesquisas futuras a
partir da consideração conjunta de resultados”.
Para o autor supracitado, a realização de uma meta-análise quantitativa envolve as
seguintes etapas:
1. Formulação do problema: nesta etapa o pesquisador deve explorar as questões que se
busca responder a partir da meta-análise, e identificar que tipo de evidência se busca
examinar;
2. Coleta dos dados: nesta etapa os pesquisadores devem buscar em artigos, dissertações,
teses e pesquisas em geral todos os estudos que tratam do problema, realizados de
todas as formas possíveis;
3. Avaliação dos dados: nesta etapa o pesquisador deve decidir quais evidências
compartilhadas são válidas e úteis, eliminando-se estudos que não estão nos padrões;
4. Síntese dos dados: para a síntese dos dados, deve-se utilizar métodos estatísticos,
como probabilidades, para reconciliação e agregação de estudos diferentes;
5. Apresentação dos resultados. Nesta etapa, os resultados devem ser apresentados para a
comunidade de pesquisa, informando os detalhes, os dados e os métodos usados.
Apesar de alguns autores, tais como Hunt, 1997; Farley, Lehmann e Sawyer, 1995,
apresentados por Pereira (2004), considerarem a meta-análise uma metodologia estritamente
6
quantitativa, Rodrigues (2002) afirma que é possível também realizar uma mata-análise
qualitativa. Segundo o autor,
enquanto meta-análises quantitativas são realizadas através de instrumentos
da estatística inferencial e têm por objetivo principal a generalidade dos
resultados encontrados, uma meta-análise qualitativa procura identificar,
através de determinadas categorias, semelhanças e controvérsias numa
quantidade de estudos da mesma área de pesquisa. Trata-se, na verdade, de
um processo de descrição interpretativa, orientado por determinadas
categorias teóricas. O resultado final é uma visão mais acurada do
desenvolvimento da área analisada (RODRIGUES, 2002, p. 26).
Assim, conforme Rodrigues (2002), uma meta-análise qualitativa trata-se de um
processo de descrição interpretativa, orientada por determinadas categorias. Para o autor, o
resultado final é uma visão mais acurada do desenvolvimento da área analisada.
Como objeto deste estudo tem-se todos os artigos publicados na Revista de
Administração Pública (RAP), na Revista do Serviço Público (RSP) e em anais de todos os
eventos organizados pela Associação Nacional de Pós-Graduação e Pesquisa em
Administração (Anpad), entre os anos de 2000 e 2009, os quais abordassem, de forma central
ou periférica, a temática da avaliação de programas e projetos sociais. Ao todo, foram
analisadas 56 publicações, no período compreendido entre 11 de novembro e 13 de dezembro
de 2009.
O critério para seleção dos artigos foram as palavras “avaliação” e “avaliações” na
opção de busca do sítio da Anpad e na ferramenta ‘localizar’ do navegador ‘internet
explorer”, uma vez que os sítios das revistas não possuem opção de busca.
A busca realizada na RAP encontrou sete artigos dentro do período a ser analisado, na
RSP foram localizados cinco artigos. Já a busca realizada no sítio da Anpad, originou um total
de 544 artigos. Entretanto, ao se proceder a leitura inicial para análise dos textos percebeu-se
que em grande parte dos artigos o uso dos termos levantados estavam vinculados a questões
da administração privada ou questões não relacionadas diretamente com a avaliação de
programas e projetos sociais. Ao final, foram selecionados 44 artigos dos eventos da ANPAD.
Com relação aos eventos da ANPAD vale ressaltar que o EnANPAD – fórum mais tradicional
no campo da Administração no Brasil – deteve a maioria das publicações analisadas, seguido
do EnAPG – Encontro de Administração Pública e Governança. Para análise dos dados, há
que se destacar que os eventos temáticos da ANPAD são bienais. No caso do EnAPG, as
edições ocorreram em 2004, 2006 e 2008.
Posteriormente à seleção destes artigos, procedeu-se a leitura dos seus resumos,
problematização, metodologia e conclusões. Em casos específicos, houve a leitura integral de
seus textos, na busca de uma compreensão maior do assunto tratado.
Para a análise dos dados, foi adotada a técnica de análise do conteúdo do material,
fundamentada em Bardin (1977), o que permitiu construir uma análise dos resultados apoiada
em procedimentos interpretativos e da estatística descritiva, por meio de quadros e gráficos.
Bardin (1977, p. 42) define a análise de conteúdo como:
Um conjunto de técnicas de análise das comunicações visando obter, por
procedimentos sistemáticos e objetivos de descrição do conteúdo das
mensagens, indicadores (quantitativos ou não) que permitam inferência de
7
conhecimentos relativos às condições de produção/recepção (variáveis
inferidas) destas mensagens.
Conforme esta mesma autora, as diferentes fases da análise de Conteúdo organizam-se
em torno de três pólos cronológicos: pré-análise, exploração do material e tratamento dos
resultados e interpretação. Na pré-análise, são definidos materiais e procedimentos a serem
seguidos; na exploração do material são implementados os procedimentos escolhidos na préanálise; e no tratamento dos resultados e interpretação são gerados inferências que vão
construir os resultados da investigação.
Num primeiro momento, procedeu-se a caracterização dos artigos por meio da
identificação: (i) das instituições de origem dos trabalhos; (ii) ano de publicação; (iii) autores
mais citados. Nesta etapa foram analisadas as 56 publicações.
Posteriormente, foram analisados os artigos oriundos de pesquisas empíricas em
relação aos seguintes critérios: (i) metodologia em relação ao momento da avaliação; (ii)
metodologia em relação aos fins da avaliação; (iii) meta-avaliação; (iv) abordagem
metodológica; (v) área temática. Nesta etapa foram analisados 36 artigos.
4. Apresentação e Discussão dos Resultados
Conforme descrito na metodologia, várias categorias foram analisadas neste estudo.
Para cada uma delas foram criadas tabelas para auxiliar na contagem e na própria visualização
dos dados, de forma resumida e condensada. Tais resultados são apresentados em termos
tanto absolutos como relativos, visando facilitar a análise.
Os resultados foram dividos em duas categorias: a) caracterização dos trabalhos
selecionados e b) configuração dos trabalhos teórico-empíricos. Posteriormente, cada
categoria foi analisada conforme suas subcategorias.
a) Caracterização dos trabalhos selecionados
O principal objetivo desta categoria de análise é apresentar os resultados referentes à
caracterização (identificação) dos 56 trabalhos mencionados na metodologia. A seguir
apresenta-se as respectivas subcategorias.
i) Instituições de Origem dos Trabalhos
Nesta subcategoria considerou-se apenas a primeira instituição de ensino citada pelo
primeiro autor, como forma de garantir um tratamento uniforme dos dados.
IES UF REGIÃO Nº de TRABALHOS FGV‐RJ RJ SE UFSC SC S UFV MG SE ENCE‐IBGE RJ SE UNB DF CO UNIVALI SC S FGV – SP SP SE Univ. Estácio de Sá SC S PUC‐RJ RJ SE UFMG MG SE UFF RJ SE Figura 01 – Principais Instituições de Origem dos Trabalhos
Fonte: Dados da Pesquisa
7 5 5 5 5 3 2 2 2 2 2 8
O quadro acima apresenta as instituições com maior número de publicações acerca do
tema. Ressalta-se que, na elaboração do quadro foram consideradas as instituições que
apresentaram mais de uma publicação no total dos artigos analisados.
Com base nesses dados, constata-se que a FGV/RJ é responsável pela origem da
maioria dos artigos, seguida de quatro instituições (UFSC, UFV, ENCE-IBGE, UnB) com
expressivo número de publicações na temática da avaliação de programas e projetos sociais.
Já em uma perspectiva de divisão territorial, percebe-se a concentração da temática em poucas
unidades da federação, destacando-se o Rio de Janeiro com 16 publicações dentre as
apresentadas no quadro, seguido de Santa Catarina com 10 trabalhos. Na região Sudeste, além
do Rio de Janeiro, localizam-se trabalhos oriundos de Minas Gerais e São Paulo. Através do
quadro observa-se que nenhum trabalho oriundo de instituições das regiões Norte e Nordeste
foi encontrado.
ii) Ano de Publicação
Nesta sucategoria, conforme figura 01, pretendeu-se demonstrar a distribuição dos
artigos por ano, de forma a identificar e evolução do crescimento dos estudos na área.
Figura 02 – Ano de Publicação
Fonte: Dados da Pesquisa
Percebe-se uma evolução quantitativa dos estudos sobre avaliação de programas e
projetos sociais a partir de 2006.
Essa tendência crescente nas publicações sobre o gênero pode estar refletindo as
tendências também crescentes da prestação de contas e procedimentos avaliativos no contexto
das políticas sociais, advindos das inovações gerenciais inseridas no âmbito da administração
pública.
iii) Autores mais citados
Nesta categoria buscou-se conhecer a bibliografia constante em cada trabalho a fim de
identificar as fontes mais utilizadas. Para evitar um quadro muito extensa foram destacados os
autores mais citados nos artigos analisados.
9
Nº de Nº de Autor Autor Citações Citações Cohen, E. 10 Silva, P. L. B. 4 Franco, R. 10 Ala‐Harja, M. 4 Costa, F. L. 9 Helgason, S. 4 Januzzi, P. M. 9 Cotta, T. 3 Castanhar, J. C. 8 Faria, C. A. P. 3 Arretche, M. T. S. 7 Melo, M. A. B. 3 Frey, K. 5 Thoenig, J. C. 3 Rua, M. 3 Van Bellen, H. 5 Figura 03 – Autores mais citados nas referências analisadas
Fonte: Dados da Pesquisa
Dentre os autores mais referenciados estão Ernesto Cohen e Rolando Franco, autores
do livro ‘Avaliação de Projetos Sociais’ e Frederico Lustosa Costa e José Cézar Castanhar,
co-autores de artigos, como ‘Avaliação de programas públicos: desafios conceituais e
metodológicos’ publicado na RAP em 2003. Destaca-se também Paulo de Martino Januzzi,
referência nacional nas publicações referentes a indicadores sociais.
Verifica-se um predomínio dos autores nacionais, que representam 81,25% dos autores
citados no quadro acima.
b) Configuração dos trabalhos teórico-empíricos
O objetivo desta categoria foi realizar uma análise dos trabalhos teórico-empíricos em
relação aos aspectos metodológicos e às áreas temáticas contempladas por esses estudos. Os
trabalhos foram classificados: quanto ao momento em que se realiza a avaliação; quanto aos
fins da avaliação; quanto ao tipo de abordagem metodológica; e quanto às áreas temáticas
contempladas pelo estudo.
i) Tipos de Avaliação
A avaliação desempenha um papel central no esforço de racionalização dos programas
e projetos sociais. Como citado anteriormente, a ausência de controles e de metodologias de
avaliação geralmente leva a um gasto social ineficiente e, conseqüentemente, ao desperdício
dos recursos disponíveis (COTTA, 1998).
No entanto, existem diferentes tipos de avaliação, que são derivados tanto do objeto a
ser avaliado como da formação acadêmica daqueles que realizam essa tarefa. Logo, o objetivo
dessa subcategoria é analisar as experiências empíricas de avaliação na área acadêmica, a
partir de critérios e tipologias de avaliação amplamente difundidos na literatura sobre o tema,
conforme apresentado a seguir:
 Em função do momento em que se realiza a avaliação
A avaliação de projetos sociais vem sendo, usualmente, classificada em função do
momento em que se realiza: antes do início, durante e depois do projeto executado. A
primeira, a avaliação antes do início (ex-ante), nos permite escolher as melhores estratégias
para a consecução dos objetivos do projeto, tem por objetivo proporcionar critérios racionais
para uma decisão qualitativa crucial: se o projeto deve ou não ser implementado (COHEN e
FRANCO, 2008). Já a avaliação “durante” a implementação das ações (in-itineri), também
conhecida como avaliação intermediária, busca estabelecer indicadores de análise do
andamento dos objetivos e alterar rotas objetivando a eficiência do processo.
10
O primeiro e o segundo momento servem de referencial para a avaliação realizada
depois do projeto executado (ex-post), quando o projeto for avaliado em termos de produto
final, se dirige para fora, além do projeto, sendo utilizável para decidir sobre sua eventual
continuação, para formular outros projetos futuros e, enfim, tomar decisões no âmbito da
política. A análise, considerando esses três momentos, facilita o aperfeiçoamento dos
modelos, visando à eficiência e melhoria contínua e incremental dos projetos a serem
desenvolvidos.
As publicações analisadas mostram o seguinte cenário a respeito da produção
científica nacional:
Figura 04 – Tipologia quanto ao momento da avaliação
Fonte: Dados da Pesquisa
A partir da figura 04, observa-se o nítido predomínio das avaliações ex-post nas
pesquisas realizadas na última década, poucos estudos contemplando a fase intermediária dos
projetos e um grande vazio no que tange à avaliação ex-ante.
Essa constatação pode ser justificada pelas argumentações de Trevisan e Van Bellen
(2009), segundo os quais as avaliações ex-ante, na verdade, permanecem sendo uma fonte
relativamente secundária de informações por motivos ligados à pressão de tempo ou às visões
políticas que os formuladores de políticas têm em mente. Sempre foram muito estimuladas e
induzidas nos programas financiados pelos organismos multilaterais de financiamento,
especialmente aqueles voltados à infra-estrutura econômica e ao desenvolvimento urbano.
O único estudo que contemplou a análise de viabilidade de um projeto tem como
autores, Lage e Barbieri (2001), e é entitulado “Avaliação de Projetos para o
Desenvolvimento Sustentável: Uma análise do Projeto de Energia Eólica do Estado do Ceará
com base nas dimensões da sustentabilidade”. O estudo pretendeu apresentar, a partir de um
conceito de desenvolvimento sustentável ancorado em sete dimensões da sustentabilidade, um
conjunto de critérios capazes de contribuir para avaliação da viabilidade de projetos públicos
de desenvolvimento sustentável.
 Em função dos fins da avaliação
De acordo com Costa e Castanhar (1998), para fins analíticos, as experiências de
avaliação de programas podem ser agrupadas, quanto aos objetivos que persegue, em quatro
metodologias básicas: avaliação de processos, avaliação de metas e avaliação de impacto.
A avaliação de processo diz respeito à dimensão de gestão. Sua finalidade é julgar se a
intervenção está sendo implementada como planejado, se a população-alvo está sendo tingida,
se o cronograma está sendo cumprido, se os recursos estão sendo usados com eficiência etc.
Trata-se, enfim, do acompanhamento sistemático da evolução das metas do programa ou
projeto (COTTA, 1998).
11
A avaliação de metas é o tipo mais tradicional que tem por objetivo medir o grau de
êxito que um programa obtém com relação ao alcance de metas previamente estabelecidas.
Essa modalidade de avaliação irá determinar a eficácia de determinado projeto e pressupõe
que se atribuam valores a um conjunto de metas, definindo-se o êxito relativo do programa
em função do grau em que tais metas tenham sido cumpridas (COSTA e CASTANHAR,
1998).
Por sua vez, a avaliação de impacto procura determinar em que medida o projeto
alcança seus objetivos e quais são os efeitos secundários (previstos e não previstos) (COHEN
e FRANCO, 2008). O foco desse tipo de estudo é, portanto, identificar em que medida
mudaram-se as condições de um grupo-alvo ou de uma comunidade, como resultado de um
programa e em que medida as mudanças ocorreram na direção desejada.
18
16
16
14
12
10
8
8
5
6
4
2
0
Avaliação de metas Avaliação de processos Avaliação de impacto Figura 05 – Tipologia quanto aos fins da avaliação
Fonte: Dados da Pesquisa
Os resultados dessa análise revelam a grande ênfase que se dá aos resultados finais de
uma política ou programa. As avaliações de impacto concentram-se em determinar o valor do
projeto em relação às necessidades dos beneficiários, julgando se o mesmo deve ou não ser
encerrado, mantido, ampliado ou reduzido. Fornecerão subsídios para formulação de políticas
futuras e oportunidades de aprendizado.
As avaliações de meta que, segundo Costa e Castanhar (1998), representam o tipo
mais tradicional de avaliação, não tiveram grande expressividade nas pesquisas da última
década. Esse tipo de avaliação é frequentemente criticada quando realizada isoladamente, na
medida em que a simples comparação entre as metas previstas e alcançadas não permite
atribuir causalmente o resultado ao projeto, mas apenas constatar que se produziram
mudanças de maneira concomitante com a execução do programa. Talvez, essas
considerações possam justificar a preferência dos pesquisadores pela avaliação de impacto, já
que a avaliação de processos também é essencialmente gerencial.
ii) Meta-avaliação
Durante a análise observou-se que alguns artigos teórico-empíricos não se
enquadravam nas classificações acima, por caracterizarem um tipo peculiar de avaliação: a
meta-avaliação. Esses estudos, por não tratarem da avaliação de programas ou projetos, não
poderiam ser analisados nos tópicos anteriores, mas devido à relevância desses artigos para
discussão do tema, eles foram incluídos nesse item.
12
Essa nova vertente teórico-empírica visa buscar o ‘valor’ através da pesquisa de metaavaliação, ou seja, a avaliação da avaliação. Conforme Henry apud Trevisan e Van Bellen
(2009), o interesse em meta-avaliações pode produzir duas linhas importantes de trabalhos
para o campo. Em primeiro lugar, o resultado de um conjunto de estudos empíricos que
examinam os impactos verdadeiros das avaliações seria muito positivo. A segunda
contribuição das meta-avaliações são as revisões de avaliações individuais. Nesse sentido,
assinala-se que os métodos para avaliar avaliações específicas devem trazer à luz preconceitos
e inclinações quando elas ocorrerem e devem fazer com que estes achados sejam acessíveis.
Autores Ano Publicação Andrade, Ussan e Klering 2001 Enanpad Ghirlanda e Tristão Ceneviva e Farah Campos et al. 2002 2006 2008 Enanpad EnAPG Enanpad Trevisan e Van Bellen 2009 Enanpad 2009 Enanpad Vieira, Silveira, Almeida Júnior Figura 06 – Meta-avaliação
Fonte: Dados da Pesquisa
Dentre os artigos selecionados, seis podem ser classificados como meta-avaliação.
Como exemplo, toma-se o caso do projeto Microbacias I (Trevisan e Van Bellen, 2009).
Nesse estudo, os autores verificaram que as avaliações preocuparam-se mais com os objetivos
específicos do que com o objetivo geral do programa. Além disso, o fato da avaliação ter sido
realizada por um avaliador interno pode ter comprometido a neutralidade do processo.
iii) Tipo de abordagem metodológica
Com relação aos diversos métodos de coleta e análise de dados tem-se as abordagens
quantitativas e qualitativas . Na primeira, e mais usual, estão métodos cujos modos de análise
baseiam-se no racionalismo encontrado em ferramentas e conceitos modelados nas ciências
naturais de tradição positivista e cujos resultados se assentam em critérios especificados e
objetivos. A segunda busca fundamentar as conclusões em critério mais subjetivistas por meio
de metodologias construtivistas e participativas (ASSUMPÇÃO e CAMPOS, 2009).
13%
37%
A bordagem Qualitativa
A bordagem Quantitativa
A bordagem Mis ta
50%
Figura 07 – Abordagem Metodológica
13
Fonte: Dados da Pesquisa
Apesar de ser defendida pela maioria dos autores de avaliação em projetos sociais, a
abordagem mista, que combina diferentes procedimentos e técnicas dos métodos quantitativos
e qualitativos conforme a natureza da investigação a fazer, foi verificada em apenas 13% dos
estudos.
Observa-se também que apesar do crescente número de estudos qualitativos nas
pesquisas sociais, na área de avaliação de programas e projetos sociais as metodologias de
caráter objetivo se sobrepõem.
iv) Áreas Temáticas
Como é amplamente reconhecido, a avaliação de programas e projetos sociais é uma
tarefa eminentemente multidisciplinar. Sendo assim, essa subcategoria buscou analisar as
áreas temáticas contempladas nos estudos analisados:
A gropec uária
5
A s s is tênc ia S oc ial
5
C iênc ia e tec nologia
1
Des envolvimento loc al
3
E duc aç ão
5
E mprego e renda
2
Meio A mbiente
2
R eformas adminis trativas
2
S aúde
2
Turis mo
3
0
1
2
3
4
5
6
Figura 08 – Áreas Temáticas
Fonte: Dados da pesquisa
Observa-se que as áreas: educação, assistência social e agropecuária foram as áreas de
maior expressão na produção científica da última década.
5. Considerações Finais
De forma geral, constatou-se que a produção científica sobre avaliação de programas e
projetos sociais nos veículos analisados ainda é incipiente e feita apenas por um pequeno
número de instituições. Somente nos últimos anos têm-se observado o crescimento numérico
de publicações acerca do tema.
Em relação aos estudos empíricos nota-se que a maior parte pode ser caracterizada
como ex-post em relação ao momento da avaliação (80%), como avaliação de impactos
(55%), no que diz respeito aos fins da pesquisa, e de natureza qualitativa (50%), quanto à
metodologia utilizada.
No entanto, é necessária uma reflexão sobre a avaliação ex-ante e a avaliação de
processos, uma vez que a produção de artigos e estudos requer acesso a informações – sejam
elas primárias ou secundárias. Na prática, observa-se que muitas vezes o pesquisador não tem
acesso às informações quando da elaboração de políticas, programas ou projetos. A avaliação
de processos também adquire maior complexidade dependendo do objeto da avaliação. Em
alguns casos, por se tratar de uma avaliação intermediária, cujas informações levantadas
14
poderão alterar os rumos do programa ou projeto, essas ficam circunscritas às equipes que
participantes ou aos contratantes das avaliações, limitando a análise ou estudos de terceiros –
no caso específico, os acadêmicos e pesquisadores.
Destaca-se, ainda, que as produções científicas nacionais ainda não trazem teorias ou
linhas de pensamento próprios, utilizando-se, sobretudo, da vasta literatura americana. Dessa
forma, a avaliação de programas e projetos sociais acaba sendo vista como um objeto de
várias áreas do conhecimento.
No Brasil, a prática de avaliação de programas e projetos sociais, de um modo geral, é
realizada por exigência dos financiadores para mensurar em que grau os objetivos previstos
foram alcançados. Além disso, a falta de conhecimento técnico-operacional e a limitação
orçamentária acabam dificultando a realização dos procedimentos avaliativos.
Não obstante, os resultados das avaliações podem contribuir com informações para
tomada de decisões, realocação de recursos e legitimação da atuação do Estado. Espera-se,
portanto, que o aumento de estudos na área, fortaleça a institucionalização da avaliação no
Brasil.
Os resultados obtidos neste artigo, embora exploratórios, sugerem um forte
embasamento para o tema da avaliação de programas e projetos sociais. Como futuras
pesquisas, sugere-se a ampliação do universo amostral, incorporando à análise outros
periódicos e anais de eventos, e do período de tempo estudado, no intuito de confirmar (ou
não) se os padrões estruturais aqui observados serão mantidos em casos de maior escopo.
6. Referências
ALA-HARJA, Marjukka & HELGASON, Sigurdur. Em direção às melhores práticas de
avaliação. Revista do Serviço Público, Brasília, ano 51, nº 4, p. 5 - 60, out-dez 2000.
ASSUMPÇÃO, J. e CAMPOS, L. Avaliação de Projetos Sociais: A Rede, os Nós e a Teia.
São Paulo: Anais do Enanpad, 2009.
BARDIN, L. Análise do conteúdo. Lisboa. Análise de Conteúdo. Lisboa: Edições 70, 1977.
CASTRO, M. H. G. Avaliação de Políticas e Programas Sociais. Núcleo de Estudos de
Políticas – NEPP, Cadernos de Pesquisa, nº 12, Campinas: Unicamp, 1989.
CAVALCANTI, P. SISTEMATIZANDO E COMPARANDO OS ENFOQUES DE
AVALIAÇAO E DE ANÁLISE DE POLITICAS PUBLICAS: UMA CONTRIBUIÇÃO
PARA A ÁREA EDUCACIONAL. Tese de Doutorado. Unicamp: 2007.
COHEN, Ernest; FRANCO, Rolando. Avaliação de Projetos Sociais. 8. ed. Petrópolis:
Vozes, 2008.
COSTA, Frederico Lustosa da; CASTANHAR, José Cesar. Avaliação social de projetos:
limitações e possibilidades. Foz do Iguaçu: Anais do ENANPAD,1998.
COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos:
desafios conceituais e metodológicos. Revista de Administração Pública – RAP, Vol. 37,
n.5. Set/Out. 2003.
15
COTTA, Tereza Cristina. Metodologias de Avaliação de Programas e Projetos Sociais:
análise de resultados e de impacto. Revista do Serviço Público, Brasília, ano 49, nº 2, p. 105
-126, abr-jun 1998.
COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do
Sistema Nacional de Avaliação da Educação Básica (Saeb), Revista do Serviço Público,
Brasília, v. 52, n. 4, p. 89-110, out./dez. 2001.
DEY, P. K., HARIHARAN, S. e BROOKES, N. Managing healthcare quality using logical
framework analysis. Managing Service Quality, Vol. 16, No. 2, 2006.
DIAS SOBRINHO, Avaliação: políticas educacionais da educação superior. São Paulo:
Cortez, 2003.
FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas, Revista
Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005.
GHIRLANDA, M. e TRISTÃO, G. A Experiência do Governo Federal na Avaliação do
Plano Plurianual 2000-2003. Salvador: Anais do Enanpad, 2002.
LAGE, A. e BARBIERI, J. Avaliação de Projetos para o Desenvolvimento Sustentável:
Uma análise do Projeto de Energia Eólica do Estado do Ceará com base nas dimensões
da sustentabilidade. Campinas: Anais do Enanpad, 2001.
PEREIRA, L. L. Valores e estratégia organizacional: estudo comparativo de casos em órgãos
oficiais de turismo. Enanpad, 2004.
PEREIRA, R. C. F. Explorando Conceitos e Perspectivas da Meta-Análise em Marketing.
Curitiba: Anais do Enanpad, 2004.
REBOLLOSO PACHECO, J. In: REBOLLOSO PACHECO, E. (ed). Evaluación de
programas: ámbitos de ampliación. Espanha: Cooperativa Universitária ”Sant Jordi”, 1998.
RICH, Gregory A.; BOMMER, William H.; MACKENZIE, Scott B.; PODSAKOFF, Philip
M.; JOHNSON, Jonathan L. “Apples and apples or apples and oranges? A meta-analysis of
objective and subjective measures of salesperson performance”. Journal of Personal Selling
& Sales Management, v. 19, n. 4, 1999.
ROCHE, Chris. Avaliação de impactos dos trabalhos de ONGs: aprendendo a valorizar
as mudanças. 2. ed. São Paulo: Cortez Editora, 2002.
RODRIGUES JUNIOR, J. B. Programa Social Berimbau de Auto-Sustentabilidade da
Costa do Sauípe: avaliação do programa na comunidade de Porto do Sauípe. Dissertação
de Mestrado. Brasília: UnB, 2006.
RODRIGUES, C.. A abordagem processual nos estudos da tradução: Uma análise metaanálise qualitativa. Cadernos de Tradução (UFSC), Florianópolis, v. 10, n. 2, p. 23-59, 2002.
Disponível
em:
16
http://www.periodicos.ufsc.br/index.php/traducao/article/viewPDFInterstitial/6143/5701.
Acesso em 13 de novembro de 2009.
SERPA, S. e CALMON, C. Afinal de Contas, Por que Avaliar? Resgatando o Debate
sobre Utilização na Avaliação de Programas Governamentais. São Paulo: Anais do
Enanpad, 2009.
THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de gestão
pública, Revista do Serviço Público, v. 51, n. 2, p. 54-70, abr./jun. 2000.
TREVISAN, A. e VAN BELLEN, H. Análise de Políticas Públicas: O Caso do Projeto
Microbacias. São Paulo: Anais do Enanpad, 2009.
VASCONCELOS, A. L. F. S. Uma Experiência de Avaliação dos Impactos da Formação
de Capital Humano em Programas Sociais. Tese de Doutorado. Recife: UFPE, 2007.
VERGARA, Sylvia Constant. Projetos e relatórios de pesquisa em administração. 7 ed.
São Paulo: Atlas, 2006.
i
De acordo com Cohen e Franco (2008:86), um programa é um conjunto de projetos com objetivos em comum.
O programa estabelece as prioridades da intervenção, identifica e ordena os projetos, define o âmbito
institucional e aloca os recursos a serem utilizados. As organizações responsáveis pelos programas são
predominantemente públicas, mas existem também instituições privadas que operam dentro das diretrizes
traçadas pelos órgãos de planejamento.
ii
Por sua vez, o projeto pode ser definido como um empreendimento planejado que consiste num conjunto de
atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um
orçamento e de um período de tempo dados. É a unidade mínima de execução, ou seja, representa a unidade mais
operativa dentro do processo de planejamento e constitui o elo final de tal processo (COHEN e FRANCO,
2008:85). 17