Fortalecimento da Avaliação de
Projetos Sociais no Brasil
Objetivos do projeto:
• Conhecer o “estado da arte” da avaliação de programas
e projetos sociais no Brasil.
• Contribuir para a articulação de uma comunidade de
avaliadores.
• Conhecer e debater a produção acadêmica brasileira
focada em avaliação de programas e projetos sociais.
• Produzir material de apoio à reflexão e prática da
avaliação no Brasil.
Identificação e análise da produção
acadêmica brasileira sobre avaliação de
projetos sociais
Objetivos:
• 1º objetivo: localizar um conjunto de trabalhos acadêmicos de
interesse para a área de “avaliação de programas e projetos
sociais”
• 2º objetivo: iniciar algumas análises sobre ela, a partir das
seguintes perguntas:
– O que a academia tem produzido sobre avaliação de programas e
projetos sociais?
– Que campos do saber têm se dedicado à estudar a avaliação?
– O que estudam em relação à avaliação?
– Como esta produção pode contribuir com as práticas de avaliação no
Brasil?
Síntese do método
1. Localização de estudos (dissertações de mestrado, teses de doutorado ou
trabalhos de conclusão de cursos de pós-graduação) que formassem uma base
abrangente sobre o campo sócio-ambiental (público e privado)
2. Localização aproximada de estudos que poderiam se
aproximar do campo da avaliação.
3. Seleção dos estudos específicos que do
campo da avaliação.
4. Análises preliminares desses estudos
Método - 1. Localização de estudos
Escolha das base de dados
• Banco de Teses (CAPES)
– Base referencial
– Ampla cobertura e satisfatória
organização: mais de 400 mil
Dissertações e Teses
– Preenchimento obrigatório
pelos PPG
– Atualização feita
principalmente para a
“avaliação trienal”
– “Objetivo”: subsidiar avaliação
e acompanhamento da pósgraduação
– Criada em 2002
– Período 1987/2007
Mais completa
• Biblioteca Digital de Teses e
Dissertações (IBICT)
– Base com texto completo
– Ampla cobertura e satisfatória
organização: Mais de 67 mil
dissertações e teses.
– Bibliotecas “credenciadas”
– Atualização variável (“diária”) 
bibliotecas não credenciadas
– Objetivo: disseminar
informações
– Criada em 2002
– Período 1970/2008
Disponibiliza texto completo
Método - 1. Localização de estudos
Definição de termos e palavras-chave
• Definição de termos, palavras-chave e associações por
consultores em “avaliação de projetos sociais”
• Decisão de realizar a busca, numa primeira etapa, a partir de um
grupo restrito de palavras
• Escolha de termos abrangentes
– minimizar perda de informações
• CAPES: ONG; organização não-governamental, programa
social, projetos sociais e terceiro setor
• IBICT: ONG; organização não-governamental, programa social,
projetos sociais, terceiro setor e políticas sociais
Método - 1. Localização de estudos
Definição de termos e palavras-chave
• Busca nas bases a partir das palavras e
expressões realizadas por um biblioteconomista.
– CAPES: termo a termo  “expressão exata”  campo
assunto  16 a 30 de julho  1987/2007
– IBICT: entre 15 e 20 de agosto de 2008  “com a
expressão” no título e resumo 1970/2008
– Produção de uma base de 1393
Base abrangente com estudos relacionados ao campo
social
Método - 2. Localização aproximada de estudos do campo da avaliação
Tratamento do material
• Unificação das bases CAPES e IBICT
• Exclusão registros duplicados
• Localização de palavras-chave que caracterizariam nossa área de interesse
mais específica.
Avaliação
Abordagens
Estudo e Ensino
Monitoramento
Análise
Gestão
Valor
Indicadores
Eficiência
Eficácia
Efetividade
Administração
Estratégia
Gerenciamento
Planejamento
Responsabilidade Social
Sócio-ambiental
Resultados
Políticas
E
Projetos Sociais
Programas Sociais
Terceiro Setor
Ação Social
Políticas Sociais
ONG
Organização Não-governamental
Fundação
Instituto Empresarial
Resultados Sociais
Impactos Sociais
Método - 2. Localização aproximada de estudos do campo da avaliação
Tratamento do material
• Seleção de estudos que tivessem pelo menos um dos
cruzamentos acima.
• Leitura de títulos e resumos a partir de uma amostra (200):
análise qualitativa e afinamento de critérios
– Novo critério: manter apenas estudos que continham pelo menos
Gestão e duas das palavras/expressões ou se estivesse
associada aos termos Programa(s) social(is) ou Projeto(s)
social(is): 577
• Exclusão de estudos que não eram nada significativos
(distorções e ruídos da busca)
541 estudos com maior grau de relevância.
Método - 3. Seleção dos estudos específicos que do campo da avaliação.
Análises
• Leitura dos títulos e resumos de 391 registros e análise a partir
dos seguintes recortes:
– É significativo? Realmente é de interesse específico do campo da
avaliação?
– Em que Instituição foi produzida e defendida (região de
localização)?
– Em que ano foi publicado?
– Em que área do conhecimento?
– Qual o “tema” do estudo
– Quais as palavras-referência que o identificaram?
Método
Algumas aprendizagens a partir do método
•
Área difícil de definir:
– muitas palavras “giram em torno” da área
– A palavra “avaliação” sozinha não se mostra a melhor para localizar
estudos de avaliação!
•
Amplitude de possibilidades, aplicações, metodologias, objetos...
– Na leitura dos estudos se identificam muitas possibilidades de “fazer
avaliações”.
– Ao mesmo tempo, não é qualquer análise que pode ser chamada de
avaliação
•
Qualquer recorte/ definição parece um pouco arbitrária e será parcial.
A produção acadêmica em avaliação
Onde se esconde a avaliação de programas e projetos sociais?
Análise das palavras-referência (base de 130 estudos)
Ocorrência
Ocorrência
Análise
68
Abordagem
19
Avaliação
61
Eficiência
18
Resultados
52
Efetividade
17
Gestão
51
Indicadores
17
Políticas sociais
40
Ação social
14
Organizações não governamentais
40
Planejamento
12
Projetos sociais
36
Responsabilidade social
12
Programas sociais
32
Eficácia
11
Terceiro setor
29
Fundação
11
Estratégia
23
Administração
9
Valor
22
Monitoramento
4
Gerenciamento
1
Sócio-ambiental
1
• Mais análise do que avaliação
• Mais resultados do que processos
• Muita gestão
• Mais políticas, projetos e programas
sociais do que ONG ou Terceiro Setor
A produção acadêmica em avaliação
Onde se esconde a avaliação de programas e projetos sociais?
Análise das palavras-referência
Resultados
A base construída
•
577 dissertações e teses que representam uma base relevante para o
campo, porém:
– 66% Não são dissertações e teses relativas à área de avaliação
– 35% são dissertações e teses relativas à área de avaliação.
Base relevante
Avaliação
Outros focos
Debate conceitual,
metodológico ou político sobre
avaliação
Questões jurídicas 3o setor
Análises históricas e
contextuais de propostas de
políticas sociais
Gestão do 3º setor
30%
Questão política e 3o
setor
Estudos de técnicas e
metodologias específicas de
gestão
Responsabilidade
social
Discussões sobre propostas de
de gestão de políticas sociais
Redes sociais
Capital Social
6%
Avaliação de programa ou
projeto do 3º setor
Avaliação de programa sócioambiental público
Avaliação Econômica
Outros
35%
29%
A produção acadêmica em avaliação
Temas
Análises a partir da
base “avaliação”
Avaliação de programa social público
37%
Avaliação de programa ou projeto do 3º setor
32%
Debate conceitual, metodológico ou político
11%
Responsabilidade social
6%
Gestão do 3º setor
5%
Questão política e 3o setor
5%
Avaliação Econômica
3%
Capital Social
1%
0%
5%
10%
15%
20%
25%
30%
35%
40%
A produção acadêmica em avaliação
Ano de defesa
40
16000
35
14000
30
Avaliação
12000
BDTD geral
25
10000
20
8000
15
6000
10
4000
5
2000
0
0
1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008
ano
teses e dissertações geral BDTD
teses e dissertações em avaliação
• A variação anual parece acompanhar o mesmo movimento da produção acadêmica
no geral (em comparação com o BDTD)...
Produção em
Avaliação
1995
2
1996
0
1197
0
1998
1
1999
6
2000
11
2001
3
2002
12
2003
17
2004
24
2005
36
2006
38
2007
19
2008
5
A produção acadêmica em avaliação
Ano de defesa
40
40000
35
35000
30
30000
Avaliação
25
titulados
25000
20
20000
15
15000
10
10000
5
5000
0
número de titulados na Pós-Graduação*
teses e dissertações em avaliação
• A variação anual parece acompanhar o mesmo movimento da produção acadêmica
no geral (e em comparação com o número de titulados em cursos de Pós-Graduação)...
0
1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006
* Relatório Trienal CAPES, 2004
A produção acadêmica em avaliação
Ano de defesa e tema
•Os temas variaram ao longo dos anos de maneira
semelhante...
70
Debate conceitual, metodológico ou político sobre avaliação
Avaliação de programa ou projeto do 3º setor
60
Avaliação de programa social público
Gestão do 3º setor
50
Questão política e 3o setor
Responsabilidade social
40
Capital Social
Avaliação Econômica
30
20
10
0
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
A produção acadêmica em avaliação
Região de produção
• Pouca presença do Norte
• Reprodução de padrões sobre a produção científica e tecnológica..
Distribuição da produção pelas regiões e UFs
90
80
80
70
60
50
40
30
18
20
9
10
19
18
9
3
2
1
PB
RN
CE
6
2
1
GO
MT
5
1
0
SP
RJ
MG
Sudeste = 82
PE
BA
Nordeste = 24
DF
Centro-Oeste=15
RS
SC
Sul=9
PA
Norte
A produção acadêmica em avaliação
Área do conhecimento
• Muita presença da área de Administração, Educação, Ciências Sociais e Serviço Social...
• Mas quem será que estuda “o quê”?...
Multidisciplinar
4%
Ciências
Ciências da
ambientais
comunicação
3%
2%
Ciências
contábeis
5%
Administração
26%
Engenharias
5%
Economia
5%
Psicologia
6%
Educação
14%
Saúde
8%
Serviço social
9%
Ciências
sociais
13%
A produção acadêmica em avaliação
Área do conhecimento e tema
• O tema do debate conceitual: está distribuído entre várias áreas
• Avaliações de projetos do 3º setor: presença maior da Administração
•Avaliações programas públicos: áreas da Educação e Ciências Sociais
Administração
Serviço social
Economia
Multidisciplinar
Outros
Educação
Saúde
Engenharias
Ciências ambientais
História
Ciências sociais
Psicologia
Ciências contábeis
Ciências da comunicação
Não indica
Debate conc., met. ou político
Avaliação de progr./ proj. 3º setor
Avaliação progr. soc. público
Gestão 3º setor
Questão pol. e 3o setor
Responsabilidade social
Capital Social
Avaliação Econômica
0%
20%
40%
60%
80%
100%
A produção acadêmica em avaliação
Área do conhecimento e tema
Debate conc., met. ou político
Avaliação progr. soc. público
Questão pol. e 3o setor
Capital Social
Avaliação de progr./ proj. 3º setor
Gestão 3º setor
Responsabilidade social
Avaliação Econômica
Administração
Educação
Ciências sociais
Serviço social
Saúde
Psicologia
Economia
Engenharias
Ciências contábeis
Multidisciplinar
Ciências ambientais
Ciências da comunicação
Outros
História
Não indica
0%
20%
40%
60%
80%
100%
A produção acadêmica em avaliação
O que os resultados dessas análises nos dizem?
“Não existe uma definição certa para a avaliação,
uma definição que, se pudesse ser encontrada,
poria para sempre fim às discussões sobre qual a
melhor maneira de proceder e quais as suas
verdadeiras razões de ser. Aceitamos as definições
de avaliação como construções intelectuais, cuja
correspondência com a ‘realidade’ não é, nem
pode ser, uma questão”.
[Guba e Lincoln, 1989: 21]
•Como isso nos posiciona frente à avaliação?
•O que essas aprendizagens nos dizem?
Que definições emergem dos estudos
acadêmicos?
A avaliação é uma
análise de
processos e resultados que permite o
aperfeiçoamento da gestão de ONGs,
projetos e programas sociais, no âmbito
público ou do Terceiro Setor...
A produção acadêmica em avaliação
O que os resultados dessas análises nos dizem?
•Produção sobre avaliação parece ser recente (últimos 10 anos).
•A produção sobre avaliação segue a curva da produção acadêmica
como um todo.
•Avaliação perpassa diversas áreas: é estudada por muitos campos do
saber.
•A Administração parece enfocar mais o Terceiro Setor, enquanto a
Educação e o Serviço Social os programas sociais públicos.
•Uma produção acadêmica significativa sobre avaliação começa a
existir.Torna-se possível a configuração de espaços (encontros,
congressos, periódicos) para divulgar estes estudos.