“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Parte 1 – Maria Alice Setúbal
Martina – Acho que eu tinha a fantasia que no setor público ia ser
muito diferente, mas acho que para todo mundo aqui dá
para identificar muita coisa de comum, de questões que a
gente vivencia nas nossas avaliações. Vou convidar a Maria
Alice agora para compor a mesa, muito obrigada. Vocês vão
falar os dois juntos? Mauricio e Maria Alice, dupla de dois
aqui, muito bom [risos].
Maria Alice Setúbal – Obrigada. Boa tarde a todos e a todas. Eu
queria agradecer muito à Martina, à Isabel, à Valeria, por
essa oportunidade de podermos estar aqui hoje discutindo
uma questão fundamental para a área social que é pensar
como avaliar projetos sociais. Essa fala última da Martina foi
exatamente o que eu e o Mauricio estávamos comentando,
como há muita complementaridade entre essa fala do
professor Paulo Jannuzzi e a fala que nós vamos estar
fazendo, pensando que o professor teve uma fala macro
falando do Ministério de Desenvolvimento Social e agora nós
vamos fazer uma fala de uma forma micro, bem micro,
pensando o território e dentro desse território um projeto.
Na verdade, pensando um projeto dentro de um território.
Então, um vôo rasante para a realidade, mas que tem uma
complementaridade muito grande na fala do professor Paulo.
Eu acho que é importante assim, o que a gente pretende
conversar com vocês hoje é passar um pouco a experiência
dessa complexidade que o professor Paulo falou inicialmente,
da complexidade que é avaliar um projeto social e as
dificuldades para quem está na ponta lidando e operando
com esse projeto. Então, a nossa idéia é exatamente esse
processo, falar sobre esse processo de construção de
indicadores para a gente avaliar um projeto social.
Nós estamos fazendo essa dupla, mas eu vou fazer apenas
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
um primeiro apanhado para contextualizar um pouco o que
foi o trabalho da fundação Tide Setubal num território
específico, que é na zona leste da cidade de São Paulo,
especificamente em São Miguel Paulista. Então, a fundação
Tide Setubal começou seus trabalhos, nós começamos o
trabalho em 2005/2006. Foi instituído em 2005, mas
realmente começamos o trabalho em São Miguel Paulista em
2006. A missão da fundação é contribuir para o
desenvolvimento local com o objetivo do empoderamento da
comunidade nessa construção de uma cidadania para uma
melhor qualidade de vida. Então, o nosso foco sempre foi o
território com uma visão intersetorial, transdisciplinar.
Dentro desse contexto maior a busca nossa ao chegar no
território sempre foi em estar articulando com parcerias
locais, quer dizer, desde o início nós tínhamos a consciência
de que não queríamos chegar no território já desenvolvendo
projetos, mas estar construindo junto com aquela população
local e não para aquela população. A gente levou isso muito
a sério. Nos primeiros projetos nós buscamos trabalhar
fazendo um levantamento em termos de famílias, de jovens
e fazer um pouco assim, tentar ver o que existia naquela
comunidade inicialmente. Acho que um aspecto bastante
importante que nós levantamos foi estar envolvendo aquela
comunidade para contar a sua história. Então, nós
desenvolvemos um trabalho de memória muito grande de
depoimentos com os moradores, com os jovens, e nós
gravamos tudo isso, que acabou se transformando num
centro de memória de São Miguel Paulista, que nós temos
até hoje. Isso foi muito importante para nós e para
principalmente para legitimidade da nossa atuação, nós
fomos reconhecer quem é essa população, fomos estar
conhecendo e fomos buscar com que eles se reconhecessem
também e valorizassem aquela história, e toda aquela sua
trajetória.
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Nesse primeiro momento acho que é importante... Nós
encontramos muitas dificuldades, não foram poucas. O que
é, uma organização da sociedade civil, uma fundação que
está apoiando, que queria apoiar projetos na região e chegar
num espaço que já tinha seus donos locais. Os agentes
sociais locais que se sentiam donos daquele espaço. Mesmo
considerando que nós estejamos falando de lideranças
comunitárias que já estavam acostumadas a estar sendo os
lideres absolutos e donos, se sentindo privatizados naqueles
lugares públicos. Então, a nossa primeira parceria... Nós
entramos como parceiros do CDC, que é o clube... CDC Tide
Setúbal que é o clube que atua com esporte e cultura, que
são clubes das secretarias de esportes. Então, nós junto com
outras organizações locais comunitárias começamos a fazer
parte da gestão desse clube e isso foi muito difícil. É muito
difícil aceitar essa legitimidade, muito difícil construir
consensos e nós aprendemos muito com isso também.
Aqui eu queria dizer o seguinte: estamos trabalhando na
complexidade de projetos sociais. O início desses projetos,
muitas vezes, pode ter embates e dificuldades de diferentes
naturezas. No nosso caso, nós tivemos esses embates de
busca de legitimidade, de busca de construir laços de
confiança com essa comunidade, por conta de um
clientelismo, dessa demarcação de território das lideranças
que já estavam ali instaladas. Num segundo momento, dado
esse percurso e esses embates, o que nos ajudou muito foi
pensar nessa história e essa valorização da população local.
Num segundo momento nós começamos a trabalhar muito
no atendimento direto à população. Então, desenvolvemos
projetos com jovens, projetos com famílias – que é o Ação
Família, que o Mauricio depois vai contar para gente – a
trajetória da construção de indicadores em diferentes
projetos com jovens, com crianças, com esportes. E sempre
desenvolvendo esses projetos em parceria com as
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
organizações
diferentes
locais,
com
a
população
local, com as
mediações.
Eu acho que o que nos trouxe muita legitimidade nesse
processo tão complexo e tão micro ao mesmo tempo foram
algumas fatores. Eu falei para vocês da construção de
vínculos de confiança. Como foram dados esses vínculos de
confiança? Muita escuta e muito respeito pelo fazer do outro.
Acho que a gente realmente errou, mas a gente tinha muito
claro a importância dessa escuta e desse respeito com o
outro. Eu falei da valorização das histórias locais. Um outro
aspecto fundamental foi a questão da transparência, da
prestação de contas e de ser uma instituição não partidária,
isso foi muito importante também para gente estar
conseguindo ter uma legitimidade. A transparência e a
prestação de contas, de uma forma muito consistente, foi
mostrando que é possível ter alternativas de se desenvolver
projetos e de você conseguir conquistas sociais para aquela
região que não precisava estar atreladas apenas a uma
pessoa, a uma liderança que acabava mandando e fazendo
tudo do seu jeito, da sua forma e, muitas vezes,
conseguindo favores de vereadores, de assessores políticos.
Eu acho que essa identidade, essa construção de
legitimidade no território teve muito a ver com esse
aspecto... Por exemplo, nós tínhamos uma parceria com a
prefeitura, onde nós tínhamos bolsas para os jovens para um
determinado projeto. O que fizemos? Nós colocamos isso no
mural do clube, fizemos todo um chamado para os jovens
que queriam ser selecionados, fizemos todo um processo
transparente como se fosse um edital das bolsas e das
seleções das bolsas, isso foi quase uma revolução no local
porque não estavam acostumados com isso. Por que não foi
selecionado o filho do fulano e cicrano? Eu estou dando um
exemplo bem pequeno, mas é isso que chamo de
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
transparência e prestação de contas. A gente fazia a reunião
e chamava os pais, chamava a comunidade, fazia conselhos,
tinham comitês, onde a gente prestava contas do projeto. É
um caminho longo que não vou entrar em detalhes, mas é
apenas para dizer que aprendemos muito nessa trajetória. A
complexidade que é você estar atuando num território e
estar
pensando
a
partir
desse
território.
Outro ponto que coloquei e que também foi importante na
construção da legitimidade que mencionei foi o fato de nós
termos uma filiação política, mas que a gente conversava e
conversa com todos os partidos, e que nós temos desde o
começo da atuação até hoje uma posição política clara na
região, ou seja, somos um parceiro, estamos juntos e
articulamos os fóruns de demandas da população, estamos
juntos na mediação junto ao poder público nas demandas
por UBS, por escolas, estamos sempre presentes nos fóruns
contra violência doméstica, fóruns para as demandas de
educação e saúde. Ou seja, nós assumimos uma postura
política,
porém
não
partidária.
Resumindo essa história, trabalhar com projetos sociais e
querer que os projetos sociais possam ter realmente um
impacto no que estamos colocando como missão, como os
nossos objetivos, leva um tempo. É complexo. Acho que
principalmente nós devemos ter uma legitimidade, precisa
alcançar uma legitimidade com um protagonismo muito forte
da população que está sendo beneficiada. O que nós
estamos chamando de terceiro momento a partir de 2009,
depois da trajetória 2006, 2007, 2008, onde nós fomos
construindo essa identidade, essa legitimação, nós
começamos buscar e pensar nas institucionalizações das
nossas ações, essa consolidação das ações no território
porque o nosso propósito, a nossa missão é estar nesse
local. Nós não estamos desenvolvendo projetos, acaba o
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
projeto e vamos embora. Nós assumimos a gestão do CDC
Tide Setúbal, que é esse CDC que está lá na região, e
assumimos a gestão também do balcão da cultura e da
cidadania que é uma parceria com uma instituição
comunitária local. Então, nós temos uma gestão dos espaços
locais e, portanto, a gente pode estar atuando em outras
regiões, mas continuaremos atuando lá em São Miguel.
Então, aí a necessidade de começar a institucionalizar mais
os projetos para que esses projetos pudessem ter uma maior
não só visibilidade, mas institucionalidade na região. Sobre
isso
o
Maurícia
vai
falar
um
pouco
mais.
Esses programas se transformaram em núcleos porque são
irradiadores de conhecimento de práticas e referência nas
regiões. Nós trabalhamos com diferentes núcleos. Com o que
a gente se deparava depois de 3 anos de atuação? A gente
tinha algumas avaliações, especialmente do Programa Ação
Família, tínhamos avaliações da população local sobre os
projetos. Quais impactos mesmo que nós estávamos
conseguindo alcançar? Que resultados, de uma forma mais
consistente, nós estávamos alcançando? Isso angustiava
bastante também. O que significava essa situação? Qual era
o sentido disso? Claro, a gente sabia que tinha construído
legitimidade, tinha um novo caminho que era reconhecido.
Enfim, hoje a atuação está em todos os fóruns na zona leste,
parcerias reconhecidas, é convidado para as festas, para os
fóruns, tudo isso a gente sabe. As pessoas em geral avaliam
muito bem, nós temos parceiros dos mais diferentes, as
diferentes igrejas, os blocos de carnaval, das comunidades,
todos os diferentes setores e diferentes grupos sociais que
atuam na região. Mas que resultado mesmo a gente podia
estar atribuindo aos nossos projetos? Aí acho que foi uma
longa... O fato de que o nosso foco era o território e o fato
de que nós queríamos ter uma visão sistêmica – os nossos
projetos não estão divididos por educação, saúde e tal – nós
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
realmente temos uma outra configuração, onde o olhar é
sistêmico e interdisciplinar. Isso dificultava mais ainda a
gente estar pensando qual era o nosso foco mesmo, quais
são os resultados. É uma potência você atuar de uma forma
sistêmica? Acredito que sim. É importante dado a
complexidade dos projetos sociais. Mas, ao mesmo tempo,
fazia com que nós nos perdêssemos em pensar qual era o
foco mesmo de cada projeto, o que estamos querendo como
resultado.
Pensar
de
uma
forma
qualitativa
é
importantíssimo, mas também ajuda a perder essa noção do
todo
que
temos
que
ter
o
tempo
todo.
Acho que todas essas questões fizeram com que a gente
tivesse idas e vindas. Como o professor Paulo falou, nós nos
reconhecemos completamente em momentos do Ação
Família em que os técnicos ficavam mais tempo preenchendo
planilhas e não usavam essas planilhas depois para interferir
no projeto. Então, a gente passou por diferentes fases.
Vou passar para o Mauricio, para ele estar contando um
pouco para vocês. Na verdade, a nossa ideia aqui hoje é
relatar um pouco as nossas angústias, as dificuldades e a
complexidade que é essa atuação no território e, ao mesmo
tempo, com a clareza, com esse alerta de que é
importantíssimo a gente saber o que a gente está fazendo,
que resultado estamos conseguindo alcançar a partir da
nossa atuação. Então, dentro desse contexto maior o
Mauricio vai estar entrando no Ação Família.
Maurício Érnica – Boa tarde. Duas coisas de começo: primeiro
que vou falar do trabalho... O que eu vou falar envolve o
trabalho de muita gente e a mim cabe mais fazer a síntese e
apresentação do que qualquer outra coisa. O ponto de
partida é que depois dessa trajetória toda surgiu uma
necessidade de produzir uma espécie de descolamento da
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
ação cotidiana e de problematizá-la, construir um discurso
de compreensão, de avaliação da própria ação. Aí que se
colocou a necessidade na história da fundação de trabalhar
com indicadores. É o que eu vou falar a partir de agora.
A primeira etapa desse processo foi a reorganização dos
núcleos. Então, o que estava em jogo ali? Primeiro:
identificou-se a necessidade de estreitar as relações entre os
núcleos e de maneira planejada buscar resultados comuns
que expressassem a atuação da Fundação no território. Essa
era uma questão. Segundo: constatou-se que cada núcleo
trabalhava na prática com mais de um objetivo e nem
sempre esses objetivos eram claramente definidos, o que era
fruto de um momento positivo. Não é algo negativo porque o
momento inicial de construção da ação foi o momento em
que a Fundação se permitiu experimentar. Aqui era o
momento de partir desse momento da experimentação para
a reorganização da sua ação. Outra coisa: nem sempre havia
uma distinção clara entre os objetivos gerais, os resultados e
as atividades realizadas. Nos discursos, na prática, nem
sempre essas dimensões eram totalmente bem distinguidas.
No final das contas isso acabava gerando uma dificuldade de
construir discursos sintéticos sobre os objetivos e as ações,
apesar de se reconhecer que as ações eram extremamente
ricas e com resultados muito significativos. Mas como
reconstruir, como reorganizá-las e permitir que elas
pudessem ganhar escala e potência.
[Alguém da plateia] - Mauricio, quais são os núcleos?
Maurício - Eu tenho a lista no final... os núcleos são...
[inaudível] trabalho sobre juventude, Ação Família trabalha
diretamente com as famílias, Arte e Cultura trabalha com
práticas culturais, gestão de espaços que promovem
atividades culturas e esportivas, e o núcleo de Comunicação
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Comunitária.
Quais foram os passos realizados? No primeiro momento a
construção do objetivo geral de cada núcleo e a construção,
a partir dessa redefinição dos objetivos gerais de cada
núcleo, de perguntas de avaliação. O que é importante
conhecer para poder se avaliar a realização dos objetivos de
cada núcleo? Se colocar esse exercício puro de construção de
problematização, de construção do problema sobre o qual o
núcleo trabalhava e de quais eram os seus horizontes de
transformação, seus objetivos. A partir daí é que se começou
a pensar com base nas perguntas de avaliação de
indicadores
e
aí
o
resultado
é
interessante.
No primeiro momento os objetivos estavam bem definidos e
levantou-se 230 indicadores – uma simplicidade atroz
[risos]. Num esforço hercúleo, sintetizamos para 160. Mas o
que foi interessante? A gente começou nesse processo de
construção de síntese a perceber que o que estava em jogo
ali era um monte de coisas que a gente queria saber sobre o
perfil do público, de processos e resultados que tinham
várias coisas em comum. E conseguimos chegar a 10
dimensões. Tudo isso ainda expressam um excesso, mas vai
mostrando para gente a dificuldade que é você sair da
intervenção, da prática, dos problemas que se impõem às
pessoas no dia a dia, para a construção de um discurso
sintético e, ao mesmo tempo, revelador da prática e que
permite o monitoramento e planejamento organizado. A
partir desse momento a gente começou a pensar na
construção de instrumentos que pudessem falar tanto do
perfil do público atendido, como dos processos e dos
resultados. Do que eu vou falar em diante interessa para
gente só essa ficha básica aqui que vai falar tanto de perfil,
como de resultados. A gente levantou uma série de
perguntas que propositadamente vêm de questionários que
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
fornecem dados para indicadores oficiais, da fundação
SEADE, IBGE, MSD, para permitir que a gente pudesse
analisar a nossa ação de maneira a poder comparar a nossa
ação com outros grupos populacionais e com ouros estudos
que se faz.
Maria Alice – Só fazer um comentário, que acho que é
importante: todo esse processo foi feito junto com os
técnicos de cada núcleo, eles participaram ativamente. No
caso foi a Martina que foi a consultora, o Instituto Fonte que
foi trabalhando ao longo... Então, não foi um processo
construído pelo Maurício ou pela Paula Galiano, que era a
responsável, e que é a responsável por eu estar aqui hoje,
mas foi um processo bastante interativo e longo.
Começamos com 230 indicadores e isso foi indo... Acho que
é isso que a gente aposta que está dando a consistência e
que vai fazer com esses indicadores estejam em pé e
estejam apropriados por cada equipe, cada uma das equipes
dos núcleos.
Maurício – Sim, porque tem isso, ele tem que ser realmente útil.
O esforço hercúleo que falei atrás, em boa medida foi o
esforço da Martina. Esse primeiro momento permitiu... Tem
aqui a análise que se fez daquele processo: primeiro, ele
permitiu intencionalidades mais claras. Isso foi um ganho. Só
do percurso de pensar sobre a prática e fazer esse desenho
mais geral dos indicadores antes dos indicadores mesmo, da
construção do problema e dos objetivos. Foram reforçados
os valores institucionais, as interfaces entre os núcleos foram
explicitadas, os compromissos amadurecidos, enfim, foi um
processo dentro do quadro de institucionalização como a
Maria Alice falou no final da fala dela.
Maria Alice – Isso parece uma questão pequena também, mas a
gente brincava, os próprios coordenadores brincavam que
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
não sabia explicar nem para a mãe o que eles faziam. A mãe
sempre ficava perguntando “o que é mesmo que você faz?”.
Era tão complexo, tão sistêmico, tão interdisciplinar, que
ficava difícil, tinha que ficar falando 10 minutos para explicar
o que era mesmo o objetivo. Os próprios coordenadores
brincavam mesmo. Tudo isso tornou mais claro para cada
um de nós, para cada um da equipe o que é mesmo, do que
se tratava o foco principal da atuação daqueles projetos no
desenvolvimento daquele núcleo.
Maurício - A partir de agora vou falar o que seria a etapa três,
tem um erro ali. Onde se lê etapa dois é etapa três. Agora a
gente sai desse momento da fundação e entra em núcleo,
que é o núcleo Ação Família. Tudo que está aí, quase tudo
que está aí é o que a gente desenhou para ver o que a gente
não vai fazer. É verdade, não é força de expressão. A gente
desenhou o que seria uma grande estrutura de produção de
informação a partir do Ação Família, que tem três grandes
dimensões
que
estão
aqui.
Primeiro, o núcleo cria uma dimensão de atendimento as
famílias, sistematização de metodologia e de incidência sobre
o debate público e sobre políticas. Nesse momento não
estamos
trabalhando
a
construção
organizada
das
informações sobre essa banda de cá, ficamos no
atendimento às famílias. Podemos pensar no monitoramento
para servir de apoio a gestão tanto da coordenação do
núcleo, como no nível da Fundação, e avaliação de
resultados,
impactos,
preferencialmente
de
modo
longitudinal, que também não está na nossa agenda
imediata
de
trabalho
agora.
Ficamos
então,
no
monitoramento. Distinguimos três dimensões. Primeiro, a
rede de serviços provedora de direitos sociais no território,
que também a gente não está... Não é objeto do que vou
dizer a partir de agora. A oferta de serviços do próprio
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
núcleo Ação Família. E ficamos aqui no atendimento direto às
famílias. De fato é um grande desenho para poder situar o
que
a
gente
vai
monitorar.
No monitoramento das famílias, o ciclo de atendimento do
programa é um ciclo de 24 meses. O programa tem um ciclo
de atendimento de 24 meses e as famílias entram
praticamente em fluxo continuo. Então, a ideia é permitir um
monitoramento que não seja apenas uma fotografia num
dado momento, mas que possa ser uma espécie de
sismógrafo, retomando a fala do professor anterior à nossa.
Então, estão organizados aqui alguns níveis do que poderia
ser objeto de monitoramento. Primeiro: o perfil da família. A
ideia é fazer o perfil da família quanto à vulnerabilidade
social de onde saem algumas metas de atendimento. No
décimo segundo mês essa família voltaria, teria uma
atualização do perfil, avaliação do cumprimento das metas,
para a produção de novas metas que seriam verificadas ao
final do vigésimo quarto mês. Isso aqui é onde nós estamos
nos detendo, o tamanho da redução de escopo que a gente
vai fazendo. A participação comunitária em fóruns é outro
objeto de atendimento das famílias e deve ser de
monitoramento. A participação das famílias nas atividades do
núcleo Ação Família, atividades constantes do programa. O
acesso a serviços disponíveis e ofertados tanto pelo
mercado, sociedade civil ou Estado. A evasão – e isso é
bastante importante, tanto do ponto de vista do tempo que
essa família ficou no programa e os motivos da evasão.
Levando-se em conta que eu posso ter uma evasão por
motivos positivos, enfim, os chefes de domicílio encontraram
um emprego muito bom, ou por motivos que são fora da
governabilidade da Fundação: mudaram de região, por
exemplo. E uma dimensão que está nos objetivos do
programa, mas que é dificílima de se construir instrumentos,
que é o desenvolvimento de conhecimentos e habilidade que
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
permitam as famílias buscar maior autonomia no acesso a
bens e serviços que promovam o bem estar e o
desenvolvimento. Ficamos aqui então, ficamos apenas nessa
dimensão
que
se
abre
a
partir
das
metas.
Na sequência, o que a gente está trabalhando de modo mais
intenso. (O próximo Martina, por favor) A partir daí a gente
tinha a ficha básica que nos fornece uma série de dados
muito ricos e nos deparamos com o retorno renovado de um
problema crônico não da Fundação, mas um problema difícil
de ser lidado: precisamos de um indicador do perfil das
famílias que sirva para a produção das metas de
atendimento e para o monitoramento das ações. Temos uma
facilidade para coletar dados primários de qualidade e acesso
direto às famílias, mas transformar os dados em informações
que tenham sentido e que respondam às perguntas da
fundação é um desafio. Portanto, algo que responda de fato
às necessidades de ação e de intervenção. Portanto, por
consequência, seja parte viva da atuação da Fundação e não
alguma coisa em que incorramos nos riscos que o professor
apontou, entre eles o da irrelevância. A primeira opção de
construção do indicador, que foi descartada, é a produção de
um perfil das famílias que dialogasse com indicadores
tradicionalmente utilizados: posição social, medidas de
vulnerabilidade ou pobreza. Por quê? Qual era o problema
disso? – Aqui falta a dimensão educação, na hora de montar
houve algum erro aqui – Inicialmente pensamos em histórico
de imigração das famílias, composição domiciliar e familiar,
habitação, trabalho e renda, saúde, educação, cada
dimensão teria alguns indicadores de base que produziriam
um nível simples. Isso permitiria a gente fazer cruzamentos
com várias outras pesquisas, ter uma série de diálogos
interessantes do ponto de vista da compreensão daquele
conjunto de famílias. Qual seria o problema? Um dos
problemas que a gente identificou e que foi o bastante para
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
gente buscar uma alternativa? A gente tem um banco de
dados de qualidade, poderíamos comparar tudo isso, mas
esse indicador envolveria uma série de características das
famílias que não podem ser transformadas diretamente pela
Fundação, portanto, não serviria para o monitoramento.
Maria Alice – Numa das primeiras construções de banco de dados
que nós fizemos, nós estávamos muito focados nesse tipo de
indicador. Nós usamos o cadastro usado pela prefeitura,
porque esse programa inicialmente era uma parceria com a
prefeitura da cidade de São Paulo, que tinha esse programa
Ação Família e um dos núcleos do programa era o nosso
núcleo aqui. Então, nós usamos aquele cadastro. É
interessantíssimo principalmente para pesquisadores. Eu
adoro porque eu tenho sempre o olhar da pesquisa, sou
socióloga, achava superinteressante. Mas eu ficava
inconformada e ficava batalhando com... Não era a Lúcia
ainda, era uma outra coordenadora... Por que não usavam
aqueles dados? E os técnicos ficavam desesperados
preenchendo planilhas e planilhas que para eles não fazia o
menor sentido, só fazia para mim, entendeu? Para eles não
fazia o menor sentido, porque não tinha sentido mesmo
nesse momento. Claro, tem sentido para um pesquisador,
tem sentido para um outro nível de apropriação desses
dados. Nós não somos poder público, somos organização da
sociedade civil, queremos pensar o que as nossas ações
possam estar mais contribuindo para esse bem estar das
famílias. Isso que temos que fazer e nós entramos nos
debates das políticas públicas nos fóruns com os resultados
que a gente consegue alcançar a partir deste lugar.
Maurício - Então, como produzir um indicador que tenha sentido
para o monitoramento das ações do ação familiar? A saída
dada nos pareceu bastante promissora, o principio é o
registro da presença ou da ausência de problemas,
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
identificado como problemas, como questões a serem
trabalhadas, que são ou podem ser objeto de atuação do
núcleo ação família. Ele vai ser dicotômico, vai dizer “tem,
não tem”, vai ser simples, vai ser um tanto quanto tosco,
mas por quê? Ele vai sinalizar só, vai apontar, vai só dizer
“ali se concentram alguns problemas desse tipo e ali se
concentram outros”, como a imagem de um termômetro. A
ideia é que a sutileza do olhar, da compreensão mais rica da
família ou do problema possa vir depois. O papel do
indicador que a gente está pensando é desse primeiro
sinalizador.
Maria Alice - Isso traz para gente o que a gente quer esperar
daquela família, não que a família vai ter... A gente se perdia
que a família tinha que estar resolvendo todos os problemas.
Com isso fica muito mais claro o que a gente pode esperar e
o que a gente combina com aquela família como meta
combinada e consensuada. Então, a própria família entende
muito melhor, e nós também, o que estamos trabalhando
juntos e vamos chegar para avaliar.
Maurício – Há 4 dimensões que são objetos de monitoramento,
são as 4 dimensões de atuação do núcleo: saúde, educação,
habitabilidade e vínculos vicinais, e trabalho e renda. Cada
uma dessas dimensões é formada por indicadores que
acusam a presença ou ausência de problemas, e essa
dimensão menor vem dos dados da ficha básica, que é o
grande cadastro que reúne os dados da família. Eu trouxe só
um exemplo que é o da dimensão saúde, só para explicitar a
lógica, mais do que o indicador em si. A gente está falando
de algo em construção, não de algo acabado. Então, ainda se
põem questões sobre isso. Na dimensão saúde tem cinco
indicadores de base que vão acusar algum problema com
menores de dois anos, algum problema com mulheres
adultas, com a saúde de adulto ou idoso, alguém que não vai
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
ao dentista há mais de um ano – porque há uma oferta de
serviço odontológico – e deficientes sem acompanhantes ou
com a companhia apenas de um familiar. Aqui são algumas
dimensões do âmbito da saúde que são objetos ou podem
ser objetos de intervenção do Ação Família e não... Por
exemplo, algum problema com mulheres adultas: exames de
mama em mulheres... Ausência de exames de mama em
mulheres com mais de 40 anos num período determinado,
mulheres entre 25 e 64 anos sem a realização anual do
exame papanicolau. Algum problema com menos de 2 anos,
por
exemplo,
crianças
menores
de
1
ano
sem
acompanhamento mensal na UPS ou Saúde da Família. A
ideia é identificar alguns problemas, algumas questões
estratégicas para a intervenção do núcleo e que o indicador
revele a ausência ou a presença daquele problema. Ele em si
é simples, espera a sinalização do problema, a melhoria, e
ele não exclui, pressupõe a atuação da equipe depois, o
olhar da equipe. Por fim, quais são os próximos passos?
Produzir um indicador para cada dimensão, padronizá-los em
cada dimensão de maneira que possam ser comparáveis,
que possam seguir uma mesma escala de variação; ver se o
indicador sintético é consistente, produzir perfis das famílias,
analisar esses indicadores a partir da seguinte pergunta: eles
revelam o que precisamos que seja relevado? Ele tem a
sensibilidade bem ajustada para distinguir o que a gente
quer que seja distinguido? E usá-los efetivamente como
instrumentos de monitoramento. Por fim, a partir disso daqui
que está ligado a esses indicadores tentar monitorar as
outras dimensões que foram apontadas naquele quadro das
famílias, quadro que tinha as dimensões na horizontal, que
eu
apontei
antes.
A ideia de pensar num perfil das famílias com variáveis mais
ligadas a estruturas macro sociais que estão mais fora do
nosso alcance direto não está descartada. A ideia de se
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
produzir perfis das famílias que permitam analises
comparativas entre elas e outros grupos, que possam ser
objeto de outros estudos, isso não é algo descartado, mas a
gente identificou que não seriam um bom instrumento de
monitoramento. Por fim, reconhecendo que esse nível de
diálogo com o perfil macro das famílias ampliará a
capacidade de diálogo da fundação com muitas instituições
do terceiro setor e com o próprio poder público. Reforçando
que a gente está compartilhando com vocês um pouco da
nossa oficina de trabalho esperando ouvir comentários que
possam ajudar a gente a melhorar ou corrigir eventuais
erros do nosso percurso. É isso, obrigado.
Martina – Obrigada Maria Alice, obrigada Maurício. A gente tem
um café agora no primeiro andar, são dois lances de escada.
É clássico também desses diálogos, desses encontros para
gente poder conversar. Só que a gente tem uma questão
com o horário dos palestrantes, não vamos poder ficar até as
18:00. Então, eu pediria para gente tomar um café um
pouco mais rápido, de uns 15, 20 minutos, para gente poder
ter espaço de conversa...