SELEÇÃO E USO DE INDICADORES PERMANENTES DE MONITORAMENTO EM
PROGRAMAS E PROJETOS
CONSULTORIA PARA HABI – SEHAB / PMSP
RELATÓRIO FINAL
FABRIZIO CARDOSO RIGOUT
JULHO DE 2007
ii Indicadores Permanentes de Monitoramento
ÍNDICE
Introdução
1
1. Indicadores recomendados por órgãos de fomento
4
2. Indicadores já utilizados por HABI
15
3. Práticas de monitoramento em HABI
21
4. Indicadores permanentes de avaliação propostos
28
Bibliografia
37
iii Indicadores Permanentes de Monitoramento
ABREVIATURAS UTILIZADAS
BID
Banco Interamericano de Desenvolvimento
CDHU
Companhia de Desenvolvimento Habitacional e Urbano
CEM
Centro de Estudos da Metrópole
COHAB
Companhia Metropolitana de Habitação
FIPE
Fundação Instituto de Pesquisas Econômicas
FUSP
Fundação de Apoio à Universidade de São Paulo
GCR
Gestão centrada em resultados
HABI
Superintendência de Habitação Popular
HABISP
Banco de Dados de Habitação do Município de São Paulo
HIS
Habitação de Interesse Social
IBGE
Instituto Brasileiro de Geografia e Estatística
IPT
Instituto de Pesquisas Tecnológicas
IPVS
Índice Paulista de Vulnerabilidade Social
IUC
Instrumental Único de Cadastro
OECD
Organização para a Cooperação Econômica e o Desenvolvimento
OHCHR
Alto Comissariado das Nações Unidas para os Direitos Humanos
ONG
Organização não-governamental
ONU
Organização das Nações Unidas
PAC
Programa de Ação em Cortiços
PAT-PROSANEAR
Programa Urbanização, Regularização e Integração de Assentamentos
Precários
PNUD
Programa das Nações Unidas para o Desenvolvimento
PROCAV
Programa de Canalização de córregos, implantação de vias e
recuperação ambiental e social de fundos de vale
PROVER
Programa de Verticalização de Favelas
SEADE
Fundação Sistema Estadual de Análise de Dados
SEHAB
Secretaria de Habitação do Município de São Paulo
TPU
Termo de Permissão de Uso
iv Indicadores Permanentes de Monitoramento
RESUMO
Este relatório apresenta os resultados de pesquisa de indicadores de monitoramento
pertinentes a ações de intervenção em áreas de habitação inadequada. Foram
levantadas as variáveis já utilizadas por HABI em programas concluídos e as práticas de
monitoramento dos diversos programas e projetos em andamento. Pesquisamos
também os indicadores de monitoramento recomendados pelo BID e a ONU para o
acompanhamento de políticas habitacionais e as variáveis utilizadas por censos e
pesquisas amostrais de favelas. Ao final deste relatório preliminar apresentamos o
cruzamento desses dados, resultando em oito indicadores. Esses indicadores são
recomendados (1) para a elaboração de séries históricas com base nos dados
existentes em HABI e (2) como variáveis que não podem faltar no monitoramento de
programas e projetos futuros. O critério básico observado foi o da economia de
recursos institucionais, utilizando instrumentais e bancos de dados existentes, com o
objetivo de organizar e comparar o desempenho de programas de intervenção ao
longo do tempo. Este relatório foi revisado com base na discussão de um documento
preliminar apresentado a HABI em junho de 2007.
1 Indicadores Permanentes de Monitoramento
INTRODUÇÃO
Na reunião inicial de diagnóstico que fizemos com o planejamento e o gabinete de
HABI, nos foram apresentadas observações referentes às melhorias a serem feitas nos
instrumentais de cadastro, pesquisa sócio-econômica e monitoramento utilizados
pelos diversos programas de habitação popular do município. Esse foi o ponto de
partida para a construção dos indicadores permanentes de avaliação que propomos
neste documento.
Por instrumentais de cadastro se entende aqueles questionários que se prestam a
alistar uma determinada família num programa mantido por HABI. Os programas vão
desde o atendimento com verba social em caso de remoção emergencial ou judicial
até o pleito a uma unidade habitacional. Esses questionários têm sido também
aplicados nos esforços de regularização fundiária e em projetos de urbanização com
criação de infra-estrutura, além de levantamentos de campo com vistas a se cadastrar
as favelas existentes no município, obtendo dados de ordem demográfica e
econômica. Por essa razão os instrumentais de cadastro se tornaram indiretamente
também instrumentais de pesquisa sócio-econômica, em moldes semelhantes
àqueles aplicados anualmente em pesquisas domiciliares por órgãos como o IBGE, e
aos levantamentos feitos especificamente para a população em favelas pela FIPE-USP,
pela Fundação SEADE e pela própria equipe de HABI. Somemos a isso o fato de as
pesquisas sócio-econômicas terem sido parte fundamental dos indicadores de
monitoramento e avaliação de programas habitacionais implementados em convênio
com órgãos multilaterais e bancos de fomento, e temos a situação atual, em que os
dados referentes a identificação de carências e avaliação de política de habitação
estão reunidos em diversos estudos, sendo que nem todos podem ser reunidos num
só banco de dados.
HABI vem avançando bastante na consolidação de um banco unificado de informações
(HABISP), em convênio com a Cities Alliance, como parte da elaboração de um sistema
de planejamento estratégico. Em 2002 por convênio com o Centro de Estudos da
Metrópole (CEM), se fez a atualização da base de dados de favelas com o cruzamento
de dados de setores censitários, perímetros de favelas com base em fotos de 2000, e
vistorias de campo feitas com instrumental próprio de HABI em 2006/7. Esse
instrumental (Ficha de Atualização de Dados de Favela) tem como unidade de análise a
área e não se enquadra na categoria de pesquisa sócio-econômica, que necessitaria
visita domicílio a domicílio. Seu objetivo é o de registrar as condições fundiárias, de
infra-estrutura e geotécnicas (incluindo a identificação de áreas de risco), fornecendo
os dados que se encontram hoje no banco HABISP e compreendem 1782 áreas.
Paralelamente à caracterização demográfica física das favelas, HABI desenvolve
programas de intervenção para os quais utiliza instrumentais próprios. Via de regra são
2 Indicadores Permanentes de Monitoramento
mais extensos porque pretendem levantar dados mais minuciosos referentes aos
serviços públicos utilizados por cada domicílio, sua densidade, o grau de envolvimento
comunitário das famílias, tipo de material utilizado na construção, etc., já que se
tratam de intervenções que envolvem em alguma medida remoção e realocação de
famílias por causa de obras. Entre os programas que utilizaram ou utilizam
instrumentais próprios temos o PROCAV, o PROVER, todos os projetos de urbanização
de favelas, o Programa de Cortiços e os programas de regularização fundiária. No
entanto, em virtude de os indicadores utilizados não serem todos compatíveis com os
dados do cadastro de favelas, entram no banco HABISP como estudos isolados
destinados a dar subsídio a programas de obras. Eles são considerados o primeiro
passo de um processo de monitoramento desses programas.
Quando da conclusão de um programa de intervenção temos a avaliação final, que
engloba todas as etapas do monitoramento e que diz se os objetivos propostos foram
atingidos de maneira eficiente (com utilização racional dos recursos, produzindo o
maior benefício pelo menor custo possível) e eficaz (resultando nos benefícios
esperados para o maior número possível de famílias tidas como foco do programa.).
São esses dados de monitoramento e avaliação que podem, argumentamos aqui,
constituir um banco de dados desagregados, cumulativos e comparáveis.
Desagregados porque há variáveis comuns a todos esses estudos que podem ser
isoladas e armazenadas na forma de valores (ocorrências individuais). Um exemplo é a
existência ou não de ligação de água tratada num determinado domicílio, variável
presente em todos os indicadores de habitabilidade dos monitoramentos constantes
no arquivo de HABI. Isso permite o cruzamento entre variáveis para efeito de
operações estatísticas um pouco mais sofisticadas, como regressões lineares, modelos
multifatoriais, etc. Cumulativos e comparáveis porque essas variáveis podem ser
replicadas em monitoramentos futuros, permitindo que se avalie o resultado (antes
versus depois) de um determinado programa de intervenção e a que custo. Comparase daí qual foi o retorno social do tempo e dos valores financeiros investidos por
diferentes programas.
Essa comparabilidade é preocupação primordial dos bancos de fomento hoje,
notadamente porque têm necessidade eles próprios de contrastar a utilização dos
recursos em diferentes países que se beneficiaram do mesmo programa para efeito de
prestação de contas. Esse interesse fica comprovado em estudo recente (Angel &
Jacobs 2006) do BID em que se reforça a necessidade de se estabelecer indicadores
padronizados de monitoramento e avaliação, e não apenas indicadores pertinentes a
um determinado programa, como se tornou praxe na forma da exigência de Quadros
Lógicos para se definir indicadores de monitoramento para cada etapa de um projeto.
3 Indicadores Permanentes de Monitoramento
A padronização dos indicadores de avaliação – possibilitando a comparação entre os
resultados de programas passados e futuros --, portanto, é possível e desejável pela
feliz coincidência de quatro fatores:
1. Beneficiar-se da unificação do sistema de gerenciamento de informações em
HABI;
2. Contar com a existência de material de monitoramento precioso, porém
disperso;
3. Haver necessidade dos bancos de fomento de comparar melhor os resultados
de programas semelhantes em países/localidades distintas; e
4. Dar vantagem comparativa à SEHAB ao pleitear financiamentos futuros por já
ter incorporado em seu sistema de avaliação os indicadores que interessam a
essas agências de fomento
Tudo isso fortalece institucionalmente o setor de planejamento de HABI, condição
necessária também para prover a burocracia permanente de autonomia, objetivo
buscado unanimemente por órgãos multilaterais e de fomento.
Consideramos já em nossa reunião de diagnóstico que a criação de um núcleo de
indicadores de acompanhamento (monitoramento + avaliação) aplicável a programas
anteriores e futuros, e que se enquadrasse nas diretrizes dos principais órgãos de
fomento seria um grande salto de qualidade no planejamento de HABI. Este
documento portanto pretende detalhar o que já foi feito, as carências atuais e as
diretrizes mais recentes para a coleta de dados de monitoramento no futuro.
Nossa análise está dividida em quatro partes. Na primeira parte, expomos como os
principais organismos de fomento à habitação popular lidam com indicadores e
processos de avaliação dos programas que mantêm. Na segunda parte, descrevemos
os monitoramentos feitos anteriormente por HABI e detalhamos os indicadores por
eles adotados. Na terceira parte relatamos as práticas correntes de monitoramento
nos diversos setores de HABI, as virtudes e carências apontadas com base em
entrevistas e relatórios. Na quarta e última parte, reunimos os indicadores utilizados
nessas esferas e selecionamos aqueles que, a nosso ver, permitem a integração do
banco de dados com a sugestão de um núcleo duro de variáveis que siga as diretrizes
de rigor aceitas internacionalmente e que deve ser empregado em avaliações futuras.
4 Indicadores Permanentes de Monitoramento
PARTE 1
Indicadores recomendados por órgãos de fomento
As práticas atuais de avaliação e monitoramento das agências multilaterais têm por
base a doutrina da “gestão centrada em resultados” (GCR), que passa a ser
implementada no setor público europeu durante a década de 90 e é incorporada à
política de fomento da OECD no final dessa década (Flint 2003 1-5). A GCR é
Uma estratégia de gestão na qual uma determinada organização orienta seus
processos, produtos e serviços para a obtenção de resultados claramente definidos.
(PNUD, 2002 5).
Esse tipo de procedimento muda o ponto de partida do planejamento dos programas
de um órgão público. Em vez de se começar pela formação de equipes competentes e
pela obtenção de recursos para a manutenção de uma estrutura permanente de
resolução de problemas, pensa-se primeiro no objetivo a ser atingido, seja ele de curto
prazo (produto) ou de médio prazo (efeito). Concretamente isso quer dizer que o
órgão executivo passa a se estruturar para promover a transformação das condições
de vida da população dentro de sua esfera de competência, em vez de estar focado tão
somente no cumprimento de normas e procedimentos, que é a característica
fundadora da burocracia pública.
Entre os organismos da ONU, o PNUD foi o primeiro a adotar sistematicamente o
monitoramento de resultados da GCR a partir de 1999. No ano seguinte, com a
definição das Metas do Milênio pelos estados-membros, outras agências da
organização passaram a seguir o mesmo processo. Atualmente se faz a distinção entre
monitoramento e avaliação em termos de grau de especificidade:
Monitoramento (ou ainda acompanhamento) é “o processo... de coleta de
informações segundo indicadores escolhidos para fornecer aos gestores e detentores
de interesse de uma intervenção em curso... informações sobre os progressos
realizados, os objetivos atingidos e os recursos afetados” (OECD 2002, minha ênfase).
O monitoramento se aplica normalmente a produtos, que são projetos específicos
implementados por uma agência, com datas previstas para começar e terminar e que
podem requerer correção de rumos em diversas etapas de sua implementação.
Avaliação consiste de um “exercício seletivo de se medir objetiva e sistematicamente
o progresso em direção à consecução de um efeito” (PNUD 2002 6-7). Em termos
menos abstratos, a avaliação é uma maneira de se medir o quanto um ou mais
projetos integrantes de uma política pública estão de fato ajudando a transformar as
5 Indicadores Permanentes de Monitoramento
condições de vida de uma população para melhor. É mais comum se avaliar efeitos do
que produtos.
Na política habitacional, portanto, o que se avalia são os efeitos de determinados
programas, seja de urbanização de favelas, regularização fundiária, ação em cortiços,
etc., na direção de diminuir o número de famílias vivendo em condições precárias, ou
qualquer outro efeito definido numa política de habitação. O que se monitora são os
resultados de cada um dos programas de acordo com metas estabelecidas num plano
anual ou plurianual e resumidas num relatório de atividades: unidades habitacionais
construídas, atendimentos sociais feitos, cortiços notificados, quilômetros quadrados
de áreas com arruamento, canalização, desadensamento, etc.
Os trabalhos de mensuração de desempenho feitos para programas de convênios
como o PROCAV, o PROVER e o Lote Legal foram portanto adequadamente tratados
como monitoramentos, de modo que ao final de cada um desses programas já se havia
acumulado análise suficiente para determinar se os objetivos haviam sido alcançados
tal como propostos, e, se não, quais foram as correções de rumo adotadas para
adequá-los à realidade encontrada na prática.
Dado que todo monitoramento parte de uma situação inicial – chamada pelas agências
de baseline data –, o passo inicial de um projeto é sempre obter dados relevantes
sobre a condição a ser transformada. Esses dados podem ser levantados, retrabalhados a partir de bancos existentes ou apenas utilizados tais como estão. No
caso de urbanização e regularização é quase sempre necessário levantar os dados por
meio de uma pesquisa sócio-econômica, a não ser que se tenha uma base cadastral
atualizada domicílio a domicílio, como é o caso de áreas que sofrem intervenções
constantes (Heliópolis seria o melhor exemplo disso).
A montagem de um programa de monitoramento passa necessariamente pela
definição das causas de um problema e as ações a serem tomadas para eliminar essas
causas. “Monitorar” nesse caso implica em ter claro que os resultados alcançados
terão sido conseqüência do projeto, e não de outras variações alheias a ele. Para
ajudar nessa determinação, as agências de fomento utilizam variações de um esquema
de organização de pensamento que resulta numa matriz conhecida como Quadro
Lógico ou Marco Lógico. Em sua forma original tem 12 células, como segue:
6 Indicadores Permanentes de Monitoramento
Resumo do projeto
Metas de
desempenho
Mecanismos de
Monitoramento
Premissas e Riscos
Impactos
Efeitos
Produtos
Recursos
Fonte: ADB 1998
Na verdade existe uma seqüência causal elementar para a elaboração de um projeto
que é tornada muitas vezes desnecessariamente complexa quando se olha apenas
para o produto final. Qualquer projeto baseado nessa metodologia pressupõe,
conforme a primeira coluna, que “os recursos devem se transformar em produtos, que
por sua vez devem ter efeitos de curto prazo...., que então contribuem para objetivos
de mais longo prazo (impactos)” (ADB 1998 28). Na seção seguinte essas etapas estão
detalhadas segundo os critérios do BID, organismo internacional que mais recursos
destina à habitação em São Paulo. Para os propósitos desta análise, vamos nos deter
apenas sobre os mecanismos de monitoramento.
Que critérios devemos utilizar para definir os indicadores que integram os mecanismos
de monitoramento? Para a ciência positiva, que é aquela utilizada em praticamente
todos os estudos destinados à política pública, só são relevantes as afirmações que
podem ser contraditadas. Ou seja: se é sempre possível demonstrar que uma
afirmação se aplica a todos os casos, então essa afirmação não tem valor de descrição
da realidade, pois não pode ser verificada. A idéia de verificação implica que existem
dados na realidade que correspondem ou não a uma afirmação feita em abstrato. O
indicador é operação mental pela qual fazemos esse salto da realidade para o
conceito. Por definição, todo indicador implica uma variável, que é uma escala de
atributos (no mínimo dois) que comumente chamamos de medida. Para medir essa
escala, precisamos de instrumentos ou “instrumentais” facilmente acessíveis; e, por
fim, para que essa medida seja inteligível para o maior número de pessoas e seja
comparável com outras medições realizadas, é preciso que haja acordo sobre a escala
adotada.
Na verdade existe certa confusão entre indicadores e variáveis. Bons indicadores são
criados a partir de definições operacionais, ou seja:
...definições que detalham precisamente como um conceito será medido. A rigor, uma
definição operacional é uma descrição de todas as “operações” que serão
empreendidas para se medir um conceito. (Babbie 1992 122)
Portanto, um indicador pode ser composto de mais de uma variável. Por exemplo, um
indicador de densidade de ocupação pode incorporar as variáveis: quantidade de
pessoas por metro quadrado, pessoas por leito, pessoas por cômodo, pessoas por
7 Indicadores Permanentes de Monitoramento
domicílio, etc. Já o conceito de habitabilidade pode englobar os indicadores:
densidade, salubridade, conforto térmico, etc.
Bons indicadores refletem com exatidão o conceito em questão, e isso depende de um
consenso mínimo em relação a seu significado. Por óbvio, não entraremos na
discussão da validade de um indicador pois partimos do princípio de que os
indicadores utilizados pelos principais institutos de pesquisa e órgãos de fomento,
adotados ano após ano, são o resultado de longos debates em torno de sua
aplicabilidade como definições operacionais de conceitos – trata-se aqui de um esforço
de padronização.
A replicabilidade de um estudo, que no caso das pesquisas de campo é a propriedade
de um instrumental produzir dados iguais ou muito semelhantes se aplicado repetidas
vezes à mesma população, pode ser maximizada de diversas formas. A utilização de
instrumentais com questões fechadas, pré-testadas, com perguntas formuladas sem
ambigüidade, de preferência idênticas àquelas utilizadas por institutos de pesquisa,
produz indicadores sólidos. Daí mais uma razão em favor da escolha de indicadores
consensuais existentes, seja na pesquisa de campo, seja na manipulação de bancos de
dados.
Por que utilizar indicadores fixos em vez de determiná-los um a um, de acordo com os
os dados que se pretende monitorar? A resposta é que não se pode prescindir nem de
um nem de outro procedimento, porém na prática existe uma hierarquia de objetivos.
Políticas pedem um núcleo de indicadores padronizados para seus programas para
que se possa comparar se seus resultados estão de acordo com as prioridades da
instituição. Programas que englobam mais de um projeto demandam indicadores
padronizados de seus projetos de modo a monitorar sua implementação de maneira
uniforme, economizando tempo e recursos. Já os projetos requerem indicadores
persistentes de modo a se medir o progresso feito durante a execução. Para que fique
mais claro, voltamos ao exemplo do PNUD, pioneiro na utilização sistemática do
monitoramento de resultados. A agência utiliza três tipos de indicadores (PNUD s/d 4):
1. Indicadores dos efeitos dos diversos projetos da agência, determinados pelo
escritório central;
2. Indicadores de efeitos que medem o progresso em direção a um objetivo
preestabelecido; e
3. Indicadores situacionais.
Desses, apenas os indicadores do grupo 2 são deixados a critério dos objetivos
definidos no Quadro Lógico de cada projeto; os demais têm um núcleo de
padronização.
8 Indicadores Permanentes de Monitoramento
Os indicadores do grupo 1 permitem que a agência mantenha seus programas
alinhados com objetivos predefinidos, enunciados na forma de mudança ocasionada,
como prescreve a GCR. Eles foram determinados a partir de uma definição das missões
que agência deve cumprir com base em metas definidas por convenções das Nações
Unidas como um todo. A seleção desses indicadores é feita com base em sua
pertinência a conceitos como redução de pobreza, igualdade de gênero,
sustentabilidade ambiental e governança. Já os do grupo 3 visam a permitir a
comparabilidade das mudanças geradas por cada unidade do PNUD entre si, e são
eleitos não a partir de conceitos-gerais, mas sim de uma definição das variáveis
mínimas necessárias ao monitoramento de um projeto por seus responsáveis. Os 23
indicadores desse grupo são específicos o suficiente para que pequenos progressos
sejam facilmente detectáveis no curto prazo – melhora em diversos itens de infraestrutura, número de famílias realocadas, andamento de obras, etc.
Banco Interamericano de Desenvolvimento: a definição de indicadores de projetos
habitacionais
As diretrizes mais recentes (Angel, Jacobs 2006) do BID para o monitoramento de
projetos de habitação são um detalhamento do padrão já estabelecido de se exigir um
marco lógico no início do projeto a partir do qual os indicadores são definidos com
base em objetivos gerais do programa. O refinamento dessa matriz de prioridades foi
estruturado em quatro categorias de monitoramento de um projeto: recursos,
produtos, efeitos e impactos. Esses conceitos estão presentes nas diretrizes de
elaboração de programas de todas as principais agências de fomento com nomes
ligeiramente diferentes – “objetivo de longo prazo” e “objetivos de curto prazo” em
vez de impactos e efeitos, no caso do Banco Mundial, por exemplo -- , mas
descrevendo sempre a mesma ordem de encadeamento que vai da obtenção de
recursos à definição de objetivos e sua relação com objetivos mais amplos do
desenvolvimento.
As definições são tais como seguem:
1. Recursos (inputs) são “os itens que o executor precisa angariar, e arranjos que
precisa fazer, de modo a gerar os produtos do projeto....Seus indicadores
consistem, entre outros, do custo e da qualidade esperada de cada produto,
além de uma medida dos arranjos institucionais e do treinamento necessários à
concretização do investimento.” (2)
2. Produtos (outputs) “gerados durante a execução, são os bens e serviços que o
executor do projeto está obrigado contratualmente a entregar, e dos quais se
espera que produzam os resultados previstos. Seus indicadores são descrições
9 Indicadores Permanentes de Monitoramento
sucintas de cada um dos bens e serviços a serem concluídos ao longo da
execução *do projeto+.” (2)
3. Efeitos (outcomes) “são os resultados diretos obtidos quando os beneficiados
utilizam os produtos do projeto. Em outras palavras, são conseqüências de uma
hipótese bem formulada a respeito das causas dos problemas que o projeto
visa resolver.” (2)
4. Impactos (impacts) são definições de como “o projeto ou programa vai
contribuir no longo prazo para a solução dos problemas-chave definidos num
diagnóstico do setor” (nesse caso, o de habitação). Os impactos nesse caso se
referem a princípios gerais como a redução da pobreza, a promoção da
igualdade, sustentabilidade, modernização do Estado, etc. (1-2).
Impactos são definidos a partir de prioridades tanto do Banco como do poder público
do país em questão. São na verdade princípios norteadores de políticas. A partir da
definição dessas prioridades, temos o encaminhamento de uma política habitacional.
Espera-se que esses princípios não se alterem com a alternância de administrações, já
que se trata de consensos bastante amplos que norteiam as prioridades dos
organismos de cooperação internacional. E por serem genéricos o suficiente não
constituem amarras impostas a uma política de Estado por parte dos agentes
financiadores, permitindo que o agente planejador em HABI defina estratégias de
monitoramento em longo prazo desde que não viole o princípio básico de defesa do
interesse público ao qual os componentes de sustentabilidade, igualdade, eficiência e
modernização de gestão se subordinam.
O monitoramento dos efeitos requer uma definição operacional dos objetivos do
projeto. É nesse estágio que se define o problema a ser resolvido e, principalmente,
como avaliaremos se ele foi resolvido ou não e seus respectivos indicadores. Aqui
definimos a meta a ser atingida por um determinado programa em termos palpáveis,
como: aumento/redução, ampliação/diminuição de itens quantificáveis como média
das notas de satisfação, adimplência, matrículas de imóveis, participação em
assembléias, etc.
Pela diretriz do BID, indicadores de efeitos devem ter como referência um grupocontrole com o qual comparamos o grupo-tratamento, como num experimento
qualquer. Em outras palavras, devem-se comparar os efeitos de uma determinada
intervenção numa favela ou loteamento com outra favela ou loteamento com
características similares que não tenha sofrido essa intervenção. O que se fez e faz
normalmente é apenas avaliar o antes-versus-depois nas condições de vida de uma
população beneficiada (p.ex. monitoramento do PROVER). Já o uso de grupos-controle
visa a minimizar principalmente os erros de medição de avaliações subjetivas, nas
10 Indicadores Permanentes de Monitoramento
quais o entrevistado tende a dar respostas de acordo com os benefícios que imagina
auferir do poder público. Filtra também alterações de qualidade de vida resultantes da
situação econômica do país nos anos decorridos entre as pesquisas. A obtenção de
grupos-controle é facilitada pelo cadastro de favelas existente no HABISP, que permite
a escolha de uma área com perfis físico e sócio-econômico semelhante ao grupotratamento para servir como grupo-controle.
No quesito produtos, o BID financia hoje quatro grandes grupos de programas
habitacionais, sendo eles:




Urbanização de favelas;
Subsídios à compra de casas e apartamentos do setor privado;
Facilitação de acesso a lotes urbanizados; e
Crédito habitacional
Atualmente a SEHAB trabalha com todas essas modalidades individualmente ou em
convênio, à exceção dos subsídios de compra de imóveis (as subvenções ao mercado
hoje acontecem na forma de bolsa-aluguel/locação social). Para cada um desses tipos
de programa, o banco sugere um grupo de indicadores destinados a “medir
quantidade, qualidade, foco e obediência ao cronograma dos produtos propostos” (id.
2006 4). O banco considera fundamental uma seleção rigorosa de indicadores de modo
a minimizar a duplicidade de informação:
Equipes de projeto devem selecionar impiedosamente os indicadores, mantendo
apenas aqueles relacionados aos temas-chave do programa e aqueles que permitam
uma comparação com outros projetos financiados pelo banco.(7)
Esse último quesito frisado pelo documento do banco corrobora aquilo que dissemos
na introdução a respeito da necessidade de se formar um núcleo de indicadores
formatados de modo a serem facilmente reconhecidos pelos órgãos multilaterais e de
fomento. Essa certeza de comparabilidade se traduz em economia de tempo e
recursos para o órgão financiador durante o monitoramento, aumentando a qualidade
da proposta e suas chances de aprovação.Os indicadores sugeridos pelo BID (2006)
para o monitoramento dos quatro tipos de programa estão resumidos no Quadro 1.
11 Indicadores Permanentes de Monitoramento
Quadro 1. Indicadores de monitoramento, por tipo de programa habitacional - Banco
Interamericano de Desenvolvimento
Urbanização de favelas
Programas de melhoria de
infra-estrutura
Programas de incentivo à
autoconstrução
Indicador
Tipo
Indicador
Tipo
Domicílios beneficiados (em % do total
da área)
Produto
Domicílios beneficiados por subsídios à construção
(total)
Produto
Produto
Domicílios que receberam microcrédito (total)
Produto
Produto
Domicílios-alvo do programa (% de domicílios com
renda familiar total abaixo da linha de pobreza
que receberam subsídios e/ou microcrédito)
Produto
Custo por domicílio (razão entre o total
dos custos e o número de domicílios
beneficiados)
Produto
Custo real da construção/reforma (média por m2
entre os beneficiados pelo programa)
Produto
Matrículas de imóveis (número de
matrículas ao final do projeto)
Produto
Média de área acrescida (média de área
construída em m2 adicionada aos domicílios por
meio de subsídios e microcrédito)
Produto
Valor habitacional agregado (valor médio
agregado ao imóvel em relação ao
aumento de imóveis em favelas nãoatendidas)
Efeito
Participação intermediária real (número de
instituições públicas, governamentais e privadas
que administram os recursos)
Produto
Qualificação dos imóveis (investimento
médio feito pelos moradores em suas
casas em relação ao investimento médio
de moradores de favelas não-atendidas)
Efeito
Participação de instituições financeiras (número
de órgãos financeiros administrando o programa)
Produto
Consumo de água (aumento da utilização
de água tratada na área atendida)
Efeito
Spread do microcrédito (diferença entre o custo
dos recursos e a taxa de empréstimo dos
beneficiados)
Efeito
Ligações de esgoto (aumento na % de
domicílios atendidos versus o aumento
nas favelas não-atendidas)
Efeito
Alavancagem do subsídio (razão entre o total da
renda doméstica acrescida pelos subsídios e o
total de gastos com o projeto)
Efeito
Envolvimento da comunidade (aumento
da participação nas associações/
condomínios e no pagamento de taxas
associativas/ condominiais)
Efeito
Diferença de valor dos ativos (estimativa técnica
do acréscimo médio de valor dos imóveis - lote e
casa - em conseqüência do projeto)
Efeito
Domicílios-alvo do programa (% de
domicílios beneficiados que estão na
faixa de renda a que o programa se
destina)
Aumento de área (aumento médio da
área construída em relação ao aumento
médio de área construída em favelas
semelhantes no período)
Angel, Jacobs (2006), 7-15 - adaptado
12 Indicadores Permanentes de Monitoramento
Quadro 1 (cont.)
Acesso a lotes
Crédito habitacional
Indicador
Tipo
Indicador
Tipo
Domicílios-foco (% dos domicílios beneficiados
cujas rendas familiares médias estão abaixo da
linha de pobreza)
Produto
Domicílios beneficiados por cartas de crédito
(total do projeto)
Produto
Lotes com preços acessíveis (número de novos
lotes que se tornaram acessíveis a domicílios
com rendas abaixo do foco graças ao projeto)
Produto
Crédito acessível (menor renda mínima
necessária para se qualificar como tomador de
empréstimo no setor bancário privado)
Produto
Implementação de legislação de parcelamento
(número total de unidades administrativas
que implementaram programas que facilitam
a outorga de lotes parcelados)
Produto
Participação real dos bancos comerciais (número
de instituições financeiras que concederam
crédito habitacional a famílias beneficiadas por
subsídios do projeto)
Produto
Parcela do lote no custo total da casa (% do
custo do lote urbanizado sobre o custo total
médio de uma casa-padrão na área)
Efeito
Redução do prazo de execução de dívidas nãopagas (tempo médio transcorrido)
Produto
Fator de multiplicação da urbanização dos
lotes (razão média entre o preço dos lotes
urbanizados e o preço da terra não-urbanizada
na área)
Efeito
Spread do crédito (diferença média, em pontosbase, entre as taxas oferecidas a compradores e
as taxas dos títulos do governo - de 1, 5 ou 10,
conforme o mercado)
Efeito
Área residencial acrescida (área em HA
acrescentada na forma de lotes urbanizados
financiados pelo projeto)
Efeito
Preço real do domicílio (preço mediano das casas
compradas por famílias beneficiadas pelo
programa de crédito)
Efeito
Parcela de lotes residenciais em áreas de baixa
renda/informais (% de lotes urbanizados
acrescentados anualmente sobre a área
loteada total na região)
Efeito
Prazo de pagamento (alteração no prazo de saldo
do empréstimo de prazo mais longo, em anos
para pagar)
Efeito
Efeito
Taxa de inadimplência (razão entre o número de
créditos subsidiados com pagamento em atraso
de mais de três meses, e o atraso médio no
portfólio dos bancos privados)
Efeito
Fator de multiplicação da conversão dos lotes
(razão entre o preço de um m2 de lote
urbanizável e o valor do m2 de lotes nãourbanizáveis nas adjacências)
Efeito
Atividade no mercado secundário (volume de
cartas de crédito habitacional adquiridas por
meio de fundos de mercado secundário
financiados pelo projeto)
Efeito
Produção de lotes por informais (número de
lotes produzidos anualmente por loteadores
informais cadastrados pelo projeto)
Efeito
Retração da participação do governo no mercado
de crédito habitacional (% ano após ano)
Impacto
Atraso na autorização (tempo, em meses,
necessário atualmente para se obter as
licenças necessárias para implementar um
loteamento urbanizado)
Angel, Jacobs (2006), 7-15 - adaptado
13 Indicadores Permanentes de Monitoramento
ONU - Habitat: Metas do milênio
Em 2002, o Programa das Nações Unidas para os Assentamentos Humanos (ONUHabitat), juntamente com a Cities Alliance promoveu uma série de encontros visando
estabelecer indicadores de direito à habitação. Esses encontros tiveram por objetivo
padronizar o monitoramento dos progressos feitos por países no sentido do
cumprimento da Meta 11 das “Metas do Milênio” das Nações Unidas:
Meta 11: Melhorar substancialmente as condições de vida de 100 milhões de favelados
até 2020.
As definições operacionais daí derivadas se concentraram em dois grandes grupos:
Segurança de Posse (proteção contra despejos forçados, titulação) e Definição de
Favela. O primeiro item se refere essencialmente à melhora da aplicação dos
mecanismos jurídicos que evitam que famílias sejam despejadas ilegalmente. Já o
segundo, mais relevante para nossos propósitos, visa monitorar o progresso feito em
nível nacional para diminuição do número de pessoas vivendo em favelas,
padronizando a caracterização dessas áreas em termos de clusters censitários.
Chegou-se então a uma definição de favela como área em que pelo menos uma dessas
características está presente, feita a ressalva de que em alguns países, notadamente os
de renda média, a definição poderia ser adaptada de modo a incluir mais de um desses
itens.





Insegurança quanto a direito de posse
Acesso inadequado a água tratada
Acesso inadequado a saneamento e outros itens de infra-estrutura
Má qualidade estrutural das casas
Alta densidade
Para cada um desses itens foram definidos indicadores operacionais provisórios, que
evoluíram em 2003 para uma lista de 15 “Indicadores do Direito a Habitação
Adequada”, como parte de uma reunião entre o ONU - Habitat e o Alto Comissariado
das Nações Unidas para os Direitos Humanos. Essa lista está resumida no quadro
abaixo:
14 Indicadores Permanentes de Monitoramento
Quadro 2. 15 Indicadores de direito à moradia adequada, ONU - Habitat e OHCHR
Grupo
Indicador
Habitabilidade
Área construída suficiente (Número de pessoas por cômodo)
Durabilidade (% vivendo em estruturas permanentes e em
acordo com a legislação)
Acesso a serviços
Proporção de domicílios com acesso a água potável
Proporção de domicílios com esgotamento sanitário
Custo da habitação para
as famílias
Razão entre a renda domiciliar mediana mensal e os gastos
domiciliares medianos mensais
Segurança de posse
Proporção de domicílios com garantia jurídica de posse
População sem teto
Pessoas sem teto por 100 mil habitantes, evolução ao longo
de 5 anos
População favelada
Proporção da população urbana vivendo em favelas, ao longo
de 5 anos
Despejos forçados
Pessoas sujeitas a despejos ilegais por 100 mil, ao longo de 5
ou mais anos
Legislação
Processo legal permite que se invoquem padrões
internacionais de direito a habitação
Há direito a assistência jurídica gratuita ou subsidiada em
casos de violação desses direitos?
Tempo médio de trâmite de processos relacionados a direitos
habitacionais na justiça
Política institucional
% da população-alvo (p.ex. abaixo da linha de pobreza) que
participa de algum programa habitacional
As pessoas têm direitos legais de serem informadas sobre
decisões que vão afetar seu direito à moradia?
Há mecanismos públicos institucionais acessíveis localmente
que ofereçam informação e ajuda em casos de violação do
direito à moradia?
Fontes: ONU-HABITAT 2003a, 2003b, 2003c.
15 Indicadores Permanentes de Monitoramento
PARTE 2
Indicadores já utilizados por HABI
Monitoramento e avaliação são práticas relativamente recentes em HABI. As primeiras
avaliações remontam ao PROCAV I (1987), financiado pelo BID, e cuja metodologia foi
melhorada e aplicada em larga escala no PROCAV II, que já incorporou desde o início
um sistema de monitoramento permanente. O sistema de planejamento de projeto
baseado em Quadro Lógico foi aplicado então a partir do de Verticalização de Favelas PROVER (1994). Antes disso, HABI não trabalhava dados de monitoramento como
ferramentas de planejamento —ou seja, acumular dados de resultados de maneira
sistemática visando avaliar o quanto da inadequação existente vinha sendo reduzida
por meio do programa de urbanização de favelas.
Entre 1999 e 2003 foram realizadas sete pesquisas de campo como parte do
monitoramento do PROVER vinculadas a uma exigência contratual do Banco
Interamericano de Desenvolvimento (BID). Essas pesquisas se deram durante a
implementação dos projetos (monitoramento propriamente dito) e quando de sua
conclusão (avaliação). Foram feitos sete monitoramentos baseados em pesquisas
socioeconômicas e de uso. No monitoramento sócio-econômico de reassentamento,
pré e pós-uso do PROVER foram utilizados 21 indicadores em instrumentais aplicados a
moradores consistindo em até 40 questões num total de 12 páginas.
Quadro 2-A. Indicadores utilizados no Monitoramento do PROVER (1998-2002)
Pesquisa/Monitoramento:
Grau de realização do programa
Grau de ocupação
Densidade ocupacional
Satisfação (média das notas)
Colaboração com as normas (média
das notas)
% de famílias que realizaram
melhorias
Situação física das áreas comuns e
cuidado com meio ambiente
Média da renda familiar total em R$
Taxa de desemprego (10 anos e
mais)
Qualidade do emprego (10 anos e
mais)
Nível de educação (freqüência à
escola)
Número de ocupações irregulares e
controle de sua solução
P1/M2
P2/M3
P3/M4
P4/M5
P5/M6
P6/M7
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
16 Indicadores Permanentes de Monitoramento
Índice de mora nos pagamentos
•
Ações judiciais para retomada do
imóvel por situações irregulares
•
•
Concessão de TPUs por
empreendimento (precários e
onerosos)
•
•
Estágio de regularização fundiária
junto ao legislativo municipal
•
•
•
•
•
•
•
•
Nível de organização dos sistemas
condominiais (% de blocos com livro
ata)
•
•
Nível da gestão financeira dos
sistemas condominiais (% de blocos
com livro caixa)
•
•
Concessão de títulos definitivos de
propriedade registrados em cartório
de imóveis
Reforço da ação social para
educação sanitária e ambiental
(número médio de
participantes/reunião)
Comportamento adequado à
convivência condominial
•
Fontes: Consolidação a partir de monitoramentos do PROVER (1999-2003), adaptados
O monitoramento do programa de regularização de loteamentos Lote Legal teve um
número bem mais restrito de indicadores e que se manteve ao longo do tempo (19982002). Isso se explica em parte pelo programa envolver menos atores, etapas e
complexidade bem menor de implementação do que o do PROVER. Este compreendia
grandes obras civis, remoções e um esforço considerável de orientação pós-uso.
Quadro 2-B. Indicadores utilizados no Monitoramento do Lote Legal (1998-2002)
Pesquisa
1
2
3
4
5
Quantidade de ligações condominiais de luz, água e
esgotos
•
•
•
•
•
•
•
•
•
•
Habitações com atendimento regular de coleta de
lixo
% de iluminação pública
Quantidade de plantas de regularização de
loteamentos averbadas e arquivadas no respectivo
cartório de registro de imóveis
•
•
•
•
•
•
17 Indicadores Permanentes de Monitoramento
Quantidade de registros de títulos de propriedade
em cartório, para cada loteamento previsto no
programa
•
•
•
•
•
Índice de mora dos beneficiários com relação aos
depósitos em juízo de prestações
•
•
•
•
•
Fontes: Consolidação a partir de monitoramentos do Lote Legal (1999-2003) na biblioteca de HABI, adaptados
O acompanhamento dos programas financiados pelo BID foi uma experiência de
aprendizado institucional tanto para HABI como para os agentes contratados para
implementar as pesquisas. O processo foi discutido após cada monitoramento com
base em relatórios de auditorias externas e missões do próprio banco. Essa discussão
resultou numa compreensão melhor do que é o Marco Lógico referido anteriormente
e num ajuste da metodologia às exigências do financiador em termos de objetividade e
rigor.
Já no quinto monitoramento (2002) temos uma definição dos objetivos de cada
programa em termos de efeitos (“outcomes”, no linguajar do modelo de Marco Lógico
adotado). Esses seriam, a princípio, as conseqüências diretas dos projetos para os seus
beneficiários. A definição dos indicadores de monitoramento, portanto, partiria desses
objetivos. Os efeitos previstos para o PROVER foram








Melhoria da renda, em termos de qualidade de emprego e nível de educação
das famílias beneficiadas
Reforço de ações pedagógicas, sanitárias, ambientais e de convivência
Disciplina do uso e da ocupação dos domicílios
Adaptabilidade a situações especiais (por exemplo, possibilidade de firmar
acordos caso a caso com inadimplentes)
Outorga generalizada de concessão e renovação de termos de permissão de
uso
Registro de irregularidades
Concessão de títulos definitivos, com registro em cartório de imóveis
Redução da inadimplência
Para o Lote Legal se anteciparam as seguintes conseqüências:




Aumentar a quantidade de ligações de água, luz e esgoto
Aumentar os domicílios atendidos por coleta de lixo
Produzir mais plantas para regularização
Aumentar o número de registros de títulos de propriedade em cartório
18 Indicadores Permanentes de Monitoramento
Em 2001 se discutia o problema da incomparabilidade das séries históricas por causa
da mudança de instrumentais de pesquisa sócio-econômica (Via Pública 2001,
Relatório 1) implementados por contratadas diferentes. Esses instrumentais, se
observou, padeciam também de falta de padronização com dados administrativos e as
poucas pesquisas de pós-uso físico existentes à época. No entanto, como o quadro
demonstra, uma vez iniciado o monitoramento, houve uma preocupação em se
manter os indicadores constantes a bem do acompanhamento do progresso feito. São
acrescentados aqueles não-aplicáveis às etapas iniciais do programa (como os
indicadores de pós-uso, como a gestão do sistema condominial e adimplência). É a
partir do quinto monitoramento (2001) que se faz uma extensa discussão dos
indicadores principalmente de levantamento de uso irregular por meio de troca,
aluguel, cessão, venda, permuta e uso para fins comerciais dos domicílios integrantes
do PROVER. (Via Pública 2001, Relatórios 1 a 3.) Já os últimos monitoramentos (6 e 7)
são relatórios de impacto, com as obras já quase todas terminadas e tendo perfil mais
de avaliação do programa: buscam avaliar o que se conquistou, comparar com o
previsto, perguntar o por quê das diferenças entre os dois.
Para se adequar às recomendações mais recentes, e para produzir resultados de
avaliação de efeito com maior validação metodológica, o monitoramento das ações do
PROVER teria de incorporar pesquisas sócio-econômicas utilizando grupos-controle, a
que nos referimos anteriormente: comparar o efeito da mudança sofrida por
moradores de favelas semelhantes, sendo que um se beneficiou da mudança para o
apartamento e outro permaneceu onde estava. Vale notar também que os indicadores
de satisfação, que incluíam um conjunto grande de variáveis no acompanhamento do
PROVER, não fazem parte das recomendações mais recentes de monitoramento do
BID (Angel, Jacobs 2006), tendo perdido espaço para indicadores mais objetivos
Monitoramento do PROCAV 2
Os resultados do plano de reassentamento do Programa de Canalização de Córregos,
Implantação de Vias e Recuperação Ambiental e Social de Fundos de Vale (PROCAV)
foram medidos primeiramente na chamada “Avaliação de Meio Termo” na forma de
pesquisa censitária com famílias transferidas até 1999 para conjuntos habitacionais.
Essa pesquisa foi apenas um componente do acompanhamento mais amplo, feito em
termos geo-espaciais e na forma de relatórios semestrais do BID. Utilizou 24
indicadores compostos próprios agrupados em quatro categorias: perfil sócioeconômico, avaliação da mudança, comparação favela/conjunto e comparação entre
os serviços públicos utilizados antes e depois da mudança. Une, portanto, pesquisa
sócio-econômica com variáveis de avaliação pós-uso, a exemplo dos monitoramentos
do PROVER.
19 Indicadores Permanentes de Monitoramento
Os instrumentais utilizados, produzidos por consultoria contratada especificamente
para esse trabalho, distintos daqueles usados no monitoramento do PROVER, geram
dados apenas parcialmente comparáveis com os daquele programa. Os indicadores,
agrupados por categoria estão detalhados no Quadro 3.
Quadro 3. Avaliação de meio termo do plano de reassentamento do PROCAV 2 (1999)
Grupo
Dados sócio-econômicos
Avaliação da mudança
Comparação favela - conjunto
habitacional
Indicadores
Renda familiar
Situação de emprego
Escolaridade do chefe do domicílio
Despesas familiares
Percepção da qualidade de vida
Relações com a vizinhança
Participação em associações
Distância do comércio
Distância da escola
Atendimento médico
Segurança
Diversão
Distância do trabalho
Proximidade de amigos e parentes
Avaliação geral do domicílio
Necessidades da família
Comparação entre os gastos antes e depois
Comparação da qualidade dos
serviços públicos
Pagamentos efetuados
Creches/Escolas/Esportes/Postos de Saúde/Feiras
Livres/Posto Policial/Parques/Correios
Serviços que faltam
O que poderia ser feito para melhorar processo de
transferência da favela para o conjunto
Fonte: Mazzeo & Rangel, 2000
Essa pesquisa de satisfação tem grande ênfase na comparação antes-e-depois e utiliza
uma maioria de indicadores de percepção. Como no caso do PROVER, esses
indicadores de bem-estar são importantes, porém dados objetivos de fortalecimento
dos vínculos com o local de moradia, como a participação em associações e o uso de
equipamentos públicos do bairro têm tido a preferência das agências de fomento.
Mesmo a Caixa Econômica Federal, no modelo de Proposta Preliminar para Análise de
Viabilidade Social dos programas que financia, pede a caracterização da organização
comunitária em termos todos objetivos – tais como número de lideranças na área,
ONGs, seu grau de representatividade, participação na manutenção de equipamentos,
etc. (CEF, 2003, Mod. 10).
20 Indicadores Permanentes de Monitoramento
Na conclusão do programa PROCAV 2 foi feito um relatório de avaliação do programa
como um todo, com ênfase particular no processo de reassentamento. Os grupos de
indicadores foram divididos com vistas a avaliar os efeitos do programa em termos de
pertinência, eficiência, eficácia, resultados e grau de satisfação1. Cada aspecto da
avaliação foi dividido em indicadores complexos, que por sua vez compreendiam uma
série de indicadores diretos, divididos em variáveis. Em cada etapa dessa categorização
foram atribuídos pesos relativos a cada indicador/variável, compondo um índice de
fácil leitura, em escala 0-100.
Quadro 4. Aspectos e dimensões da avaliação do reassentamento de famílias do PROCAV 2
Aspectos
Pertinência
Eficiência
Eficácia
Resultados
Grau de satisfação
Dimensões
Urbanística
Arquitetônica
Construtiva
Sócio-econômica
Sócio-política
Implantação dos conjuntos habitacionais
Ações sociais de pré- e pós-traslado
Urbanística
Arquitetônica
Construtiva
Sócio-econômica
Sócio-política
Moradia
Tipo e tamanho da família
Trabalho e emprego
Renda familiar
Orçamento familiar
Agenciamento dos espaços do conjunto
habitacional
Produto moradia
Modelo econômico
Participação social
Fonte: GEPROCAV/ZIGUIA s/d 9
1
“Pertinência: conexões entre vulnerabilidade/capacidade das famílias de restabelecer seu quadro de
subsistência e o modelo de soluções físicas, financeiras e sociais adotados para efetivar o
reassentamento, expressos no Plano de Reassentamento;
Eficiência: comparação entre previsto e realizado em termos de prazos e recursos ao longo do ciclo do
processo de reassentamento;
Eficácia: graus de atingimento, ao longo do processo de reassentamento das famílias, dos objetivos e
metas estabelecidos;
Resultados: resultados do reassentamento nas condições de vida da população alvo do programas;
Grau de satisfação: grau de satisfação dos beneficiários bem como suas predisposiçÕes para usufruir e
manter a residência de reposição.” (ZIGUIA/GEPROCAV s/d 8)
21 Indicadores Permanentes de Monitoramento
Como se nota, a metodologia procurou capturar todas as dimensões previstas nos
objetivos do programa em termos de mudança alcançada e também, no caso das
dimensões “eficácia” e “eficiência”, descrever o ritmo e o cumprimento de prazos de
sua execução – componentes de monitoramento propriamente. Utilizou também
outras favelas como grupos-controle e pesquisa sócio-econômica antes/depois,
seguindo a rigor as orientações do BID.
O relatório completo produzido para prestar contas à agência financiadora não entrou,
porém, em banco de dados de planejamento para que pudesse ser comparado com
outros projetos em termos de seus resultados. A complexidade dos dados produzidos,
com índices ponderados para cada grupo de indicadores facilita o entendimento do
impacto das ações, porém dificulta sua comparabilidade, já que esses índices não são
os mesmos utilizados no monitoramento e na avaliação dos outros programas de
urbanização de favelas. Ainda assim, desses dados é possível extrair todas as variáveischave que propomos na conclusão deste documento e comparar seus atributos com os
de outros projetos.
PARTE 3
Práticas de monitoramento em HABI
Primeiramente é preciso distinguir as práticas efetivas de monitoramento daquelas de
levantamento de dados-base, que são os levantamentos nos quais o monitoramento
se apóia para medir as transformações geradas por programas e projetos. Nesse
último caso, a documentação em HABI compreende boa série estatística sobre a
localização e o perfil demográfico das áreas inadequadas para habitação em São Paulo.
Como já observamos, quando a unidade de análise é o domicílio, esses dados se
baseiam inicialmente em censos, amostragens e projeções feitos desde 1973. Parte
desses dados deriva de campos próprios de HABI (1973, 1986/7) e parte em estudos
encomendados a terceiros – FIPE (1993), projeção por amostragem e CEM, 2002/3,
com dados do censo/IBGE. As informações de campo coletadas por pesquisas sócioeconômicas a partir de 2003, assim como cadastramentos de domicílios efetuados por
meio de instrumentais expandidos (a partir do IUC) para obras de urbanização formam
uma base parcial, porém mais atualizada que a do IBGE, que se renova de 10 em 10
anos. Já tomando como unidade de análise a área, temos o Índice Paulista de
Vulnerabilidade Social, da Fundação SEADE, o cadastro de favelas geo-referenciado
existente no HABISP e o sistema de priorização em curso com base na construção de
um índice de vulnerabilidade composto também por variáveis geotécnicas e de infraestrutura. Discutimos essas bases a seguir.
22 Indicadores Permanentes de Monitoramento
O IPVS, criado pela Fundação SEADE, baseia-se no cruzamento de variáveis sócioeconômicas com aquelas do ciclo de vida das famílias para formar um índice que
descreve a vulnerabilidade da média dos domicílios em um setor censitário (definido
como um conjunto de 300 residências.)
O IPVS baseou-se em dois pressupostos. O primeiro foi a compreensão de que as múltiplas
dimensões da pobreza precisam ser consideradas em um estudo sobre vulnerabilidade social.
Nesse sentido, buscou-se a criação de uma tipologia de situações de exposição à vulnerabilidade
que expressasse tais dimensões, agregando aos indicadores de renda outros referentes à
escolaridade e ao ciclo de vida familiar. O segundo pressuposto foi a consideração de que a
segregação espacial....contribui decisivamente para a permanência dos padrões de desigualdade
social que os caracteriza. (SEADE , s/d, 2)
Por ser baseado em agrupamentos, esse índice permite que se determine a
precariedade das condições de vida em pequenas áreas, dado esse que pode ser
sobreposto aos chamados setores subnormais para se chegar ao grau relativo de
privação em que se encontram os moradores de uma área de risco.
O índice em si se apóia em uma metodologia em que se cruzam variáveis de diferentes
indicadores ao longo de dois eixos: nível socioeconômico (indicadores de escolaridade
e renda) e ciclo de vida familiar (variáveis de idade média do chefe de família e
presença de crianças no setor censitário.) O cruzamento desses eixos resulta numa
escala de vulnerabilidade social que reflete o grau de dificuldade das famílias de um
dado setor de superarem a condição de pobreza em que se encontram; a isso
corresponderia, portanto, a necessidade de o Estado intervir com ações visando elevar
renda, educação e melhorar os equipamentos públicos nessas áreas. Trata-se de um
indicador cujo objetivo é priorizar ações de governo.
Quadro 5. Variáveis do IPVS
Fontes: IBGE. Censo Demográfico 2000; Fundação Seade.
Há em curso a elaboração de uma ferramenta de priorização baseada também em
dados primários do IBGE, porém retrabalhados pela Fundação SEADE na forma do IPVS
23 Indicadores Permanentes de Monitoramento
e acrescidos de um estudo geotécnico feito pelo IPT/FUSP que caracteriza o grau
relativo de risco de solapamento e escorregamento de uma determinada favela. A
partir dessa caracterização, se passa então a classificação do tipo de ocupação e, com
base nele se decide a ação a tomar (remoção, regularização, urbanização),
correspondendo cada um a programas já existentes em HABI ou RESOLO. Propôs-se
então um índice composto de cinco grupos de indicadores, com pesos distintos, para
que cada programa determine qual área terá prioridade de atendimento. Até maio de
2007, esses grupos de indicadores seriam:




Infra-estrutura urbana (indicador composto)
Risco de solapamento e escorregamento (trabalhado a partir do estudo do IPT)
Vulnerabilidade social (índice da Fundação SEADE)
Saúde (dados das subprefeituras, variáveis em discussão)
Fonte: Cities Alliance, 2007
Os indicadores sugeridos são compostos de uma série de variáveis tendo como
unidade de análise os setores censitários sobrepostos a áreas de risco / favelas, cada
uma com um peso na composição do índice, e que não vem ao caso aqui para os
nossos propósitos, que são de padronização de coleta. Os indicadores são como
seguem:
Quadro 6. Variáveis que compõem o Índice de Priorização
Índice de risco de solapamento e
escorregamento
Índice de infra-estrutura
Índice de vulnerabilidade social
Índice de saúde
Indicador composto segundo variáveis
utilizadas por estudo do IPT/FUSP
% de rede de abastecimento de água
% de rede de esgoto
% de rede elétrica domiciliar
% de rede de iluminação pública
Drenagem pluvial
% de vias pavimentadas
Coleta de lixo
Indicador composto, Fundação SEADE
Dados compostos fornecidos pelas
subprefeituras para conjuntos de áreas
Fonte: Cities Alliance, 2007
A utilização do IPVS como ponto de partida para se formar um sistema de indicadores
sócio-econômicos traz um duplo benefício: (1) padroniza os indicadores
socioeconômicos que integram praticamente todos os levantamentos (monitoramento
e pesquisa) e cadastros feitos em HABI; (2) gera um banco de dados incremental, pois
se baseia em indicadores que serão utilizados nos censos subseqüentes. Essas virtudes
permitem que o planejador avalie, ao longo do tempo, o efeito das intervenções sobre
as condições de vida das famílias beneficiadas pelos programas pois os dados
coletados serão inteiramente comparáveis com o grupo não-beneficiado. Essa
comparabilidade com os não-beneficiados é pré-requisito para a avaliação dos efeitos
24 Indicadores Permanentes de Monitoramento
de uma política, e condição essencial para que o monitoramento se enquadre nos
padrões metodológicos do BID e organismos de fomento em geral.
Na unidade de análise domicílio, a implementação do instrumental único de cadastro
permitiu que se acumulasse uma boa quantidade de dados comparáveis que hoje
formam o cadastro de favelas do município no banco HABISP, em processo de
implementação2. Dos três tipos de instrumental, o cadastro foi apontado como o que
evoluiu mais na direção de um banco de dados unificado, com categorias
desagregadas comparáveis. Esse instrumental tem um núcleo de 4 grupos de variáveis
aplicadas a todos os pesquisados, compreendendo




Identificação do domicílio
Qualificação dos responsáveis
Situação habitacional
Dados sócio-econômicos e composição familiar
A esses quatro grupos podem-se acrescentar outros com fins de levantar dados mais
específicos, sem contudo se alterar o núcleo. No caso do cadastro do programa PATProsanear, por exemplo, foram acrescentadas duas categorias de indicadores
relacionados às condições físicas do domicílio (classificação do tipo de construção e
infra-estrutura) e um terceiro sobre participação comunitária, em virtude das
intervenções necessárias a esse tipo de programa de urbanização, saneamento e
realocação de famílias. Outros programas de urbanização de favelas seguem a mesma
lógica de se acrescer, e nunca subtrair questões do instrumental.
Os instrumentais de levantamento dos programas de urbanização de favelas permitem
a construção se um sistema de priorização tendo como unidade de análise o
domicílio. Isso foi implementado no caso do Programa Paraisópolis, em que foi
montada uma matriz de variáveis casa a casa, levando em conta os seguintes
indicadores:


2
Tipo de uso (residencial ou não)
Tempo de moradia no local
A COHAB fez a unificação de seu banco de dados, que utiliza instrumental próprio de cadastro. Não obstante as categorias
serem distintas das de HABI por se tratar de demanda efetiva e não de atendimento a inadequação, o cruzamento dos dois bancos
permite a dupla checagem de domicílios atendidos, dado que tanto o IUC de HABI quanto o cadastro de COHAB perguntam ao
interessado (III/2) se já recebeu atendimento habitacional de ambos os órgãos ou ainda da CDHU (Estado). O banco de COHAB
utiliza além desse os seguinte indicadores de classificação de demanda:







Identificação do interessado
Tipo e condição de moradia atual
Dados do trabalho
Endereço de correspondência
Tipo de moradia que possui
Pretensão de moradia/financiamento
Dados familiares e financeiros
25 Indicadores Permanentes de Monitoramento






Condição do imóvel (Próprio, alugado, cedido)
Deficiência física
Idade avançada
Chefe da família do sexo feminino (com cônjuge ou não)
Número de pessoas abaixo de 16 anos no domicílio
Local de trabalho (domicílio, favela, bairro)
O Programa de mananciais, a exemplo de outros programas de urbanização de
favelas, utilizava instrumental próprio e passou a utilizar o IUC com dados
complementares. Ainda não mantém banco de dados sócio-econômicos, e seus
levantamentos se prestam a cadastrar apenas os domicílios que serão afetados pela
intervenção. Os acompanhamentos pós-uso são feitos pela CDHU nos casos em que há
remoção para seus conjuntos habitacionais. O trabalho sócio-econômico com as
famílias reassentadas ou com domicílios afetados parcialmente pelas obras não é
sistematizado na forma de indicadores pré- e pós-intervenção.
O programa de regularização fundiária foi criado após a promulgação do Estatuto da
Cidade, em 2002, que, juntamente com o Plano Diretor Estratégico e lei municipal
específica, facilitou a outorga de títulos de posse às famílias residentes em áreas
públicas municipais. Há três anos o programa se beneficiou particularmente de um
grande esforço de cadastramento dessas famílias e da outorga de concessão de uso.
O banco de dados existente foi acumulado a partir de cadastro feito com instrumental
próprio com categorias mais restritas do que o IUC, omitindo dados sócio-econômicos
como escolaridade, rendas alternativas, situação conjugal e deficiência física. Esse
banco permite, em tese, que se tenha uma base a partir da qual se calcular a
porcentagem de matrículas sobre a demanda efetiva por regularização. As atribuições
do Município se encerram, no entanto, no acompanhamento e atualização dessa base
de dados no Departamento de Patrimônio. O acompanhamento do atingimento das
metas do programa (matrículas como porcentagem do número de domicílios
interessados) demanda uma pesquisa no Registro de Imóveis.
Uma parte monitoramento do programa de regularização fundiária depende portanto
da iniciativa da prefeitura em cadastrar os domicílios em áreas públicas que cumprem
os requisitos de regularização. Essa iniciativa já foi tomada para muitas áreas utilizando
um instrumental simplificado. Desse cadastro inicial se estabelece a meta de
concessões do direito real de uso (CDRU) a serem, observados os levantamentos
planialtimétricos, confrontações e cadastros feitos. Outra parte envolveria o
monitoramento do atendimento da população com dúvidas sobre os diferentes tipos
de titulação (CDRU, TPU, Escritura) e os procedimentos para se chegar à matrícula
efetiva do imóvel. Esse já seria um programa de assistência jurídica com indicadores
específicos que ainda não foi implementado.
26 Indicadores Permanentes de Monitoramento
O Programa de Cortiços tem estágio avançado de operacionalização das ações na
Subprefeitura da Mooca, com a qual firmou convênio de parceria para identificação
dos cortiços, cadastramento dos moradores e notificação dos proprietários dos
imóveis que não estejam conformes à Lei Municipal 10.928/91, que trata dos padrões
sanitários mínimos a serem observados pelas habitações coletivas. A atuação em
convênio com a Subprefeitura da Sé avança mais lentamente.
Os dados cadastrais e geo-referenciados utilizados pelo programa são do
levantamento realizado em 1998 pela FIPE/SEADE como parte de exigência do BID
para concessão de empréstimo à CDHU para adequação dos cortiços na região central.
Esse cadastro foi atualizado novamente em 2001 como parte do PAC (Programa de
Atuação em Cortiços) da mesma empresa. Atualmente os fiscais da subprefeitura da
Mooca destacados para o programa de cortiços atualizam o banco de dados do
Programa de Cortiços por meio de visitas rotineiras e denúncias de moradores.
O monitoramento do programa nas áreas da Sub-Sé e da Sub-Mooca é feito
mensalmente utilizando os seguintes indicadores referentes ao conjunto dos imóveis
encortiçados na região:








Imóveis intimados / total de imóveis encortiçados
Retorno dos proprietários / imóveis intimados
Vistorias prévias realizadas
Recomendações de obra feitas
Negociações feitas com proprietários
Obras em andamento
Atualização no banco de dados HABISP
Projetos em andamento para conversão em HIS (Habitação de Interesse Social)
O Programa de Cortiços mantém também os seguintes indicadores específicos sobre a
situação das transformações de cada imóvel:








Imóveis que sofreram mudança de uso (não mais residenciais)
Imóveis certificados
Imóveis interditados
Obra de pequeno porte necessária
Obra de médio porte necessária
Obra de grande porte necessária
Imóveis propícios a transformação em HIS
Unidades HIS possíveis

Status da negociação com os proprietários para troca/mudança de uso, conversão em
HIS e adequação à Lei 10.928
27 Indicadores Permanentes de Monitoramento
Esses indicadores são apresentados na forma absoluta e também na forma de relação
entre o previsto e o realizado para efeito de acompanhamento dos desdobramentos
da intervenção do poder público.
Por fim, coletam-se dados referentes ao atendimento habitacional das famílias que
precisam desocupar os imóveis temporária ou definitivamente. Essas são classificadas
como habilitadas ou não a receber atendimento. Aquelas em atendimento e
atendidas, por sua vez, são classificadas de acordo com o tipo de auxílio recebido:



Ajuda de custo
Carta de crédito
Transferência para unidade habitacional
Esses dados são comparados com o levantamento da demanda geral (moradores de
cortiços notificados) e da demanda mais urgente (moradores de imóveis com obras em
andamento) para se ter uma idéia do progresso atingido.
Os procedimentos de vistoria, triagem e realocação das famílias estão previstos em
fluxograma específico elaborado pelo Programa de Cortiços em parceria com a CDHU.
Esses procedimentos incluem o cadastramento utilizando a ficha única de HABI.
O monitoramento da parte física e jurídica do projeto está estruturado e permite que o
banco de dados seja atualizado permanentemente sem alteração de critérios e
categorias. O acompanhamento dos resultados é portanto facilmente mensurável.
Já o monitoramento do atendimento habitacional está limitado à quantificação da
demanda e a determinação do percentual de famílias atendido por cada tipo de
programa (ajuda de custo, carta de crédito, unidade habitacional). Por hora não há
avaliação sistemática do grau de satisfação dos moradores após as intervenções em
cortiços, muito menos comparação dessa percepção com aquela dos moradores em
imóveis ainda não adaptados. O fato de as propriedades serem particulares e de o
custo das reformas ser coberto pelos donos não impede que uma avaliação pósocupação seja feita na forma de pesquisa de opinião porta-a-porta após a conclusão da
obra.
O processo de monitoramento das ações do Programa de Cortiços é adequado no
tocante ao acompanhamento de obras físicas e ao progresso das tratativas
administrativas com os proprietários. A sistemática de avaliação está bem detalhada e
usa uma quantidade adequada de indicadores objetivos sobre a porcentagem do
realizado sobre o previsto. É também construída de modo a fornecer dados
periodicamente ao Sistema HABISP. O atendimento habitacional utiliza a ficha
cadastral única de HABI para seus levantamentos de demanda e faz a contagem dos
atendimentos efetivamente realizados. No entanto, não existe atualmente (nem está
previsto como meta para 2007) um instrumental de monitoramento de pós-ocupação
28 Indicadores Permanentes de Monitoramento
que avalie as condições objetivas (grau de adensamento, rotatividade de moradores) e
subjetivas (satisfação geral, percepção de vulnerabilidade, etc.) dos inquilinos após a
reforma.
PARTE 4
Indicadores permanentes de avaliação propostos
Passamos a seguir à proposta de oito indicadores mínimos com base nas referências
nacionais e internacionais escolhidas e na base de dados existente em HABI. Todos
eles podem ser aferidos no nível do domicílio com os instrumentais existentes e/ou
bancos de dados públicos.
Indicadores de desempenho devem ser verificáveis, ou seja, devem ser selecionados
de maneira que haja um modo inequívoco de medi-los na vida real. No monitoramento
de projetos, esses indicadores devem especificar metas ao longo das seguintes
dimensões (ADB 1998, 10, 46):




As quantidades a atingir
Os padrões de qualidade a obter
O prazo para cumprimento dessas metas quantitativas e qualitativas
O local/área a ser beneficiado
Todos os indicadores selecionados cumprem esse critério simples de verificabilidade.
Definido isso, então, se passa a especificar o conjunto de indicadores mensuráveis com
base na idéia de que os resultados de diferentes programas possam ser claramente
comparados por meio de sua aplicação (id., 1998, 49 adaptado):



Os dados devem estar disponíveis em bancos de dados existentes. Caso
contrário, devem ser coletados por métodos convencionais.
Os dados devem ser confiáveis (fonte deve ter utilizado metodologia
comprovada)
Os dados devem ser obtidos ou produzidos com regularidade.
Esses critérios de verificabilidade de indicadores valem tanto para projetos de
habitação popular desenhados e/ou financiados por terceiros como para aqueles de
execução rotineira dentro de HABI, como o sistema de classificação e priorização em
curso. Os indicadores escolhidos todos cumprem essa exigência.
Fizemos o cruzamento entre as variáveis disponíveis nos diversos estudos existentes
em arquivo e banco de dados para intervenção em áreas de habitação inadequada
com as diretrizes e exigências dos órgãos de fomento. Selecionamos os indicadores
29 Indicadores Permanentes de Monitoramento
presentes na maioria deles (pelo menos metade) para cada categoria, e os
apresentamos abaixo. O cruzamento dos indicadores está apresentado no Quadro 8 na
página seguinte. Passamos a seguir a detalhar como cada um desses oito indicadores
de produto deve ser recolhido (no caso de novas pesquisas) e processado (no caso de
comparações com dados existentes) de maneira a garantir comparabilidade, validação
e replicabilidade.
Quadro 7. Indicadores mínimos de monitoramento de programas recomendados
1. Domicílios beneficiados
2. Posse segura documentada do imóvel
3. Consumo de água tratada
4. Tipo de esgotamento sanitário
5. Densidade de ocupação do domicílio
6. Escolaridade do responsável pelo domicílio
7. Rendimento do responsável pelo domicílio
8. Idade do responsável pelo domicílio
.
30 Indicadores Permanentes de Monitoramento
Quadro 8. Seleção de indicadores de monitoramento aplicados e recomendados
Programas monitorados ou avaliados
INDICADOR
1. Domicílios beneficiados
2. Aumento da segurança de
posse documentada do
imóvel
3. Consumo de água tratada
4. Tipo de esgotamento
sanitário
5. Densidade de ocupação do
domicílio
6. Escolaridade do
responsável
7. Rendimento médio do
responsável
8. Idade do responsável
Cadastros
PROCAV 2
MEIO
TERMO
PROCAV 2
FINAL
PROVER
1999-2003
LOTE
LEGAL
1998-2002
√
√
√
√
INSTRUMENTAL
ÚNICO DE
CADASTRO
N/A
√
√
√
√
√
√
√
√
√
√
√
URB. DE
FAVELAS
REGUL.
FUNDIÁRIA
N/A
√
PRIORIZAÇÃO
(CITIES
ALLIANCE)
N/A
IBGE/
CENSO
2000
BID
SEADE/
IPVS
√
√
√
N/A
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
Célula vazia = Indicador não utilizado ou não recomendado
Ferramentas de classificação
ONU/
HABITAT
√
N/A = Não se aplica ao caso
Órgãos Internacionais
√
N/A
√
√
√
√
√
√
√
√
√
√
√
√
31 Indicadores Permanentes de Monitoramento
1. Domicílios beneficiados
Indicador monitorado:
Total de domicílios atendidos por um programa ou projeto3
Expressões desta variável:
 NÚMERO ABSOLUTO
Dado está em: relatórios finais de avaliação dos programas
Procedimento de aplicação desta variável:


Para elaborar séries históricas com programas concluídos, faz-se a comparação direta simples entre
todos
Para levantar dados em programas futuros, faz-se a contagem simples em campo (total de domicílios
atendidos)
 NÚMERO RELATIVO ao universo de domicílios da área:
% de domicílios atendidos do total de domicílios da área
Variável adicional que precisa ser coletada: total de domicílios da área. “Área” é definida espacialmente
como perímetro da ocupação irregular como um todo, seja ela em área de risco ou não
Dado está em: pesquisas censitárias sócio-econômicas pré-intervenção / arrolamentos
Procedimento de aplicação:


Para se fazer a comparação com programas de urbanização concluídos, o total de domicílios da área é
aquele existente à época da intervenção
No levantamento de dados de programas futuros, faz-se a contagem em campo do número de
domicílios efetivamente atendidos pelo programa, apresentada como razão do total de domicílios da
área, incluindo aqueles que não são tecnicamente inadequados (no caso de favelas, as casas fora de
área de risco, porém com o mesmo status de ocupação de área pública)
 NÚMERO RELATIVO ao universo de domicílios-alvo:
% de domicílios atendidos do total de domicílios prioritários
Variável adicional que precisa ser coletada: domicílios prioritários. A definição de prioridades é baseada nos
diagnósticos físicos e sócio-econômicos de cada projeto. Na criação de séries históricas, atém-se à definição de
inadequação vigente à época. Na coleta de dados futuros, observam-se os critérios determinados pelo índice de
priorização aplicado ao nível do domicílio
3
O atendimento é definido pelos objetivos de cada programa. Assim, por exemplo, se a remoção para
conjunto habitacional for a meta, a simples constatação de que determinada família fez sua mudança
para a nova UH, isso configura atendimento. Se a meta for a permanência nesta UH, é preciso definir o
período mínimo ao final do qual se faz o monitoramento. Num programa de melhora de cortiços, idem.
32 Indicadores Permanentes de Monitoramento
Dado está em: bancos produzidos por pesquisa sócio-econômica em cada área sujeita a intervenção
Procedimento de aplicação:

Para comparação com os programas concluídos: porcentagem de domicílios atendidos entre aqueles
situados em zona de risco dentro de cada área segundo definição da época
Para programas futuros: Idem, segundo critério de priorização adotado globalmente por HABI

2. Aumento da segurança de posse documentada do imóvel
Indicador monitorado:
Evolução no grau de segurança de posse documentada dos domicílios atendidos pelo
programa
Expressões desta variável:

NÚMERO ABSOLUTO EM ESCALA INCREMENTAL de grau de segurança de posse:
Contrato de Locação > TPU > CCV > Concessão > Escritura* > (Registro**)
*outorgada pelo poder público
**se aplicável
Dado está em: acompanhamentos periódicos dos programas de urbanização de favelas e regularização
fundiária / bancos baseados em IUCs; relatórios finais de programas encerrados
Procedimento de aplicação:



Para comparar programas concluídos, considerar a porcentagem de domicílios atendidos
pelo programa que alteraram seu grau de segurança de posse ao final do programa
Para monitoramento de programas e projetos futuros, coletar a variável em campo por
meio de IUC antes do programa/projeto e ao longo dele, para monitorar o grau de eficácia
da orientação dada às famílias, seja em loteamentos (regularização fundiária) ou
urbanização de favelas
NÚMERO RELATIVO ao universo de domicílios que não participaram do programa (grupo-controle)
Evolução do grau de segurança de posse de domicílios com posse documentada em
relação a domicílios não atendidos
Dado está em: bancos produzidos por cadastros feitos em cada área sujeita a intervenção + cadastros de
áreas selecionadas que não participam do programa (no caso de urbanização de favelas) ou não
receberam orientação sobre ele (no caso de regularização)
Procedimento de aplicação:

Para comparar programas concluídos, não é possível com os dados atuais
33 Indicadores Permanentes de Monitoramento

Para monitorar programas futuros, escolher grupo-controle por amostragem aleatória simples
representativa dos domicílios de áreas não atendidas. Aplicar a pesquisa antes da implementação
de um programa (ou fase de um programa) e após sua conclusão
3. Consumo de água tratada
Indicador monitorado:
Incremento na porcentagem de domicílios com acesso a água corrente tratada
Expressões da variável:

NÚMERO RELATIVO ao total de domicílios da área de intervenção
Dado está em: lista de domicílios atendidos pela Sabesp; cadastros feitos a partir de instrumentais de
cadastro de programas de urbanização; relatórios de avaliação e acompanhamento de programas
Procedimento de aplicação:


Para comparar programas concluídos, contrastar diretamente a mudança ocasionada por
cada um relativamente aos domicílios do perímetro onde houve a intervenção
Programas futuros, coletar variável de campo (fonte de abastecimento de água) por IUC +
complementos, tal como acontece hoje nos programas de urbanização, antes e depois da
intervenção
4. Tipo de esgotamento sanitário
Indicador monitorado:
Alteração na porcentagem de domicílios com ligações de esgoto - rede pública, rede
local, fossa ou sem ligação (despejo a céu aberto)
Expressões da variável:

NÚMERO RELATIVO ao total de domicílios da área, por tipo de ligação
Dado está em: lista de domicílios atendidos pela Sabesp; cadastros feitos a partir de instrumentais de
programas de urbanização e relatórios de avaliação e acompanhamento de programas
Procedimento de aplicação:


Para programas concluídos, fazer a comparação direta da evolução em relação ao total de
domicílios
Em programas futuros, utilizar instrumentais de urbanização de favelas existentes,
aplicados antes e depois do programa
5. Densidade ocupacional do domicílio
34 Indicadores Permanentes de Monitoramento
Indicador monitorado:
Evolução no número de pessoas por domicílio
Expressões da variável:

FREQUÊNCIAS RELATIVAS (distribuição por faixa de densidade) dentro da área a ser atendida pelo
programa
Dado está em: Bancos produzidos por instrumentais únicos de cadastro, pesquisas sócio-econômicas dos
programas de urbanização concluídos (PROCAV e PROVER), dados do Censo IBGE, levantamentos do
Programa de Cortiços. O dado ideal de densidade de ocupação não é por domicílio, e sim por área
construída, pois o conceito a que ele está relacionado é o de salubridade, associado a variáveis de conforto
como ventilação e utilização de banheiros. A variável utilizada nos instrumentais existentes, no entanto, é a
de pessoas por domicílio tais como relatadas pelo respondente à pesquisa.
Procedimento de aplicação



Para programas concluídos, faz-se a comparação direta entre os levantamentos iniciais e
as pesquisas de pós-ocupação, mostrando as freqüências relativas casos de alta, média e
baixa densidade (pessoas/domicílio) observando sua distribuição e apontando alterações
significativas – por exemplo, se há mais concentração em torno da média quando há
reassentamento em apartamentos.
Programas futuros: idem acima, coletando os dados tais como pedidos no IUC (número de
pessoas no domicílio declarado pelo respondente), antes e depois do programa no caso de
urbanização de favelas e ao longo dele, nos casos do programa de cortiços em que há
reforma do imóvel.
DIFERENÇA ENTRE AS FREQUÊNCIAS RELATIVAS dos casos entre o universo de domicílios que
participaram e os que não participaram do programa (grupo-controle)
Diferença entre a evolução no número de pessoas por domicílio nos grupos atendidos e
nos não-atendidos
Dado está em: bancos produzidos por cadastros feitos em cada área sujeita a intervenção; cadastros de
áreas selecionadas que não participam do programa (favelas); relação de imóveis encortiçados cujos
proprietários não foram notificados
Procedimento de aplicação:


Para comparar programas concluídos, não é possível com os dados atuais
Para monitorar programas futuros, escolher grupo-controle por amostragem aleatória entre os
domicílios de áreas não atendidas em número suficiente para ser representativa do universo.
Aplicar a pesquisa antes, durante e depois da implementação de um programa. Comparar a
distribuição de casos entre o grupo-controle e o grupo-tratamento.
35 Indicadores Permanentes de Monitoramento
6. Escolaridade do responsável pelo domicílio
Indicador monitorado:
Anos de estudo do responsável pelo domicílio como determinante de outros
comportamentos
Expressões da variável:

VARIÁVEL CONTÍNUA INDEPENDENTE a ser associada com outras variáveis em regressões
estatísticas
Dado está em: Bancos produzidos por instrumentais únicos de cadastro, pesquisas sócio-econômicas de
programas anteriores, dados do Censo IBGE e indicadores compostos (IPVS, Priorização)
Procedimentos de aplicação:



Programas concluídos – comparação direta utilizando escolaridade como variável
associada a outros dados de monitoramento específicos de um programa que se espera
que variem com acesso e capacidade de processar informação, como: participação em
organizações comunitárias, regularização de documentação e uso adequado dos
equipamentos
Programas futuros – Idem acima. Coleta de uma variável de campo por Instrumental Único
de cadastro (até que ano estudou ou está estudando), ao longo do monitoramento de pósocupação de um empreendimento, verificando a relação entre escolaridade e manutenção
de um determinado comportamento. Requer a formulação de uma hipótese estatística e a
sua apresentação na forma de associações multi-causais, juntamente com outras variáveis
determinantes, inclusive os indicadores 7 e 8 detalhados adiante
DIFERENÇA ENTRE O EFEITO DE UMA VARIÁVEL no grupo-controle e no grupo-tratamento
Efeito do programa no comportamento de um chefe de domicílio, isolando-se sua
escolaridade
Dado está em: Regressões feitas com base nos dados acima, repetidas para o grupo-controle (anos de
estudo do responsável por domicílios não atendidos por um determinado programa ou projeto).


Comparar programas concluídos não é possível com os dados atuais
Para monitorar programas futuros, escolher grupo-controle por amostragem aleatória entre os
domicílios de áreas não atendidas em número suficiente para ser representativa do universo.
36 Indicadores Permanentes de Monitoramento
Aplicar a pesquisa simultaneamente nos dois grupos antes e ao longo da implementação do
programa. Para um determinado comportamento a se prever - como por exemplo participação
comunitária – introduz-se anos de estudo (variável contínua) e participação no programa (variável
binária) numa regressão linear para se avaliar se educação anula ou não o efeito do programa
sobre esse comportamento. Mais variáveis podem ser introduzidas na hipótese, a exemplo de 7
(rendimento) e 8 (idade do responsável).
7. Rendimento do responsável pelo domicílio
Indicador monitorado:
Rendimento do trabalho no último mês, em R$, declarado para o responsável, como
determinante de outros comportamentos
Expressões da variável:

VARIÁVEL CONTÍNUA INDEPENDENTE a ser associada com outras variáveis
Dado está em: Bancos produzidos por instrumentais únicos de cadastro, pesquisas sócio-econômicas de
programas anteriores e dados do Censo IBGE e IPVS. Rendimento pode ainda ser agrupado em faixas para
efeito de comparabilidade com bancos de dados existentes. Importante ainda que o procedimento de
medição seja idêntico, exprimindo rendimento (1) do trabalho, (2) no último mês e (3) declarado para o
responsável. Outras medições invalidam a comparação.
Procedimentos de aplicação:


Programas concluídos – comparação direta usando renda como hipótese causal associada
principalmente à determinação de domicílios-alvo de um programa ou projeto
(priorização), se aplicáveis aos objetivos definidos em Marco Lógico. Variável essencial
também ao monitoramento de adimplência, utilização de unidade habitacional para fins
não-residenciais e pagamento de taxas condominiais.
Programas futuros – Idem acima. Coleta de uma variável de campo por Instrumental Único
de cadastro (rendimento do trabalho declarado) e
8. Idade do responsável pelo domicílio
Indicador monitorado:
Idade declarada para o responsável pelo domicílio, como determinante de
vulnerabilidade e focalização de programas
Expressões da variável:

VARIÁVEL CONTÍNUA a ser utilizada como indicador mínimo indispensável de vulnerabilidade
37 Indicadores Permanentes de Monitoramento
Dado está em: Bancos produzidos por instrumentais únicos de cadastro, pesquisas sócio-econômicas de
programas, dados do Censo IBGE e IPVS.
Aplicações:


Programas concluídos –utilizar associada às variáveis 6 e 7 – ou ainda a número de filhos,
deficiência física e gênero - como índice de vulnerabilidade aplicado a uma época em que
não havia indicadores de priorização sistemáticos para as intervenções. Permite comparar
quais programas foram melhor sucedidos na tentativa de atingir a população-alvo.
Programas futuros – Indicador deve ser incluído nos Marcos Lógicos de todos os
programas em que é necessário definir focalização usando critérios de vulnerabilidade.
Variável é coletada em pesquisas de campo pré-intervenção, cadastros, pesquisas
amostrais e censos de favelas, cortiços e loteamentos. Deve ser utilizada como um dos
denominadores nos indicadores compostos de porcentagens de atendimento da
população-alvo.
BIBLIOGRAFIA
ADB –Asian Development Bank. 1998. Logical Framework. Printed and Published by
the ADB
Angel, Shlomo and Michael Jacobs. 2006. “Getting results in housing: a framework
for monitoring results in housing projects using measurable indicators” Sustainable
Development Department Technical Paper Series. Washington: Inter-American
Development Bank.
Babbie, Earl. 1992. The practice of social research. 6th. Ed. Belmont, CA:
Wadsworth.
Caixa Econômica Federal. 2003. Manual de Fomento – Setor Público.
Cities Alliance. 2007. “Sistema de caracterização, classificação, elegibilidade e
priorização para intervenção em assentamentos precários no município de São
Paulo / Brasil – Relatório de atividades – versão preliminar”.
Flint, Michael. 2003. “Easier said than done – a review of results-based
management in multilateral development institutions”. Herefordshire: Michael
Flint & Partners.
GEPROCAV (Grupo Executivo do PROCAV) e Ziguia Engenharia Ltda. Serviços de
avaliação do processo de reassentamento de famílias – relatório final consolidado.
S/D.
38 Indicadores Permanentes de Monitoramento
Kusek, Jody Z. and Ray C. Rist. 2004. Ten steps to a results-based monitoring and
evaluation system. Washington: The World Bank.
Mazzeo & Rangel, 2000. Pesquisa de avaliação de meio termo do plano de
reassentamento do programa PROCAV II. Data da coleta: 18 a 22/12 de 1999.
PMSP/Cógito e Geribello. 2002 “Relatório de monitoramento do Programa de
Regularização de Loteamentos (Monitramento V).
PMSP/Cógito e Geribello. 2003. “Relatório de monitoramento e avaliação do
programa (Monitoramento VI)”
PMSP/SEHAB/RESOLO/Diagonal/Via Pública. 2003. “Análise comparativa entre os
indicadores dos componentes urbanização de favelas e regularização de
loteamentos”
Programa BID 938/OC-BR – “Bases metodológicas da coleta de dados – Dados
Indicadores” – PMSP/SEHAB – 2/2000
Programa BID 938/OC-BR – “Relatório de Monitoramento e Avaliação do Programa
Cingapura (Segunda Pesquisa)” – PMSP/SEHAB/Consórcio Cogito-Geribello - 2000
Rugh, Jim. 2002. “Comparisons between terminologies of different donor agencies
for results/logical frameworks”. CARE International
SEADE s/d. Espaço e dimensões da Pobreza nos Municípios do Estado de São Paulo.
SEHAB/HABI. Relatório de Atividades – 2006.
SEHAB/HABI/HABI-1. 2006. “Paraisópolis – uma análise de sua complexidade”
UNDP – United Nations Development Programme, Evaluation Office. 2002.
Handbook on Monitoring and Evaluating Results. New York: UNDP/EO
UNDP. 1999. “Selecting key results indicators in the context of the UNDP strategic
results framework (SRF)” 13/5/1999
UN-HABITAT 2002. “Secure tenure, slums and global sample of cities”. Expert
group meeting. Nairobi, 28-30/10/02
UN-HABITAT 2003b “Monitoring Housing Rights – Developing a set of indicators to
monitor the full and progressive realization of the human rights to adequate
housing” – Background paper for the 2003 expert group meeting on housing rights
monitoring. UNHRP – Working Paper No. 1.
UN-HABITAT 2003c “Guide to monitoring target 11: improving the lives of 100
million slum dwellers” Nairobi: 5/2003.
39 Indicadores Permanentes de Monitoramento
UN-HABITAT. 2003a “Monitoring Housing Rights”- Discussion paper prepared for
the expert group meeting on housing rights monitoring. Genebra, 26-28/11/03
Via Pública - Instituto para o desenvolvimento da gestão pública e das organizações
de interesse público. 2001 - Relatório 1. “Análise crítica dos indicadores de
avaliação do PROVER: Pesquisas socioeconômicas I, II, II e IV; Diretrizes básicas a
serem observadas no delineamento da Pesquisa Socioeconômica V” 4/10/2001
Via Pública - Instituto para o desenvolvimento da gestão pública e das organizações
de interesse público. “Relatório do Monitoramento VII – Componente urbanização
de favelas: análise dos indicadores” Agosto de 2003
Via Pública - Instituto para o desenvolvimento da gestão pública e das organizações
de interesse público. 2001. “Análise crítica dos indicadores trabalhados pelos
monitoramentos I a IV e pelo Monitoramento V, referentes aos demais temas de
abordagem e avaliação (pós-ocupação física e social, inadimplência, regularização
fundiária, gestão condominial, etc.)
WB-OED - World Bank Operations Evaluation Department. 2003. Improving the
lives of the poor through investment in cities – an update on the performance of
the World Bank’s urban portfolio. Washington: The World Bank.