Ministério da Saúde
Departamento de Saúde Pública
Março de 2009
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
Chave de siglas e abreviaturas
ACES
Agrupamentos de Centros de Saúde
ARSN
Administração Regional de Saúde do Norte
BK
Bacilo de Kock
CDC
Centers for Disease Control and Prevention
DSP
Departamento de Saúde Pública
GDH
Grupo Diagnóstico Homogéneo
INE
Instituto Nacional de Estatística
INS
Inquérito Nacional de Saúde
IO
Investigação Operacional
M&A
Monitorização e Avaliação
OMS
Organização Mundial de Saúde
ONUSIDA
NUTS
Programa conjunto das Nações Unidas sobre o VIH/sida
Nomenclatura das Unidades Territoriais
PNV
Programa Nacional de Vacinação
PNS
Plano Nacional de Saúde 2004-2010
PQA
Programa da Qualidade da Água
SI
SIDA
TB
TOD
USAID
Sistema de Informação
Síndrome de Imunodeficiência Adquirida
Tuberculose
Toma Observada Directa
United States Agency for International Development
UVE
Unidade de Vigilância Epidemiológica
VIH
Vírus da Imunodeficiência Humana
i
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
ii
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
I.
INTRODUÇÃO / ENQUADRAMENTO
A mudança organizacional em curso nos serviços de saúde leva a que, em alguns deles, como por
exemplo nos hospitais, a orçamentação das actividades através de orçamentos-programa seja uma
realidade já com um percurso de alguns anos. O princípio do financiamento baseado no
desempenho irá, progressivamente, abranger os restantes serviços, pois, como sabemos, os
recursos são escassos e têm de ser distribuídos de acordo com as necessidades. Nos serviços de
saúde pública, a nível local ou regional, esta virá a ser uma realidade a muito curto prazo.
Os serviços de saúde pública, ao nível local (Unidades de Saúde Pública - USP dos Agrupamentos
de Centros de Saúde - ACES ou Unidades Locais de Saúde -ULS) e regional (Departamento de Saúde
Pública -DSP da Administração Regional de Saúde do Norte - ARSN, I.P.), não vão escapar a estas
premissas, e vão ter de demonstrar a efectividade dos seus programas e projectos, assim como das
actividades fora destes.
O DSP da ARSN, I.P., através do Plano de Acção 2009-2010 propôs que para a monitorização dos
outputs/outcomes e avaliação (passos 4 e 5 do ciclo de planeamento) fosse desenvolvida uma
ferramenta de Monitorização e Avaliação (M&A) que desse resposta às seguinte questões:
Como sabemos que a mudança está a ser efectuada? (monitorização dos outputs)
Conseguimos efectuar a mudança? (outcomes e impacto)
O que é que aprendemos?
O documento “Monitorização e Avaliação dos Programas de Saúde – Termos de Referência”, assim
como o respectivo “Guia do Utilizador”, pretendem fornecer essa ferramenta para ser aplicada aos
programas de saúde nas USP e DSP de forma a facilitar um futuro trabalho de orçamentação dos
mesmos, com a finalidade última de uma futura contratualização. Será um percurso de
aprendizagem, para estarmos preparados para contrapor evidência técnica, se formos confrontados
com eventuais “cortes” orçamentais futuros. Para que isto aconteça é necessário que, em todos os
programas e projectos:
Os objectivos estejam claramente definidos;
As actividades estejam bem definidas, agregadas em áreas de prestação de serviços e
relacionadas com os objectivos;
Os indicadores estejam seleccionados, as metas fixadas e os progressos (ou avanços) sejam
apresentados periodicamente.
É necessário definir um conjunto de indicadores, acordados previamente com os responsáveis
das áreas de prestação de serviços e com os gestores dos programas e projectos, seleccionados de
entre todos os indicadores disponíveis. A informação deve ser colhida, idealmente e sempre que
possível, nos Sistemas de Informação (SI) existentes, sem provocar sobrecarga adicional, para o
que se poderão criar “plataformas” sistematizadas de recolha de informação, que permitam abranger
1
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
vários programas e projectos. Se, eventualmente, for necessário obter informação adicional, serão
criados outros SI.
Para dimensionar a evolução da cobertura das populações com serviços de qualidade, é necessário
recolher regularmente informação sobre a população abrangida e sobre a oferta de serviços e de
recursos humanos qualificados. A médio prazo (um a cinco anos) deve-se garantir que sejam medidas
a avaliação do impacto, as mudanças de comportamento e a percentagem dos grupos-alvo que foram
abrangidos pelos serviços.
II.
MONITORIZAÇÃO E AVALIAÇÃO (M&A)
1.
Definição de conceitos
O quadro conceptual que se utiliza com maior frequência para a selecção de indicadores num plano
de M&A é 1:
CONTEXTO
Factores externos ao programa
(ambientais, culturais, políticos e socio-económicos)
INPUT
PROCESSO
OUTPUT
OUTCOME
IMPACTO
Recursos
básicos
necessários
Actividades
Resultados
ao nível do
programa
(medição das
Resultados ao
nível da
população
alvo
Efeitos finais
do projecto
a longo
prazo
Comportamentos,
boas práticas
Incidência,
prevalência,
morbilidade,
mortalidade
Políticas, pessoas,
dinheiro,
equipamentos
Formação,
logística, gestão,
informação e
comunicação
actividades do
programa)
Serviços,
utilização dos
serviços,
conhecimentos
Monitorização / Avaliação de processo
Outcome / Avaliação do Impacto
Os diferentes tipos de indicadores que se utilizam na M&A dos diferentes programas e projectos não
são iguais, mas estão ligados entre si, de forma a atingir as finalidades e objectivos que são
necessários alcançar num programa específico. Para que um programa ou projecto alcance os
objectivos definidos, os inputs como por exemplo o dinheiro, o pessoal disponível, os
equipamentos e fornecimentos adquiridos, devem gerar resultados directos ou outputs, como por
exemplo, entrega de medicamentos, pessoal com formação, material informativo, entre outros. Estes
1
A guide to monitoring and evaluation for collaborative TB/HIV activities, WHO, 2004
2
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
resultados são alcançados através de processos específicos, que são actividades efectuadas na
realização do programa ou projecto, com uma determinada sequência e tempo. Se estes resultados
forem conseguidos e atingirem as populações a que se destinam, o programa ou projecto vai ter
resultados indirectos ou outcomes positivos a curto e médio prazo. Estes resultados positivos
estarão a condicionar mudanças de impacto a longo prazo nas populações alvo.
Avaliar o impacto de um programa requer um grande investimento e, por vezes, é difícil determinar
em que medida os programas, por si só, ou os componentes individuais dos programas, contribuem
para a redução total de casos de doença ou para uma maior esperança de vida.
De forma a estabelecer uma relação causa-efeito para uma determinada intervenção pode ser
necessário realizar estudos experimentais que permitam demonstrar o impacto.
1.1. Monitorização
A monitorização é o seguimento de rotina dos elementos-chave do desenvolvimento de um
programa ou projecto (habitualmente através dos inputs, processos e outputs), mediante a
manutenção de registos, informações periódicas e sistemas de vigilância, assim como através de
observações nos serviços de saúde e/ou inquéritos.
A monitorização é utilizada para avaliar em que medida as metas planeadas estão a ser
atempadamente atingidas. A monitorização ajuda os gestores dos programas e projectos a
determinar, com regularidade, que áreas exigem mais esforço de intervenção e a identificar aquelas
que poderão contribuir para atingir uma resposta mais adequada.
É muito importante seleccionar um conjunto limitado de indicadores, para que os gestores e
executores dos programas ou projectos os possam utilizar na tomada de decisão, pois existe uma
tendência para construir múltiplos indicadores, levando esta informação a níveis onde não é possível
utilizá-la.
À monitorização está sempre associada uma noção de regularidade (medições ao longo do tempo) e
de comparabilidade (daí a necessidade de dados fiáveis e rigorosos).
O número de indicadores necessários como informação deve diminuir, para o mesmo programa ou
projecto, do nível local para o regional.
1.2. Avaliação
A avaliação é a quantificação periódica da mudança nos resultados alcançados em cada
programa ou projecto. Ou seja, a avaliação tenta estabelecer uma relação directa entre um
determinado output ou outcome com uma intervenção, depois de decorrido um determinado período
de tempo.
3
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
A avaliação permite aos gestores determinar a eficácia ou a validade de um programa ou projecto
específico.
A avaliação deve também relacionar os outputs do programa ou projecto com as tendências nacionais
sobre as mudanças de comportamento no problema de saúde em intervenção, assim como no
impacto das doenças com ele relacionadas.
A avaliação é, ainda, usada para reequacionar os programas, se necessário, e para informar
decisões sobre futuras dotações em termos de inputs. No entanto, e sempre que possível, a avaliação
deve aproveitar dados e inquéritos disponíveis que sejam utilizados regularmente, a nível local ou
regional.
A avaliação é mais difícil devido ao maior rigor metodológico que exige. Sem esse rigor pode chegarse a conclusões erradas sobre o valor de um programa ou projecto. É também mais onerosa, em
especial a avaliação de resultado e de impacto que, muitas vezes, necessita de inquéritos a nível
populacional ou outros desenhos de investigação mais rigorosos.
1.3. O conceito de M&A
A M&A é a utilização colectiva das ciências sociais e da metodologia de investigação epidemiológica
para avaliar e, eventualmente melhorar a implementação dos programas ou de componentes dos
programas2. O objectivo global da M&A é medir a eficácia dos programas, identificar as áreas-problema, aprender com os erros e melhorar o desempenho global.
Em conjunto, a monitorização e a avaliação demonstram o impacto que os recursos e as actividades
dos programas tiveram no alcance das metas programadas. Fornecem aos gestores e decisores
informação relevante para a acção, e, a partir da M&A, está frequentemente disponível informação
de qualidade. A informação deve ser cuidadosamente seleccionada e deve ser analisada e
apresentada de forma acessível, compreensível, consistente e coerente, de acordo com o público-alvo
a que se destina.
1.4. Indicadores
Um indicador é uma variável usada para medir o progresso em relação aos objectivos e metas
definidos, permitindo aos gestores comparar os resultados face aos padrões vigentes3. É uma
medida específica do desenvolvimento de um programa que é acompanhada ao longo do tempo
através de um sistema de monitorização.
Os indicadores são normalmente seleccionados e as metas definidas durante o processo de
planeamento de um programa. A escolha dos indicadores dependerá também dos serviços que estão
a ser prestados e da capacidade de implementar um sistema de M&A. Os indicadores seleccionados
2
3
Rossi P, Freeman H. Evaluation: a systematic approach. Newbury Park, CA, Sage Publications, 1993
A guide to monitoring and evaluation for collaborative TB/HIV activities, WHO, 2004
4
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
devem: ser válidos, fiáveis, específicos, sensíveis, operacionais, acessíveis, viáveis, mensuráveis e
comparáveis4.
Na M&A de um programa ou projecto devem ser utilizados indicadores-mestre (ou indicadoreschave). Estes indicadores-mestre são instrumentos valiosos para a comparação de um mesmo
indicador entre diferentes populações e para uma análise da evolução de um programa ou projecto.
Permitem ainda orientar os recursos para zonas ou populações com maiores necessidades, e a
identificar áreas onde é necessária uma intensificação ou redução de esforços, melhorando a
efectividade do programa.
2.
Metodologia de recolha de dados
A frequência da produção de informação depende do nível que os indicadores ocupam na estrutura
conceptual de M&A, devendo ter em conta que é necessário um determinado tempo para que ocorra
uma mudança esperada. É especialmente importante incluir uma recolha de dados de rotina com
controlo regular (de três em três meses, de seis em seis meses ou anualmente) e planear, numa fase
inicial, inquéritos de M&A de 1 a 3 anos, para serem aplicados a longo prazo.
No Quadro 1 sugere-se a seguinte periodicidade para a recolha da informação necessária à
construção de indicadores de M&A e no Quadro 2 abordam-se os principais instrumentos de medida
utilizados numa ferramenta de M&A:
Quadro 1: Frequências sugeridas para a recolha de informação
Nível do indicador
Frequência recomendada para
a recolha de dados
Estrutura/ processo
(Inputs)
Contínuo
Resultados Directos
(Outputs)
Trimestral, semestral ou anual
Resultados Indirectos
(Outcomes)
De 1 a 3 anos
Impacto
De 2 a 5 anos
Exemplos de métodos de
recolha de dados
Estatística dos serviços saúde
Inquéritos em serviços saúde
Programa de monitorização
Estatística dos serviços saúde
Inquéritos em serviços saúde
Programa de monitorização
Inquéritos populacionais
Inquéritos em serviços saúde
Estudos especiais
Vigilância
Inquéritos populacionais
Estudos especiais
4
Adaptado do Development of health programme evaluation: report by the Director-General. Geneva, WHO,
1978
5
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
Quadro 2: Instrumentos de medida5
Instrumentos de medida
Estatísticas dos serviços
de saúde
Inquéritos nos serviços
de saúde
Métodos qualitativos
Investigação
operacional
Características principais
Recolha de dados de rotina nos
serviços de saúde
Vigilância do programa
Exemplos de métodos de
medição utilizados
Dados registados em vários
serviços de saúde
Inquérito aplicado nos serviços de
saúde para recolha de informação
sobre nº de recursos humanos,
equipamentos, instalações,
medicamentos e tipo de serviços
prestados
Inquéritos em unidades
(ex.:avaliação da prestação de
serviços de VIH/sida)
Determinam “o que é que existe” e
“porque é que existe”em vez de
“quanto existe”. Permitem que as
pessoas exprimam as suas opiniões,
pontos de vista ou experiências. O
objectivo dos métodos qualitativos é
entender a realidade segundo a
perspectiva do grupo estudado sem
impor uma estruturação prévia pelo
investigador (Maier B. Gorgen, R. et aL
1995)
Entrevistas aprofundadas
(individuais, grupos de discussão,
informadores-chave)
A investigação operacional (IO)
complementa o sistema de M&A. O
objectivo principal da IO é fornecer aos
gestores dos programas a informação
necessária para desenvolver, melhorar
ou alargar os programas. Enquanto a
avaliação incide sobre se uma mudança
nos resultados pode ser atribuída a um
programa, a IO incide em saber se o
programa é o correcto, ou o melhor,
para atingir os resultados desejados.
Exemplos de IO:
Mapeamento sobre a
disponibilidade dos serviços
Observação directa
Técnica interactiva ou projectiva
(comentários sobre poster,
comentários sobre histórias, roleplay, entre outros)
Adesão
Acesso equitativo
Custos
Ligação entre prevenção e
tratamento
Modelos de intervenção
distintos
A IO é um processo prático e
sistemático para identificar e resolver
problemas relacionados com os
programas.
5
Vigilância de um “sítio”
sentinela
Recolha de informação sobre a
prevalência de doenças em populações
que são mais ou menos representativas
da população geral (como as mulheres
grávidas) ou/ assim como populações
consideradas com alto risco de infecção
e transmissão
Serovigilância do VIH em
mulheres grávidas ou em grupos
identificados com
comportamentos de risco
Inquérito Nacional de Saúde
Inquéritos de tipo
populacional
Um inquérito baseado numa amostra
da população alvo ou da população em
geral, tem como objectivo representar
as características, comportamentos e
práticas dessa população. Requer um
tamanho suficiente para representar a
população em geral, e para ser
analisada em subgrupos por idade,
sexo, região e populações alvo.
Inquérito Nacional em Meio
Escolar – 3º ciclo e secundário
Inquérito Nacional ao Consumo
de Substâncias Psicoactivas na
População Portuguesa
Monitoring and Evaluation Toolkit: HIV/AIDS, Tuberculosis, and Malaria, WHO, 2006
6
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
III. ELEMENTOS BÁSICOS DE M&A
1.
Contributos para a implementação e fortalecimento de um programa de
monitorização e avaliação
Já foram efectuados avanços importantes na área da M&A, mas a maior parte desta actividade
realizou-se de uma forma vertical e isolada, sem comparação dos resultados com outros existentes no
nível operacional. A utilidade da maior parte das medições que se efectuam pode perder-se, se não
existir um sistema de M&A coerente, que se implemente para captar informação necessária sobre
diferentes situações e que abranja utilizadores de diferentes níveis.
1.1. Compatibilização entre os dados locais e regionais, os dados normalizados e o
sistema de informação
Existe o risco de separar os sistemas de M&A segundo as doenças, os financiadores e o tipo de
programa, o que origina uma ausência de dados unificados, de sistemas compatíveis em tecnologias
de informação ou de plataformas de informação comuns.
Um sistema de M&A integrado (único), completo e coerente apresenta várias vantagens:
Contribui para o uso mais eficaz da informação e dos recursos assegurando, por exemplo,
que os indicadores e as metodologias de amostragem são comparáveis ao longo do tempo e
reduzindo a duplicação de esforços. Dado que os recursos para a recolha de dados são
limitados, será vantajoso utilizar um número limitado de estudos de alta qualidade em larga
escala, em vez de um número infinito de avaliações para fins específicos, mas que não são
comparáveis.
Dá resposta às necessidades a diferentes níveis, incluindo gestores de programas e
projectos, investigadores e financiadores, eliminando a necessidade de que cada um destes
repita estudos de referência ou de avaliação quando podem facilmente utilizar a informação
existente.
Torna os dados básicos de M&A disponíveis de uma forma transparente e do domínio
público.
7
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
1.2. Diferenças na monitorização e avaliação nos diferentes níveis (local, regional e
nacional)
A monitorização e avaliação são necessárias em todos os níveis, pelas vantagens que oferecem:
Fomentam a coordenação e comunicação entre os diferentes grupos, o que pode originar
um trabalho mais eficiente (através da partilha do planeamento, execução, análise e divulgação
da informação)
Fortalecem o sistema de informação
A M&A ao nível regional dirige-se normalmente para os inputs e outputs dos programas e para a
execução, de modo a avaliar se esta se desenvolve ou não de acordo com o programa regional. A
avaliação dos serviços de saúde, como parte de uma supervisão de rotina, serve para proporcionar
informação sobre a qualidade dos cuidados de saúde ou sobre a disponibilidade e utilização dos
serviços.
Assim como os dados locais são extremamente importantes para a M&A do plano regional, também a
informação regional o é para a M&A do plano nacional, desde que sigam orientações nacionais, de
forma a permitir a combinação uniforme de diferentes tipos de dados e a sua posterior comparação a
níveis de intervenção geo-demográfica diferentes.
O desenvolvimento e fortalecimento dos Sistemas de Informação de Gestão em Saúde são um
pré-requisito para a monitorização dos programas. Existe uma oportunidade de fortalecer a
informação conjunta sobre saúde e sistemas de monitorização. Um SI de gestão em saúde que se
desenvolva de uma forma efectiva, proporciona uma base sólida para avaliar programas, conduz a
um melhor planeamento e facilita a tomada de decisões prioritárias (como, por exemplo, como
afectar novos recursos para obter os melhores resultados).
1.3. Que características deve ter um bom sistema de M&A?
As regiões ou países têm diferentes necessidades em M&A, as quais são condicionadas quer pelo
estadio dos problemas de saúde (por exemplo “carga da doença”, “peso do factor de risco”, entre
outros) quer pela organização dos serviços de saúde. No Quadro 3 podemos ver quais são as
características nas quais deve estar alicerçado um bom sistema de M&A.
8
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
Quadro 3: Características de um bom sistema de M&A6
UNIDADE DE M&A
OBJECTIVOS
CLAROS
INDICADORES
RECOLHA E ANÁLISE DE
DADOS
COMUNICAÇÃO DOS
DADOS
ESTUDOS ESPECIAIS
6
Uma unidade de M&A dentro do Serviço de Saúde Pública deve
possuir pessoal técnico e de gestão de dados designado.
Directrizes e orientações de M&A para os níveis regional e local.
Um orçamento próprio, com valores entre 5 a 10% dos
orçamentos dos programas (7% como média de referência).
Um grupo de trabalho multisectorial para atingir um consenso
sobre a selecção de indicadores, o desenho e a execução da
M&A.
Ter conhecimentos nas áreas de epidemiologia, ciências sociais
e do comportamento, processamento de dados e métodos
estatísticos, comunicação da informação e acompanhamento dos
custos (em termos financeiros).
Programas ou projectos regionais bem definidos com objectivos,
metas e planos operacionais claros. Os planos regionais de M&A
devem ser revistos cada 3-5 anos e os planos operacionais de
M&A devem actualizar-se anualmente.
Revisões/avaliações periódicas do progresso da execução dos
programas comparados com as metas.
Conjunto de indicadores prioritários e indicadores adicionais nos
distintos níveis de vigilância e avaliação.
Indicadores fiáveis, comparáveis a todo o momento e com
metas claras.
Selecção de alguns indicadores-mestre que sejam comparáveis
(a nível nacional e internacional).
Recolha de dados e plano de análise dos mesmos ao nível
regional, incluindo dados de garantia da qualidade.
Existência de um plano para a recolha de dados e análise
periódica dos indicadores.
Existência de um plano de comunicação de dados ao nível
regional, com conjuntos de dados básicos disponíveis de uma
forma oportuna e transparente. A transparência é essencial para
uma responsabilização real.
Informação anual e divulgação apropriada.
Reuniões anuais com os gestores e executores dos programas
para analisar e divulgar os dados de M&A e outros resultados
(eventualmente de investigações realizadas).
Um centro coordenador responsável pela gestão e comunicação
dos resultados.
Uma base de dados centralizada onde se recolhem todos os
dados agregados (incluindo investigações em curso), disponíveis
de forma clara e pública.
Seleccionar prioritariamente estudos de resultado ( outcomes) /
avaliação.
Incluir estudos qualitativos (controlo da qualidade) segundo as
necessidades.
Incluir estudos operacionais de investigação.
Monitoring and Evaluation Toolkit: HIV/AIDS, Tuberculosis, and Malaria, WHO, 2006
9
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
IV. PERGUNTAS MAIS FREQUENTES
1.
O que fornece a M&A de um programa?
Proporciona informação:
aos responsáveis pela gestão de um programa, pela vigilância da doença e a todos os
profissionais que intervêm no controlo da doença;
que fundamente, de forma quantificada, a tomada de decisão;
quanto à manutenção, ou, pelo contrário, à alteração das estratégias de intervenção,
actividades ou da organização de recursos, entre outras…;
sobre os desvios encontrados relativamente aos objectivos traçados ou a outras
medidas estimadas.
2.
Como seleccionar os indicadores (a partir de uma lista básica)?
Ao decidirmos por um conjunto de indicadores, não significa que se fique limitado a esta lista básica
de indicadores. A escolha dos indicadores deve ser orientada pelas metas e objectivos do programa
ou projecto. Quando os indicadores respondem às necessidades, recomenda-se que sejam estes os
utilizados para assegurar uma estandardização da informação ao longo do tempo e comparável a
vários níveis.
Os indicadores-mestre devem ser experimentados e testados de forma a ver se fornecem informação
útil e válida. A M&A deve ser simplificada e reportar apenas a um conjunto mínimo e estandardizado
de indicadores.
Apresenta-se, de seguida, um conjunto de princípios orientadores para eleger o conjunto mais
adequado de indicadores e de instrumentos para a recolha de dados:
Utilizar um quadro conceptual de M&A que permita obter uma interpretação correcta dos
resultados.
Assegurar que os indicadores estão relacionados com as metas e objectivos e que possam
medir as mudanças ao longo do programa.
Assegurar a utilização de indicadores-mestre, sempre que possível, com a finalidade de
efectuar comparações ao longo do tempo e entre grupos populacionais.
Assegurar que os indicadores se referem às actividades definidas, as quais são
identificadas
pelo programa. Tentar
definir
uma
carteira
básica
de
actividades
proporcionada pelo programa e pelos grupos alvo.
Considerar os custos e a fiabilidade da recolha dos dados e a análise dos mesmos.
Manter o número de indicadores no valor mínimo necessário, com referência específica ao
nível do sistema que os requer, (regional ou local), para a sua utilização na tomada de
decisão de gestão e planeamento.
10
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
Mais tarde, podem sempre identificar-se ou colher-se indicadores adicionais para a gestão do
programa ou projecto.
Para relatórios internacionais recomenda-se um número mínimo de indicadores-mestre, comparáveis
internacionalmente. Não necessitam reflectir as etapas iniciais como, por exemplo, recursos e
processo, mas sim focalizar-se nos resultados directos (outputs) e indirectos (outcomes) alcançados
através dos serviços proporcionados.
3.
O planeamento da recolha de dados requer estratégias diferentes para
indicadores diferentes?
Os custos, dificuldades e a capacidade para recolher informação vão, normalmente, crescendo à
medida que os indicadores passam de indicadores de estrutura ( inputs) para indicadores de resultado
(outputs) e, por fim, de impacto. É conveniente que a recolha de dados para construir estes
indicadores se desenvolva de forma centralizada, através de sistemas de informação de saúde de
rotina, sempre que estes existam, e sejam funcionais.
Os gestores dos programas devem aproveitar para, aquando do financiamento, fortalecer os
sistemas de vigilância e informação em saúde de forma a terem acesso à informação necessária
sobre os programas de saúde em curso.
Para além disso, se os programas ou projectos estabelecem os seus próprios componentes de M&A,
uma das primeiras etapas será a sinergia com outros projectos que se realizam na mesma área
geográfica, de forma a reduzir sobreposições de sistemas de informação paralelos e a rentabilizar
dados que sejam comuns, software e indicadores (sempre que tal seja possível).
Para muitos indicadores de outcome e impacto, os dados recolhem-se a partir de uma base
populacional, com custos mais elevados e com maior dificuldade, requerendo maiores conhecimentos
em metodologia de investigação. As medidas de outcome são, geralmente, mais difíceis devido à
sensibilidade e especificidade de cada indicador. No entanto, os programas podem aproveitar os
inquéritos em curso ou outros sistemas de informação já implementados.
4.
Que parte do orçamento total do programa deve destinar-se à M&A?
É necessário um sistema de M&A para garantir que os recursos estão a ser bem utilizados. Por isso,
recomenda-se que seja utilizado para a M&A entre 5 a 10% do orçamento do programa (aceita-se,
normalmente, 7%).
Os financiadores são cada vez mais da opinião de que a M&A deve ter um financiamento
próprio, de forma a garantir que a informação relacionada com o programa ou projecto possa ser
recolhida, divulgada e utilizada permitindo, assim, o desenvolvimento de sistemas coerentes e não
apenas de iniciativas pontuais.
11
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
5.
Como optimizar a utilização de dados?
O objectivo final da recolha de dados é garantir que, rapidamente, a informação seja incluída no
processo de tomada de decisão. A informação é uma ferramenta muito poderosa para a advocacia
da saúde, no sentido de fomentar acções, gerar recursos, responsabilizar, melhorar o desenho dos
programas e incorporar mudanças em determinadas intervenções ou, ainda, para reorientar os
programas. Com base nas lições de aprendizagem dos últimos anos, os passos que a seguir se
destacam vão ajudar na optimização da informação:
Produzir informação de qualidade. Isto requer investimentos importantes no processo de
recolha de dados;
Avaliar como os dados vão ser utilizados e dispor deles de uma forma ágil e transparente;
Identificar quem são os utilizadores finais e apresentar o pacote de dados segundo as
necessidades, incidindo num número mínimo de indicadores para cada nível;
Criar mecanismos para que o sistema de utilização de dados seja eficiente, incluindo feed-back
(através de supervisão) a todos os níveis, e com a certeza de que os dados fornecidos num
determinado nível são pertinentes e necessários a esse nível;
Garantir a gestão no processo de recolha de dados, querendo isto significar que devem ser
fortalecidas as capacidades regionais e locais de M&A, a fim de garantir a uniformidade e
qualidade dos dados dentro de uma matriz sustentável;
Assegurar a criação de um grupo de apoio de M&A com a presença dos principais parceiros
(unidade funcionais dos ACES, departamentos da ARS, outras instituições, sociedade civil, etc.),
de forma a melhorar a aceitabilidade dos dados, a fim de orientar estratégias regionais de M&A;
Alocar os recursos suficientes para o desenvolvimento e execução de um plano de utilização de
dados;
Assegurar que os dados se utilizem tão amplamente quanto possível, estejam disponíveis de
forma transparente e sejam do domínio público.
6.
Que lições aprendemos com os sistemas de M&A de sucesso?
Para se obter sustentabilidade num sistema de M&A, o mais importante é que os dados sejam usados
nas decisões de gestão e de financiamento.
Lista de ensinamentos-chave:
Os sistemas de M&A devem ser o mais simples possível. A maioria dos programas e projectos
obtêm muito mais dados do que aqueles que utilizam. Quanto mais complexo for o sistema de
12
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
M&A, maior a probabilidade de fracasso. É importante que os dados sejam utilizados na tomada
de decisão.
Os sistemas de M&A devem incluir um conjunto standard de ferramentas para a recolha e
análise dos dados. A necessidade de um conjunto básico de ferramentas não impede que
os responsáveis dos programas recolham dados adicionais de M&A referidos a situações
específicas.
Um bom processo de M&A requer uma auto-avaliação interna e uma verificação externa.
Não obstante os executores terem o dever de recolher e verificar a sua própria informação,
deve existir um organismo externo que verifique a precisão e a integridade da informação
recolhida pelos executores do programa. A supervisão deve basear-se na análise da autoavaliação (interna) e nos dados submetidos à avaliação externa.
A recolha, validação, introdução e análise dos dados básicos de M&A deve ser feita por uma
entidade especializada.
A M&A deve estar pensada desde o início do desenho dos programas e estar integrada
desde o início do mesmo. É muito mais difícil e menos eficaz adaptar a M&A quando o processo
já está em execução.
Os dados regionais são importantes para a recolha de dados a nível nacional, já que podem ser
agregados até este nível. Não obstante, para os gestores dos programas os dados regionais
têm uma importãncia maior na tomada diária de decisões.
Os dados devem estar disponíveis de uma forma clara e transparente e, sempre que
possível, ser do domínio público. A M&A deve promover a utilização destes dados. Por muito
sólido que seja um sistema de M&A, tem de existir uma forte aceitação por todas as partes
interessadas, senão o sistema está votado ao fracasso.
7.
Como simplificar a M&A e o fornecimento de informação para os
financiadores?
Nos planos local e regional existem vários sistemas e mecanismos de recolha de dados de forma a
serem distribuídos fluxos de recursos que permitem alimentar a gestão diária dos programas e
projectos. Os financiadores interessam-se, normalmente, por um pequeno número de indicadores, a
ponta do iceberg, para garantir que os programas abrangem as pessoas que deles necessitam através
dos serviços específicos. De uma maneira geral, os financiadores devem ter informação sobre
poucos indicadores para cada área de prestação de serviços, para mostrar, por exemplo, o número
de pessoas abrangidas pelo programa, o número de serviços apoiados ou o número de pessoas que
receberam formação. O financiamento baseado no desempenho centra-se normalmente em 5 a
10 indicadores, com informação recolhida de um total de 15 indicadores.
13
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
A avaliação do desempenho permite, não só, assegurar que o financiamento está a ser correctamente
utilizado, mas também fornecer uma plataforma para os diferentes programas comunicarem
evidência sobre o seu progresso, interna e externamente, e manter a sustentabilidade do
financiamento (fundamentar a sua continuação).
Os indicadores a fornecer aos financiadores devem ser um conjunto simplificado, dentro dos
indicadores presentes no plano global de monitorização e avaliação.
V.
CONCLUSÕES
Os termos de referência sobre monitorização e avaliação dos programas e projectos de saúde aqui
apresentados pretendem ser uma primeira abordagem ao tema, que irá permitir, a curto prazo, uma
redefinição e agregação dos indicadores do desenvolvimento dos programas em curso nos serviços de
saúde pública ao nível local e regional, com a perspectiva de alargamento aos novos programas que
entretanto se forem desenvolvendo. Para apoio aos gestores e executores dos programas e projectos
existe, como complemento a este documento, um Guia do Utilizador para a M&A dos programas de
saúde, onde são delineadas as etapas para a sua construção.
O objectivo final de uma ferramenta de M&A é contribuir para o uso mais eficaz da informação e
dos recursos e dar resposta às necessidades de informação nos diferentes níveis de utilização.
A informação regular sobre a população abrangida, os serviços reforçados e os profissionais
capacitados nas suas actividades, vão contribuir para que as populações sejam servidas por serviços
de qualidade. A médio prazo deve ser garantida e execução de uma avaliação de impacto e de
mudança de comportamentos, assim como a existência de conhecimento sobre que percentagens os
grupos-alvo irão ser abrangidos pelos serviços.
Com uma ferramenta de M&A os gestores ficam capacitados para participar na definição de um
sistema de informação que lhes permita obter indicadores para um planeamento e uma avaliação
eficazes, assim como adquirir as bases de um instrumento de negociação e contratualização
dos serviços a desenvolver.
14
Monitorização e Avaliação dos Programas de Saúde - Termos de Referência
Bibliografia
[1] A guide to monitoring and evaluation for collaborative TB/HIV activities – Stop TB Department
and Department of HIV/AIDS, WHO, 2004
[2] Compendium of Indicators for Monitoring and Evaluation National Tuberculosis Programs – WHO,
2004
[3] Development of Health Programme Evaluation: report by the Director-General – Geneva, WHO,
1978
[4] Global Fund –Monitoring and Evaluation Manual - The Global Fund to Fight AIDS, Tuberculosis
and Malaria, 2008
[5] Global Fund –Monitoring and Evaluation Toolkit – HIV/AIDS, Tuberculosis and Malaria, 2006
[6] Imperatori, E. – mais de 1001 Conceitos para melhorar a qualidade dos Serviços de saúde –
Glossário, 1999
[7] Imperatori, E. ; Giraldes, M.R. – Metodologia do planeamento em saúde – manual para uso em
serviços centrais, regionais e locais, 1993
[8] MNE, Ministério dos Negócios Estrangeiros – Glossário de Avaliação e de Gestão centrada nos
resultados, Instituto de Cooperação Portuguesa
[9] NHS, Health Scotland – Leap for Health – Learning, Evaluation and Planning, 2003
[10] Orme,J.; Powell,J.; Taylor,P. and Gray,M. – Public health for the 21st century – New perspectives
on Policy, Participation and practice, 2003
[11] Organization Panamericana de la Salud – Manual de Monitoreo de la Ejecución de Proyectos –
Oficina Regional da OMS, 1999
[12] Rossi P., Freeman H. – Evaluation: a systematic approach. Newbury Park, CA, Sage publications,
1993
[13] Parvanta,I. – Food Fortification Programs: Monitoring Framework – CDC, 2004
[14] Pineault,R.; Daveluy,C. – La Planificacion Sanitaria, Conceptos, Metodos, Estratégias – Masson,
1989
[15] Sullivan, T.M.; Strachan, M.; Timmons,B.K. –Guide to Monitoring and Evaluating Health
Information, Products and Services
[16] The Good Indicators Guide: Understanding how to use and choose indicators – NHS – Institute
for Innovation and Improvement, 2008
[17] USAID – Performance Monitoring and Evaluation – TIPS, 1996
15