Aplicação do modelo EGIPSS às
metas estratégicas do Departamento
de DST, Aids e Hepatites Virais
Seminário "Avaliação para a melhoria do Sistema Público de Saúde:
Perspectivas e Controvérsias“
ENSP/DENSP
06/12/2012
Central de Monitoramento e
Avaliação – CM&A
Equipe
Ruy Burgos
Ana Roberta Pascom
Elizabeth M Santos
Marcela R Arruda
Thiago Amorim
Artur Sousa
Juliana Givisiez
CM&A e avaliação de desempenho
• Necessidade de fortalecimento das estratégias de
gestão eficiente e efetiva dos recursos públicos com
necessidade de melhores resultados
• A redução de padrões e parâmetros de sucesso a
alcance de metas estáticas com excessivo foco nos
componentes técnicos
• Descompasso entre as abordagens e modelos de
avaliação e as concepções do avaliando (dispositivo de
normatização, sistema, rede)
• Ênfase nas teorias de causação em detrimento das
teorias de ação transformadora
Objetivo
Aplicar o modelo EGIPSS para avaliação do
desempenho das metas estratégicas do
Departamento de DST, Aids e Hepatites Virais
Metodologia I
•
•
•
Revisão sistemática da literatura explorando a
capacidade
avaliativa
dos
modelos
de
desempenho
Definiu-se a capacidade avaliativa como a
possibilidade dos modelos de descrever, explicar e
julgar os domínios do avaliando, ou seja, a sua
potência em modificar o problema (controle de
riscos e danos), seus modos de funcionamento
(produção, qualidade técnica e custo) e a sua
interface interativa com os usuários
Identificou-se o EGIPSS como o modelo com
maior potência avaliativa
Metodologia II
• Procedeu-se a classificação das estratégias,
marcos intermediários, metas e indicadores do
planejamento do DDAHV para o ano de 2012
de acordo com os domínios e alinhamentos
previstos no modelo
• Realizou-se ainda a análise estratégica
(documento) a análise lógica e a apreciação
normativa, caracterizando-se a implementação
e alcance do proposto para cada meta
Modelo EGIPSS
Análise estratégica: Questões
1. Quais são os problemas prioritários a serem
resolvidos no período proposto?
2. Existe um modelo causal que ligue as
intervenções e a resolução do problema? Existe
uma priorização das causas a serem modificadas
considerando a governabilidade?
3. A população que a intervenção visa é realmente
aquela que sofre os efeitos do problema? Ela é
numericamente delimitada?
4. O Plano especifica os parceiros levando em conta
o ambiente estratégico, político e institucional da
intervenção?
Análise lógica: Questões
1. Existe uma modelização das intervenções?
2. Quais lacunas foram identificadas a partir do processo
de modelização?
3. As atividades são tecnicamente suficientes e aplicáveis?
4. As ações e os recursos foram coordenados e alocados
conforme as necessidades das atividades?
5. Como foram desenvolvidos os modelos lógicos das
atividades? As barreiras e facilitadores foram
identificados?
Análise de produção e implementação:
Questões
1. Estamos executando o planejado?
2. Os insumos estão disponíveis para produção de
atividades no momento oportuno, em quantidade e
com a qualidade necessárias?
3. As atividades são coordenadas, seguem padrões de
boas práticas e respondem as necessidades técnicas
dos usuários?
4. As atividades se acomodam as necessidades
“humanas”dos usuários?
RESULTADOS
Análise Estratégica
1. O Documento não contem a metodologia de
elaboração e não há referencia a critérios de
priorização de problemas ou de causas a serem
resolvidos no período proposto
2. As metas estratégicas incorporadas ao documento
expressam as relações com parceiros e não
necessariamente aquelas específicas do Departameto
Análise Estratégica
Quadro 1. Distribuição das atividades segundo domínios e alinhamentos
Domínios
Alcance de objetivos e
metas e produção e
coordenação
Adaptação e manutenção e
criação de valores
Adaptação e produção e
coordenação
Adaptação e alcance de
objetivos e metas
Manutenção e criação de
valores e alcance de
objetivos e metas
Total
Alinhamentos
AIDS-SUS
Agenda
Estratégica
Outros
Total
Tático
32
31
7
70
Contextual
2
5
9
16
Alocativo
10
4
0
14
Estratégico
24
0
1
25
Legitimação
0
8
0
8
68
48
17
133
Classificação dos marcos intermediários
por domínio e alinhamento
Marco intermediário
Testes rápido para HIV
adquiridos e
distribuídos.
Multiplicadores em
testagem rápida
capacitados.
Populações vulneráveis
de capitais com acesso
à testagem ampliado.
Acesso à testagem pela
população em geral
ampliado.
Capital das regiões sul e
sudeste com pelo
menos um CTA de
Referência para
atendimento para as
populações HSH e
travesti estabelecidas
Domínio
Produção e
coordenação e alcance
de objetivo
Manutenção e criação
de valores e alcance de
objetivo
Adaptação e produção
Manutenção e criação
de valores e alcance de
objetivo
Alinhamento
Desfecho de sucesso
tático
Convergência entre
aquisição, distribuição e
dispensação
legitimação
Convergência entre
missão e estratégia
específica para
população alvo
alocativo
Consistência entre
metas, plano de
implementação e
execução financeira
legitimação
Convergência entre
missão e estratégia
específica para
população alvo
Análise Estratégica
1. Metas referem-se aos domínios de adequação,
produção/ coordenação e alcance de objetivos
(alinhamentos estratégicos e táticos)
2. Destaca-se a pouca relevância dada a
legitimação, alocação e alinhamento contextual
3. Não há uma meta sequer para o alinhamento
operacional (Valores e Produção/coordenação)
Análise Lógica
• Intervenções são propostas sem modelização
• As metas não se integram entre si e não
espelham o conjunto das atividades do
Departamento
• Tratadas isoladamente as metas evidenciam
ausência de marcos intermediários chaves
Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids.
Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo
para a melhoria da qualidade de vida.
Objetivo estratégico
Redução do diagnóstico tardio de HIV/aids
Metas
Reduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200))
Marco intermediário
Testes rápido para HIV
adquiridos e distribuídos.
(Milhões)
Indicadores de produção
•Número de convênio com os
produtores nacionais em
execução acompanhados.
•Número de testes rápidos
para os estados distribuídos
conforme demanda.
•Número de testes rápido
distribuídos para as capitais
de forma descentralizada
conforme demanda.
•Monitoramento da
distribuição de testes rápidos
aos Estados.
Marco intermediário
Multiplicadores em testagem
rápida capacitados.
Indicadores de produção
•Número (460) de
multiplicadores em TR e
Aconselhamento para Atenção
Básica capacitados.
Projeto pedagógico de educação
permanente para teste rápido e
aconselhamento nas 27 UF
elaborado.
Manual de Implicações Éticas
em Aconselhamento revisado.
Número de profissionais da rede
capacitados por meio do EaD em
Aconselhamento.
Marco intermediário
Populações vulneráveis de
capitais com acesso à
testagem ampliado.
Indicadores de produção
•Número (4 para 12 capitais)
da estratégia de testagem
"Quero Fazer" ampliado.
Portaria de serviços e
fortalecimento dos CTA
localizados nas capitais
publicada.
Edital de serviços para
adequação de estrutura e ações
extramuro em CTA elaborado
conforme Portaria.
Marco intermediário
Acesso à testagem
pela população em
geral ampliado.
Indicadores de produção
•Estratégia de testagem
"Fique Sabendo"
ampliada.
Marco intermediário
Capital das regiões sul e
sudeste com pelo menos um
CTA de Referência para
atendimento para as
populações HSH e travesti
estabelecidas
Indicadores de produção
Estratégia para validação da
proposta de programa de
promoção e atenção à saúde para
HSH e Travestis soronegativas
pelos Coordenadores de DST/Aids
de estados e capitais apresentado.
Protocolos para abordagem à
populações vulneráveis elaborado.
Linhas de cuidado para
populações vulneráveis
elaboradas.
TELELAB atualizado e
ampliado
Necessidade de adequação da
estrutura dos CTA identificada.
Número de manuais de
utilização de testes rápidos para
HIV elaborado e atualizado.
Monitoramento e Avaliação.
Indicador de resultado
Nº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.
Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids.
Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo
para a melhoria da qualidade de vida.
Objetivo estratégico
Redução do diagnóstico tardio de HIV/aids
Metas
Reduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200))
Marco intermediário
Testes CD4 adquiridos e
distribuídos. (Milhões)
Marco intermediário
Recursos humanos a
capacitados.
Indicadores de produção
Indicadores de produção
•Número de teste de CD4
adquiridos
•Número de teste CD4
distribuídos para estados e
capitais
•Proporção de estados e
capitais com
desabastecimento de teste de
CD4
•Número de laboratórios com
técnicos capacitadas na testagem
CD4
•Número de capacitações na
testagem CD4 realizadas
•. Número de técnicos
capacitados na testagem CD4
Marco intermediário
Redes laboratorial de
capitais implementadas
Indicadores de produção
• Aumento na oferta de
serviços de testagem de
CD4
Marco intermediário
Acesso ampliados à
testagem de CD4 para
pessoas com resultado
positivo para HIV/aids
Marco intermediário
Monitoramento de aquisição,
distribuição e qualidade dos
lotes
Indicadores de produção
Indicadores de produção
• Aumento do grau de
sensibilização da
população sobre a
testagem de CD4
• Aumento do grau de
conhecimento da
população sobre o
local e funcionamento
dos serviços que
realizam a testagem
• Número de CD4
realizados
• Aumento da cobertura
de testagem de CD4
• Aquisição e distribuição de
testes CD4 monitorados
• Número de lotes de testes
adquiridos com qualidade
verificada
• Proporção de teste de CD4 com
data de validade vencida
Indicador de resultado
Nº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.
Análise de produção e
implementação:
Meta: Diagnóstico tardio da infecção pelo HIV
reduzido em 10%
Marco Intermediário
Atividades
Realização da
atividade
Acompanhamento da execução do convênio com os produtores
nacionais
Sim
Distribuição de TR para os Estados conforme demanda
Sim
Descentralização do TR para as capitais conforme demanda
Não
Monitoramento da distribuição de testes rápidos aos Estados
Sim
Capacitar 460 multiplicadores em TR e aconselhamento para
Atenção Básica
Sim
Elaboração de projeto pedagógico de educação permanente
para teste rápido e aconselhamento nas 27 UF
Sim
Revisão do Manual de Implicações Éticas em Aconselhamento
Não
Capacitação de profissionais da rede através do EaD em
Aconselhamento
Não
Atualização e ampliação do TELELAB
Sim
Elaboração e atualização de manuais de utilização de testes
rápidos para HIV
Sim
Teste rápido para HIV adquiridos e distribuídos
Multiplicadores em testagem rápida capacitados
Meta: Diagnóstico tardio da infecção pelo HIV
reduzido em 10%
Marco Intermediário
Capitais com acesso à testagem pelas populações
vulneráveis ampliada
Acesso à testagem pela população geral ampliado
Atividades
Realização da
atividade
Ampliação da estratégia de testagem quero fazer de 4
para 12 capitais
Não
Publicação da Portaria de serviços e fortalecimento dos
CTA localizados nas capitais
Não
Elaboração de edital de serviços para adequação de
estrutura e ações extramuro em CTA conforme Portaria
Não
Ampliação da estratégia de testagem “Fique sabendo”
Sim
Apresentação da estratégia para validação da proposta
de programa de promoção e atenção à saúde para HSH
e Travestis soronegativos pelos Coordenadores de
DST/Aids de estados e capitais
Não
Capitais das regiões sul e sudeste com pelo menos um
Elaboração de protocolos para abordagem a populações
CTA de referência para atendimento para as populações
vulneráveis
HSH e travesti estabelecidas
Elaboração das linhas de cuidado para populações
vulneráveis
Não
Não
Identificar necessidade de adequação da estrutura dos
CTA
Sim
Monitoramento e Avaliação
Não
Meta: Diagnóstico tardio da infecção pelo HIV
reduzido em 10%
Percentual de alcance da meta: 107%
Previsto
31%
Alcançado
29%
Grau de implementação das atividades: 47,4%
Meta: Diagnóstico tardio da infecção pelo HIV
reduzido em 10%
Barreiras:
•
Falta do insumo e/ou produção intermitente
•
Baixa coordenação entre aquisição e distribuição (estados/capitais)
•
Diversidade e baixa qualidade no controle logístico incluindo monitoramento das
perdas
•
Rotatividade de profissionais
•
Capacitação pouco adequada às necessidades específicas do sistema
•
Baixa cultura de monitoramento como ferramenta de gestão
•
Lentidão dos processos de liberação/certificação de teste de CD4
•
Baixo follow-up de HIV positivos referenciados para testagem de CD4
•
Falta do protocolo de atividades do “Fique Sabendo”
•
Capacitação pouco adequada às necessidades específicas da estratégia “Quero
Fazer”
•
Baixa conexão das comunidades gays e travestis com os serviços de saúdes locais
•
Baixa sustentabilidade das ONG
Recomendações:
•
Monitoramento da produção de insumos para prever possíveis desabastecimentos
•
Assessoria direta do Departamento junto aos estados para fomentar o ajuste entre as
necessidades de aquisição e distribuição
•
Aperfeiçoamento do controle logístico
•
Adequação das capacitações as necessidades específicas do sistema
Grau de alcance das metas por área do DDAHV
segundo PME-2012
Coordenação
Cuidado e Qualidade
de Vida (CQV)
Direitos Humanos,
Risco e
Vulnerabilidade
(DHRV)
Sustentabilidade,
Gestão e Cooperação
(SGC)
Total
Meta proposta
Meta
informada
Meta
executada
Alcance (%)
17
0
-
-
60
41
24
58,5
56
56
21
37,5
133
97
45
46,4
Análise de produção e implementação
• O instrumento de monitoramento se restringia
às atividades das metas propostas e era de fácil
preenchimento (sim ou não), ainda assim 28%
delas não foram preenchidas
• O grau de implementação das metas
estratégicas foi de 46,4%, considerado
insatisfatório
Considerações Finais
• A análise estratégica evidencia consistência
parcial, a análise lógica e a caracterização dos
mecanismos
de
implementação
sugerem
inconsistências para execução das estratégias
• Essas evidências podem estar relacionadas à
ênfase dada à gestão por resultados no âmbito
federal, coerente a uma estratégia de
implementação de dispositivos de normatização,
contraposta ao planejamento estratégico sistêmico
Obrigada!
[email protected]
Tel: (61) 3315-8930