FUNDAÇÃO OSWALDO CRUZ
VICE-PRESIDÊNCIA DE DESENVOLVIMENTO INSTITUCIONAL, INFORMAÇÃO E COMUNICAÇÃO
DIRETORIA DE PLANEJAMENTO ESTRATÉGICO
COORDENAÇÃO DE MONITORAMENTO, AVALIAÇÃO E CONTROLE
INSTITUCIONALIZAÇÃO DA POLÍTICA DE
MONITORAMENTO E AVALIAÇÃO DO DESEMPENHO
DA FIOCRUZ
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Monitoramento e avaliação no âmbito da Fiocruz
Monitoramento: Processo de acompanhar de modo sistemático e
contínuo todos os componentes do plano estratégico durante a
sua implementação, através do manejo de informações de
forma ágil e oportuna.
Avaliação: Implica em realizar um julgamento de valor a respeito
da implementação do plano estratégico da Fiocruz (PPA
Fiocruz), em termos de eficácia, eficiência e efetividade, com o
objetivo de fundamentar e alimentar o processo de tomada de
decisão do controle do plano.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Importância do monitoramento e avaliação
1. MELHORIA DO PROCESSO DECISÓRIO
• Cumpre os compromissos assumidos sobre os objetivos e metas?
• Quais as causas do êxito ou do fracasso das ações realizadas?
• É necessário modificar os objetivos e metas estabelecidos?
• Há necessidade de ações corretivas para melhorar a eficácia,
eficiência e efetividade
• Qual o impacto dos resultados sobre a saúde da população e o
sistema social e econômico?
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Importância do monitoramento e avaliação
TRANSPARÊNCIA E VISIBILIDADE.
PRESTAÇÃO DE CONTAS:
• Corpos deliberativos internos (Congresso Interno, CD, etc.)
• Órgãos de Planejamento (MS, MP, MEC, MCT)
• Órgãos de Cooperação Financeira (CNPq, FINEPE, outros)
• Controle Social (CNS, etc.)
• Órgãos de Controle Externo (TCU)
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Diretrizes do sistema de monitoramento e avaliação
1º) Toda informação gerada deve servir para tomada de
decisão.
2º) O sistema de monitoramento e avaliação não é para
“avaliadores” ou “planejadores”; só há avaliação
consistente com o envolvimento dos gestores, em todos os
níveis de execução.
3º) Não há monitoramento e avaliação sem plano.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Planejamento, monitoramento e avaliação na Fiocruz
MEGAOBJETIVOS
DESAFIOS
DIRETRIZES
PLANO NACIONAL DE SAÚDE – PNS
OBJETIVOS SETORIAIS
PROGRAMAS DO MS
PLANO QUADRIENAL
PPA FIOCRUZ
SISTEMA DE MONITORAMENTO,
AVALIAÇÃO E CONTROLE
PLANO ORÇAMENTÁRIO
ANUAL
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Desafios para institucionalização do sistema de
monitoramento e avaliação
1. Exigência de um modelo teórico que explicite
como se espera que o programa exerça sua
influência ;
2. Exigência de dispositivos institucionais que
estruturem o processo de monitoramento e
avaliação, garantindo a qualidade e a validade deste
processo.
(Hartz, 1999)
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Desafios metodológicos e político-institucionais
na Fiocruz
• Definição de critérios e parâmetros de avaliação que dêem conta da
complexidade da Fiocruz.
• Conhecimento do grau de implementação das ações do PPA
previamente (“Baseline”)
• Integração das diferentes Unidades da Fiocruz para compor um olhar
global sobre o desempenho das ações do PPA Fiocruz
• Necessidade de envolvimento institucional para tornar a avaliação
válida (risco de avaliações externas não internalizadas).
• Superar a lógica da prestação de contas com base exclusiva na
“produtividade”.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Tabela 1 - Demonstrativo da execução física da Fiocruz 2002
% alcance
Metas 2002**
2002
2001
Publicação indexada
722
724
82
Publicação não indexada
162
238
60
Autoria de livro
26
16
74
Capítulo de livro
90
56
40
Conferência em eventos científicos
641
390
74
Patentes concedidas
4
6
50
Produto
* Fonte: Relatórios de gestão 2001 e 2002
** Percentuais fictícios
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Modelo lógico dos programas do PPA Fiocruz
Reconstituir a lógica dos programas permite rever os laços
estabelecidos entre os elementos implicados na formulação
do Plano Estratégico, desde o desafio ou situação-problema
a ser resolvida, até os resultados esperados com as ações.
Permite pensar as informações e indicadores necessários
para monitorar e avaliar os elementos que constituem o
Plano Estratégico.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Modelo lógico do programa C&T em Saúde
Situação
problema
Componentes
(Ações do PPA)
Objetivos de curto/
médio prazos
Produtos
Inadequação tecnológica; dependência de importação; preços elevados; baixa oferta à população;
afastamento entre a temática das pesquisas e as necessidades de saúde da pop.; carência de
atividades de pesquisa...
DTIS
Colocar novos insumos
de saúde no mercado...
Fármacos, reagentes,
vacinas desenvolvidos...
Indicadores
eficácia
% de produtos colocados no
mercado em relação ao total
de projetos executados
Indicadores
eficiência
Custo por produto
Pesquisas clínicas, epidemiológicas...
Ampliar o conhecimento sobre o processo
saúde-doença-intervenção
Pesquisas realizadas,
pesquisas publicadas...
% de pesquisas publicadas
em relação ao programado
Custo médio por pesquisa
realizada
Resultados
esperados
Redução da dependência externa; aumento do acesso da população a bens/
produtos de saúde; maior articulação entre as pesquisas realizadas e os problemas
de saúde da população...
Indicadores
efetividade
Índice de substituição
importações
de insumos/produtos de saúde
DIPLAN de
- III
Coletivo de
% pesquisas publicadas
consonância com a Agenda Nacional de PS
Dirigentesem
- 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Fontes e fluxos de informação
Níveis/Espaços de discussão/decisão
Incentivos ao desempenho
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Programa: Educação permanente e qualificação profissional para o SUS
Ação: Formação de Recursos Humanos em Educação Profissional e de Pós-Graduação
Stricto e Lato Senso, em saúde
Macroprocesso
Produtos
Realização de cursos de
pós-graduação stricto
sensu
1-Curso oferecido
2- Egresso
Subprodutos
-Cursos de Mestrado acadêmico
-Cursos de Mestrado profissionalizante
-Cursos de Doutorado
-Egresso de Mestrado acadêmico
-Egresso de Mestrado profissionalizante
-Egresso de Doutorado
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Programa: Ciência e Tecnologia em Saúde
Ação: Pesquisas clínicas, epidemiológicas e em ciências biológicas, humanas e sociais
aplicadas à saúde
Macroprocesso
Elaboração, realização e
avaliação de projetos de
pesquisa
Produtos
1-Projeto
submetido a
avaliação
2-Pesquisa
Realizada
3-Publicações
Subprodutos
-Projeto
-Projeto
-Projeto
-Projeto
-Projeto
-Projeto
submetido a avaliação interna
submetido a avaliação externa nacional
submetido a avaliação externa internacional
aprovado
aprovado nacional
aprovado internacional
-Etapa de pesquisa concluída por linha de pesquisa
-Pesquisa realizada por linha de pesquisa
-Publicação
-Publicação
-Publicação
-Publicação
-Publicação
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
em revista indexada
em revista não indexada
em anais de congressos, etc
em livro
na WEB
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Programa: Atenção Especializada em Saúde
Ação: Atenção de referência a gestantes de alto risco, crianças e adolescentes com
patologias de alta complexidade e a portadores de doenças infecciosas
Macroprocesso
Atendimento ambulatorial
Produtos
1-Procedimento
ambulatorial
realizado
2-Paciente atendido
em nível ambulatorial
Subprodutos
-Consulta amb. realizada por médico
-Consulta amb. realizada p/ outro prof.
-Exame realizado
-Atividade de grupo realizada
-Criança e adolescente atendidos
-Mulher atendida
-Gestante de alto risco atendida
-Portador de doença infecciosa atendida
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Programa: Ciência e Tecnologia em Saúde
Ação: Desenvolvimento Tecnológico em Saúde Pública
Macroprocesso
Elaboração, realização e
avaliação de projetos de
DTSP
Produtos
Processo/ método
de saúde pública
desenvolvido
Patente
Subprodutos
-Etapa de desenv. de método de
análise de produto desenvolvida
-Etapa de desenv. de protocolo clínico
desenvolvido
-Tecnologia em Educação e Saúde
desenvolvida
-Patente depositada
-Patente aprovada
-Produto patenteado
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Indicadores: São formas de representação mensurável de
características de estruturas, resultados, processos ou
impactos, utilizados para acompanhar e avaliar uma ação
estratégica ao longo do tempo.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores da Eficácia: Medem o grau de alcance das metas
programadas, em um determinado período de tempo,
independentemente dos custos/impactos implicados. Estes
indicadores expressam, em geral, a quantidade absoluta ou
relativa (%) da meta atingida.
% de produtos/ insumos tecnológicos produzidos em
relação ao número de projetos submetidos a avaliação
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores de Eficiência: Medem a proporção de recursos
consumidos com relação às saídas dos processos (produtos).
Em geral, contrapõem recursos utilizados e resultados obtidos.
Os indicadores de eficiência são geralmente expressos como
custo/eficácia ou custo/benefício.
Custo médio por produto
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores de Efetividade: Objetivam medir o grau de modificação
da situação-problema (desafio) que deu origem à ação
estratégica.
% de egressos do curso técnico profissionalizante que se
inseriram no mercado de trabalho no primeiro ano
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Parâmetros:
Levarão em conta:
•Metas do Governo;
•comparação com padrões de referência internacionais;
•comparação com padrões de referência nacionais;
•metas definidas internamente pela Fiocruz;
•desempenho anterior.
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Fontes e fluxos de informação
• Sistema Integrado de Informação Gerencial (SIIG)
• Fiolattes
• SIGA
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Níveis/Espaços de discussão/decisão
• Departamentos
• Unidades
• Diretoria Executiva
• Presidência/ CD
• Congresso Interno
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Níveis/Espaços de processamento de informações
• Analistas subsetoriais Diplan
• Sistema de Planejamento
• Coordenadores de Ação
• Câmaras Técnicas
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do
Sistema de Monitoramento e Avaliação na Fiocruz
Incentivos ao desempenho
•Prêmio Fiocruz de Excelência em Gestão Institucional
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004
O desafio do monitoramento e avaliação...
As coisas são o que parecem ser;
Ou não são e nem parecem ser;
Ou são e não parecem ser;
Ou não são e mesmo assim parecem ser.
Identificar esses casos
É a tarefa do homem sábio
* Epictetus II DC, apud Fletcher et al. Epidemiologia Clínica, 1989
DIPLAN - III Coletivo de
Dirigentes - 30/09/2004