UNIVERSIDADE FEDERAL DA BAHIA INSTITUTO DE SAÚDE COLETIVA - UFBA Departamento Saúde Coletiva I AVALIAÇÃO: CONCEITOS BÁSICOS E INSTITUCIONALIZAÇÃO Brasil, 2007 AVALIAÇÃO – PRINCIPAIS DEFINIÇÕES É a determinação do esforço, mérito ou valor de algo. (Joint Committee on Standards , 1994; Scriven, 1991); É a aplicação sistemática de métodos e técnicas oriundas da pesquisa social para aferir programas de intervenção social (Rossi & Freeman, 2004); É a coleta sistemática de informações sobre as atividades, características e produtos dos programas para fazer julgamentos sobre o programa, melhorar a efetividade do mesmo e ou informar decisões sobre futuras programações (Patton, 1997); É o julgamento que se faz sobre uma intervenção ou sobre qualquer dos seus componentes com o objetivo de auxiliar na tomada de decisões. (Contandriopoulos , 2000). (Vieira da Silva, 2005) ESPECTRO DA AVALIAÇÃO OBJETIVOS FREQUENTESS Para demonstrar que uma gestão foi bem sucedida Para demonstrar que uma gestão foi mal sucedida Para retardar a tomada de decisões Para legitimar decisões Para aumentar o controle sobre a intervenção Para satisfazer as exigências dos organismos financiadores OBJETIVOS DESEJADOS E POSSÍVEIS Auxiliar no processo de planejamento e tomada de decisão; Aperfeiçoar o programa; Prestar contas à sociedade; Contribuir para com o desenvolvimento do conhecimento; (Vieira da Silva, 2005) O QUÊ AVALIAR? Principais atributos para avaliação em saúde Relacionados com a adequação das ações aos objetivos e problemas de saúde: direcionalidade e consistência (análise estratégica); Relacionados com a disponibilidade e distribuição social dos recursos: a)Cobertura b)Acessibilidade c)Equidade (Vieira da Silva, 2005) O QUÊ AVALIAR? Relacionados com o efeito das ações: a) eficácia b) efetividade c) impacto Relacionados com os custos das ações: eficiência Relacionados com a a adequação das ações ao conhecimento técnico e científico vigente: qualidade técnico-científica (Vieira da Silva, 2005) O QUÊ AVALIAR? Relacionados com o processo de implantação das ações a) avaliação do grau de implantação e (ou) avaliação de processo. b) análise de implantação - Estudos que investigam as relações entre o grau de implantação, o contexto e os feitos das ações: Características relacionais entre os agentes das ações: a) usuário x profissional (percepção dos usuários sobre as práticas, satisfação dos usuários, aceitabilidade, acolhimento, respeito a privacidade e outros direitos cidadãos); b) profissional x profissional (relações de trabalho e no trabalho) c) gestor x profissonal (relações sindicais e de gestão) AVALIAÇÃO - ABORDAGENS (Donabedian) Estrutura: a) recursos materiais b) recursos humanos c) características organizacionais Processos - atividades constitutivas do cuidado à saúde. Resultados: a) produtos b) modificações no estado de saúde c) satisfação do usuário OS COMPONENTES DAS INTERVENÇÕES Situação Problemática Efeitos Objetivos Serviços Recursos Contexto Fonte: Contandriopoulos, JP et al. A avaliação em saúde: conceitos e métodos. Rio de Janeiro. Fiocruz, 1997. OS COMPONENTES DAS INTERVENÇÕES Situação Problemática A População Efeitos Os Administradores Objetivos Serviços Os Usuários Os Financiadores Os Profissionais Recursos O Poder Público Contexto Fonte: Contandriopoulos, JP et al. A avaliação em saúde: conceitos e métodos. Rio de Janeiro. Fiocruz, 1997. OS COMPONENTES DAS INTERVENÇÕES Avaliação da acessibilidade e cobertura Situação Problemática Análise estratégica Efeitos População-alvo Objetivos Serviços Análise da Intervenção Avaliação de Efeitos Recursos Análise de Produtividade Análise da Implantação Contexto Fonte: Contandriopoulos, JP et al. A avaliação em saúde: conceitos e métodos. Rio de Janeiro. Fiocruz, 1997. Incorporação do ponto de vista dos agentes Avaliação focada na utilização (Patton, 1997; 2002) Avaliação de quarta geração (Guba & Lincoln,1989) “Empowerment” evaluation (Fetterman, 1994) responsiva: as questões, a informação a ser reunida, os critérios e padrões são definidos de forma negociada entre usuários (gestores e avaliadores) o avaliador externo é um mediador o processo da avaliação geralmente resulta em melhoria da qualidade do programa. INSTITUCIONALIZAÇÃO DA AVALIAÇÃO Institucionalização: incorporação da avaliação à rotina dos serviços Necessidade do fortalecimento e/ou desenvolvimento de capacidade técnica, nas diversas esferas do sistema de saúde: 1. Ações de monitoramento e avaliação como subsidiárias ou intrínsecas ao planejamento e à gestão; 2. Instrumento de suporte à formulação de políticas, ao processo decisório e de formação dos sujeitos envolvidos (gestores, usuários do sistema de saúde e profissionais dos serviços e das instituições de ensino e pesquisa) INSTITUCIONALIZAÇÃO DA AVALIAÇÃO A avaliação de políticas e programas de saúde deve contemplar ampla participação e o uso de múltiplos focos e métodos, permitindo que a visão de diferentes grupos seja considerada no objeto de estudo AVALIAÇÃO Para Hartz (2002): [...] Institucionalizar a avaliação tem o sentido de integrá-la em um sistema organizacional no qual esta seja capaz de influenciar o seu comportamento, ou seja, um modelo orientado para a ação ligando necessariamente as atividades analíticas às de gestão. PARA COMPREENDER MELHOR... Como são definidos os indicadores do Pacto pela Saúde 2007, Pacto de atenção básica 2006, 2005, 2004 [...]? CRITÉRIOS, NORMAS, PADRÕES E INDICADORES Critérios: conjunto de fenômenos que são atributos da estrutura, processo ou resultados; Norma: regra geral acerca do que é desejável; Padrão: Modelo ou valor de referência para mensuração do fenômeno ou objeto, considerado como ideal, podendo ou não ser expresso numericamente; Indicador: razão entre variáveis ou critérios capaz de guardar relação com aquilo que se deseja medir PACTO PELA SAÚDE 2007: EXEMPLO 01 Critério Morte na primeira infância Acesso à atenção odontológica Indicador Coeficiente de Mortalidade infantil Cobertura da primeira consulta odontológica Padrão < 12 mortes por mil nascidos vivos Cobertura superior a 12% da população Norma “A morte infantil pode ser evitada e deve tender a zero” “Deve-se ampliar o acesso ao tratamento restaurador no serviço público” PACTO PELA SAÚDE 2007: EXEMPLO 02 Critério Financiamento da saúde Ampliação do acesso á APS Indicador Proporção da receita própria aplicada em saúde conforme previsto na regulamentação da EC 29/2000. Proporção da população coberta pelo Programa Saúde da Família (PSF) em cidades acima de 500 mil habitantes Padrão 12% da receita Superior a 50% Norma “Maior aporte financeiro à saúde pode melhorar os serviços” “A ampliação da ESF pode possibilitar maior acesso às práticas preventivas” REFERÊNCIAS BIBLIOGRÁFICAS Silva, L. M. V. Material didático (slides) elaborado para o projeto de Monitoramento e Avaliação da Atenção Básica. MS, 2005. Silva, L. M. V. & Formigli, V. L. A. Avaliação em Saúde: Limites e Perspectivas . Cad. Saúde Públ., Rio de Janeiro, 10(1): 80-91, Jan/Mar, 1994. Felisberto, E. Monitoramento e Avaliação na atenção Básica: Novos horizontes. Revista Brasileira de Saúde da Família, Ano V, n. 7, edição especial, jan. 2003 a abri. 2004, p. 24 a 29.