Avaliação de programa
•
1
FUNDAMENTOS Teóricos[modelo]: Construtivista-quanto a ontologia é
relativista, as realidades são apreendidas em múltiplas formas, são construções
mentais intangíveis,socialmente e experimentalmente fundamentadas[baseadas], na
natureza local e específica(embora os elementos são freqüentemente repartidos[
divididos]entre muitos indivíduos e também através das culturas),e dependentes da
formas e conteúdo, pessoas e grupos realizando construções. As construções não
são mais nem menos “verdadeiras”, no sentido absoluto, mas simples ou menos
informada e / ou sofisticada. As construções são alteráveis, como as “realidades”.
Esta posição deve ser diferenciada [distinguida] tanto do nominalismo como do
idealismo( Reese,1980) . Considerando a epistemologia esta é transacional e
subjetivista, isto é o investigador e o objeto da investigação são assumidos como
sendo interativamente ligados aos “ achados” tanto quanto os “achados” são
literalmente criados com o procedimento de investigação. Sob o ponto de vista da
metodologia esta é hermenêutica e dialética. A variável e a natureza intramental da
construção social sugere que a construção individual pode ser obtida, extraída e
refinada somente através da interação entre e em conjunto com o investigador e o
investigado. Estas variadas construções são interpretadas usando técnicas
hermenêuticas convencionais, e são comparadas e constratadas através das trocas
dialéticas. A intenção, a essência é distinguir uma construção de consenso que é
mais informada e sofisticada que uma construção anterior, precedente; incluindo,
logicamente, a construção ética do investigador(E..G.Guba e Y.S.Lincoln )
Avaliação de programa
2
•
Fundamento[continuação]
•
Podemos encontrar a origem de tal método na etnometodologia (Shütz;1971), passando pela
pesquisa participativa, pesquisa ação.(Mattelart & Mattelart;1995)
•
O método de avaliação rápida (REM) consiste em um conjunto de pesquisas baseadas em
observação e diagnóstico de atividades, realizadas geralmente nos estabelecimentos de saúde.
Fornece uma base para a identificação de problemas operacionais e para a tomada de ações
gerenciais. (Anker. M. et al;1993)
Avaliação de programa
3
•
1.2-Propósito
•
O propósito de avaliar um programa a nível nacional é conhecer seu estado atual,
especialmente as condições que poderiam facilitar ou dificultar atingir seus objetivos,
e usar esta informação para a oportuna tomada de decisões em benefício da
população.
•
Avaliam-se a força e debilidade, a eficiência e eficácia, o impacto sobre as doenças e
eventos negativos e a capacidade do programa para adaptar-se a novas demandas,
tanto as geradas por processos de reforma do setor saúde e a descentralização,
como as que surgem em resposta as necessidades da população de aceder a novas
ofertas,atividades e serviços de saúde.
•
As guias [entrevistas,questionários semi-estruturados e observação orientada] tem
como objetivo ajudar aos que conduzem a revisão do programa.
•
A diferença com outros modelos de avaliação de programas é que os avaliadores
estão orientados a enfocar os aspectos específicos relacionados com a situação
atual do programa e a avaliação só se torna completa com a elaboração de um plano
de ação, geralmente qüinqüenal onde se materializam as recomendações da
avaliação em atividades concretas a serem realizadas.
Avaliação de programa
4
•
O modelo de avaliação se define como:[ no marco conceitual]
•
A- Impacto: é a análise que se realiza para estimar em que medida as ações desenvolvidas tem
produzido as mudanças esperadas. Os principais indicadores que operacionalizam este conceito
são a morbidade , mortalidade e medidas de risco das doenças e eventos relacionados ao
programa
•
B-Processo: é a análise que se realiza a partir das ações implementadas para produzir as
mudanças esperadas
Avaliação de programa
5
•
São fundamentos do modelo:
•
INTEGRAÇÃO
•
MULTIDISCIPLINARIEDADE
•
PARTICIPAÇÃO/ NEGOCIAÇÃO[de acordo com a 4* geração de avaliação]
•
TRABALHO DE GRUPO
Componentes da avaliação
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
1-Prioridade política
2-Dados demográficos
3-Planejamento
4-Programação
5-Organização
6-Coordenação
7-Estratégias e Táticas
8-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros]
13- Insumos, material necessário,. logística
14-Cadeia de frio
15-Capacitação
16-Supervisão
17-Sistema de informação
18-Vigilância Epidemiológica[incluindo coberturas e risco]
19-Avaliação e investigação
20-Participação da Comunidade,Educação para a saúde, Mobilização social
21-Satisfação dos usuários
6
Avaliação de programa
7
• Obter os principais :
• Aspectos positivos, ganhos,avanços, vantagens[por
componente]
• Problemas, dificuldades, limitações, bloqueios, aspectos
negativos[por componente]
• Gerar:
• Recomendações para cada componente
• a partir das recomendações, definir atividades ,cronograma,
responsabilidades, custos de cada atividade ---> O PLANO
DE AÇÃO __
Avaliação de programa
8
•
Objetivos:
•
1-Descrever a história recente das atividades do Programa[ 3 anos mínimo]
•
2-Descrever de forma quantitativa os ganhos,avanços alcançados e atividades do Programa
•
3-Definir os problemas, limitações,dificuldades,bloqueios, aspectos negativos
•
4-Recomendar os objetivos necessários para alcançar a solução dos problemas
•
5-Definir as atividades factíveis, aplicáveis em relação a realidade do país,região, local para alcançar os
objetivos recomendados num tempo determinado
Avaliação de programa
9
•
Baseia-se:
•
•
•
a- Coleta e analise dos dados disponíveis
b- Trabalho de campo[visita ao terreno], estabelecimentos e ambientes de trabalho
c- Entrevistas individuais e de grupos[ grupos focais]
•
Envolve 3 níveis do Sistema de Saúde:
•
•
•
Central/nacional
Regional/ intermediário/sub-nacional
Operacional/[local]
Avaliação de programa
10
•
Os resultados finais surgem da comparação entre os dados e informações obtidas
em relação aos indicadores para cada componente identificado
•
Obs: É necessário definir um padrão , os pressupostos básicos,indicadores[ a “teoria
do programa” na acepção anglosaxonica-EUA
•
Definir os instrumentos[ guias, questionários, roteiros de entrevistas, para cada nível
do sistema de saúde]
Avaliação de programa
11
• Os participantes da equipe de avaliação do PAI, devem ser das seguintes áreas
[ áreas mínimas] :
•
•
•
•
•
•
•
•
•
•
Planejamento/Programação
Materno-infantil
Supervisão
Recursos humanos
Vigilância epidemiológica
Administração geral
Abastecimento e logística
Educação para a saúde e participação comunitária
Estatística e Sistema de informação
Atenção primária da saúde/ atenção médica
Avaliação de programa
12
•
•
Período da avaliação:
Fases:
•
I-Preparação- Levantamento de material, seleção da amostra,garantir
infra-estrutura de apoio
•
II-Trabalho de campo-
•
III-Dinâmica de grupo e elaboração do documento final da avaliação:
•
a-relatório final das avaliação= com aspectos positivos, aspectos
negativos, problemas e recomendações
•
b-Plano de Ação= > com atividades, cronograma, responsabilidades,
custos
no máximo 4 semanas[ideal 3]
Ex: Saúde do Trabalhador
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
1-Prioridade política
2-Legislação/bases legais
3-Dados demográficos
4-Planejamento
5-Programação
6-Organização
7-Coordenação
8-Estratégias e Táticas
9-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros]
10- Insumos, material necessário,. logística
11-Capacitação
13-Supervisão
15-Sistema de informação
16-Vigilância Epidemiológica[incluindo coberturas e risco]
17-Avaliação e investigação
18-Participação da Comunidade,Educação para a saúde, Mobilização social
19-Satisfação dos usuários
13
Ex: Saúde do trabalhador
•
•
•
•
•
•
•
•
•
•
•
14
Os participantes da equipe de avaliação do Saúde do trabalhador, devem ser das
seguintes áreas[ áreas mínimas] :
Área jurídica
Planejamento/Programação
Supervisão
Recursos humanos
Vigilância epidemiológica
Administração geral
Abastecimento e logística
Educação para a saúde e participação comunitária
Estatística e Sistema de informação
Atenção primária da saúde/ atenção médica, atenção a saúde do trabalhador e
acidentes de trabalho
A questão da validade
•
•
•
•
•
•
•
•
15
Nas ciências sociais , a triangulação é usada freqüentemente para indicar que + de um método é
usado no estudo para checar os resultados( uso de multimétodos)
É também chamada de “exame cruzado” [“cross examination”]. A idéia é que que o resultado é +
confiável quando diferentes métodos levam a este resultado
Obs: De modo a maximizar a validade dos resultados da avaliação, as seguintes estratégias
devem ser seguidas:
1. Durante a avaliação , os atributos dos seguintes itens devem ser padronizados:
a - pesquisador; b-técnica de pesquisa; c-contexto da pesquisa(avaliação)
Isto significa que os mesmos avaliadores(com atributos semelhantes)devem executar toda a
avaliação ,usando as mesmas técnicas de cada vez, no mesmo cenário( em termos de lugar,de
tempo e de circunstâncias )
2. Durante a avaliação , os mesmos fenômenos devem ser estudados usando-se técnicas
diferentes(selecionadas dos conteúdos das” caixas de ferramentas”, já que um alto grau de
convergência entre esses resultados é significativo e maximiza as chances de validade.Este
processo de buscar concordância e sobreposição é conhecido como Triangulação .
3. Ao analisar-se os resultados de uma avaliação ,tal como o corpo do texto produzido por uma
questionário aberto/entrevista, o objetivo é conseguir a concordância de vários avaliadores na
codificação dos dados, na identificação dos temas subjacentes, na interpretação. Isto é, vários
pesquisadores/avaliadores devem ler e analisar o material e identificar as áreas de concordância.
Bibliografia
•
•
•
•
•
•
•
•
•
•
•
•
•
•
16
OPS-Metodologia para la Evaluación Multidisciplinaria –HPM-PAI; febrero,1984(Borrador)
OPS-Metodologia para la Evaluación multidisciplinariade PAI a nivel país; octobre 2000 [também em inglês]
M.Anker,R J.Guidotti, S.Orzeszina, S.A. Sapirie, M C Thuriaux. Rapid Evaluation methods(REM)of health services
performance: methodological observations;1993.WHO Buletin OMS Vol 71(1):15-21
Guba,E.G & Lincoln,YS- Competing Paradigms in Qualitative Research- handbook of Antropology; capitulo 6-pg
105-117
CDC,1999.framework for Program Evaluation in Public Health. Morbidity and Mortality Weekly Report(MMWR).
.48(RR-11)
Chen,H.T.;2003. Theory-Driven aproach for facilitation of planing health promotion or others programs- The
Canadian Journal Evaluation Vol 18 No2 pages 91-113
Verani;J.F-Metodologias de Avaliação aplicadas a programa de imunização: uma revisão bibliográfica-2004
Verani;J. F- Uma construção da teoria avaliativa de programas de imunização-2004
Smith,G.Development of Rapid Epidemiologic Assessment Methods to Evaluate Health Status and Delivery of
Health Services. International Journal of Epidemiology 7.18(Suppl.2): S2-S15(1989)
Helman ,C.G 92003) Novos métodos de pesquisa em antropologia médica. In: Cultura, Saúde e Doença -4*
edição
Scrimshaw,N.S,and/eds Gleason,G.R(eds)(1992). Rapid Assessment Procedures. International Nutricion
Foundation for Developing Countries (INFDC)
Fetterman,D.M.; Kaftarian,S.J.;& Wandersman,A.1996- Empowerment Evaluation: Knowledge and tools for selfassessment and accountability. Thousand Oaks,C A: Sage, 411 p
Mattelart & Mattelart- histoire des Theories de la Comunication.Éditions La Decouvert e Syros,Paris,1995; ISBN:27071-2469-9
Maranhão,E.P.S- Avaliação do Programa de Saúde do Trabalhador- pelo Rapid Evaluation Method[REM],uma
proposta metodológica, 2004
Glossário
•
17
Construtivista- é a idéia de que nada , a rigor , está pronto, acabado, e de que, especificamente, o
conhecimento não é dado, em nenhuma instância como algo terminado.ele se constitui pela interação do
individuo com o meio físico social, com o simbolismo humano,com o mundo das relações sociais;se constitui por
força de sua ação e não por qualquer dotação prévia na bagagem hereditária ou no meio, de tal modo que
podemos afirmar que antes da ação não há consciência e muito menos pensamentos.
na antropologia- A idéia de “Bricollage”(Levis Strauss), em inglês “Puzlle”(quebra-cabeça)
Nominalismo- o conceito,idéia,essência comum a todas as coisas que indicamos é uma ato simples de nossa
mente expresso por um nome.
Idealismo- tendência filosófica que reduz toda a existência do pensamento. Opõe-se ao realismo, que afirma a
existência dos objetos independentemente do pensamento.No idealismo absoluto, o ser é reduzido a consciência
ao longo da história da filosofia, ele aparece sob formas menos radicais. Não nega categoricamente existência
dos objetos no mundo, mas reduz o problema a questão do conhecimento
Ontologia- é a parte da filosofia que trata da natureza do ser, ou seja,da realidade, da existência dos entes e
questões metafísicas em geral.
Epistemologia- é um ramo da filosofia que trata dos problemas filosófiocos relacionados à crença e ao
conhecimento.
Hermenêutica- ramo da filosofia que se debate com a compreensão humana e interpretação de textos escritos.
Dialética-arte no dialogo, demonstrar uma tese por meio de uma argumentação capaz de distingir
claramente os conceito envolvidos na discussão(Konder)