Seminário
Avaliação para a melhoria do
Sistema Público de Saúde:
Perspectivas e Controvérsias
06 de Dezembro de 2012
Laboratório de Avaliação de Situações
Endêmicas Regionais
Avaliação na saúde coletiva:
avanços e dilemas teóricometodológicos
Sônia Cristina Lima Chaves
Instituto de Saúde Coletiva
Universidade Federal da Bahia
Instituto de Saúde Coletiva - UFBA
Dilema:
Situação embaraçosa que apresenta somente
duas soluções, ambas difíceis ou
inconvenientes, o que gera perplexidade
para uma opção. Impasse
Raciocínio em que, posta uma alternativa ou
disjunção, qualquer dos termos das
alternativas leva à mesma conclusão.
O PT, desde o começo da crise, vive um dilema na relação com
Sarney. Pelo menos 7 dos 12 senadores do partido a princípio
defenderam o afastamento dele, enquanto durarem as
investigações no Conselho. Folha de São Paulo, 08/08/2009
Dicionário On line de Português
Instituto de Saúde Coletiva - UFBA
Questões preliminares
 Interesse do Estado na avaliação de políticas sociais,
entre elas as políticas de saúde
 Complexidade das necessidades de saúde e das
intervenções formuladas para enfrentamento
 Modernização da administração pública
 Gestão por resultados
 Exigências de organismos financiadores
 Prática em crescimento no país, ainda que em menor
escala em relação a outros países
Instituto de Saúde Coletiva - UFBA
Eixos da exposição
 Avanços
 Definição compartilhada de avaliação
 Formação da competência de avaliadores no método
 Interesses pela avaliação formativa
 Desafios e dilemas




O uso ou influência das avaliações
Meta-avaliação ainda limitada no Brasil
Questões de natureza metodológica ou teórica?
espaço de luta pela institucionalização da avaliação
Instituto de Saúde Coletiva - UFBA
Primeiro passo:
definição compartilhada de avaliação
 Processo permanente encaminhado para corrigir e melhorar
ações com o fim de aumentar a pertinência, eficiência e eficácia
das atividades de saúde. (Organização Mundial da Saúde, 2001)
 É a aplicação sistemática de métodos e técnicas oriundas da
pesquisa social para aferir programas de intervenção social
(Rossi & Freeman, 2004).
 É a coleta sistemática de informações sobre as atividades,
características e produtos dos programas para fazer
julgamentos sobre o programa, melhorar a efetividade do
mesmo e ou informar decisões sobre futuras programações
(Patton, 1997)
 É o julgamento que se faz sobre uma intervenção ou sobre
qualquer dos seus componentes com o objetivo de auxiliar na
tomada de decisões. (Contandriopoulos, 2000)
Instituto de Saúde Coletiva - UFBA
Avanços metodológicos na avaliação dos diferentes
componentes de uma Intervenção
Avaliação
da acessibilidade
Avaliação de satisfação
Situação
Problemática
Efeitos
Avaliação
da Cobertura
Objetivos
Serviços
Avaliação de Efeitos:
efetividade e impacto
População-alvo
Qualidade
técnico-científica
Análise
estratégica da
Intervenção
Recursos
Análise de Produtividade
Ou Oferta e utilização
Avaliação da eficiência
Análise da Implantação
Avaliabilidade ou préavaliação
Contexto
Fonte: Contandriopoulos, JP et al. A avaliação em saúde: conceitos e métodos. Rio de Janeiro. Fiocruz, 1997 e 2011 (Brouselle A.).
Componentes da intervenção e a avaliação (Contandriopoulos et al, 1997)
Componentes da
intervenção
Avaliação
normativa
Problema
s
Pesquisa
Avaliativa
Análise
estratégica
Objetivos
Análise de
intervenção
Recursos
Serviços
Efeitos
Apreciação
da estrutura
Apreciação
de processo
Apreciação
de resultados
Análise da
produtividade
Análise dos
efeitos
Análise de
implantação
Contudo, uma definição
operacional...
 Avaliação pode ser considerada como um dos
tipos possíveis de julgamento que se faz sobre as
práticas sociais.
 Avaliação é um julgamento que se faz sobre uma
intervenção sanitária (Política, programa ou
prática), voltada para a resolução de problemas
de saúde, visando aferir o mérito, esforço ou valor
da referida intervenção ou do seu produto, para o
seu aperfeiçoamento ou modificação.
(Vieira-da-Silva, 2010)
Instituto de Saúde Coletiva - UFBA
Avanços na Definição de avaliação
Avaliar consiste fundamentalmente em fazer um
julgamento de valor sobre uma intervenção que
permita fornecer informações científicamente válidas
e socialmente legítimas sobre a mesma ou sobre
qualquer um de seus componentes, de maneira que
os diferentes atores envolvidos, que podem ter
campos de julgamento diferentes, estejam prontos a
tomar posição sobre a intervenção e a construir
(individualmente ou coletivamente) um julgamento
que possa se traduzir em ações.
André Pierrre Contandriopoulos
(In: Brousselle A. 2011)
O dilema
Como deve-se proceder para que todas as pessoas
envolvidas em uma intervenção possam conversar
sobre ela, ter uma idéia em comum daquilo que ela é
de maneira a poder fazer um julgamento sobre ela e
agir para melhoria?
Tipos de uso dos processos avaliativos:
instrumental, político (simbólico) e
conceitual
(Hartz, Moreira et al., 2008)
Desafios teóricos relevantes
Espaço de posições, posições e
tomadas de posição
Espaço de posições
Atores
Agentes
Atores
Atores
Intervenção
Atores
Determinantes das posições
Características objetivas do lugar de observação :
distância, iluminação, ângulo de vista, posição
Agentes
posição
Características próprias do observador :
1) Concepção do mundo, valores, ideologia, crenças
2) Posiçao social, projetos, disposiçoes e tomadas de
posição
Características da intervenção (incluindo a avaliação)
1)
2)
Abordagem (somativa ou formativa
Participação maior ou menor dos usuários potenciais
Agentes
Intervenção
Fenômeno
Agentes
Agentes
Constituição do “espaço de luta pela
institucionalização da avaliação” e o problema do
uso das avaliações para a gestão
 Ênfase nas avaliações somativas, no método,
nos estudos quantitativos e na sofisticação da
análise estatística
 O uso dos resultados das avaliações: um nó
crítico na gestão de sistemas e serviços de
saúde.
 Separação entre planejadores, gestores e
avaliadores
 Separação entre pesquisadores e gestores:
responsabilização dos últimos pela pequena
utilização dos resultados das avaliações.
Instituto de Saúde Coletiva - UFBA
Algumas tentativas de superação:
Incorporação do ponto de vista dos agentes
 Avaliação focada na utilização (Patton, 1997;
2002)
 Avaliação de quarta geração (Guba &
Lincoln,1989)
 “Empowerment” evaluation (Fetterman, 1994)
 responsiva: as questões, a informação a ser reunida, os
critérios e padrões são definidos de forma negociada entre
usuários (gestores e avaliadores
 a seleção do objeto e estratégias é feita a partir da
definição dos usos pelos gestores
 o avaliador externo é um mediador
 o processo da avaliação geralmente resulta em melhoria
da qualidade do programa.
Instituto de Saúde Coletiva - UFBA
Os desafios
 O uso instrumental baseado na ação racional tem
limites e este limite deve ser reconhecido a priori
 Processos avaliativos mais participativos tendem a
produzir melhores resultados
 Formação qualificada de planejadores e avaliadores
é ainda tarefa inconclusa, inclusive nas dimensões
relacionais e políticas
 Superação do uso instrumental da avaliação (method-driven
evaluation)
 Foco na theory-driven evaluation
 Incorporação de outros referenciais teóricos (ciências sociais) para
compreensão da prática social (intervenções e o prório processo
avaliativo)
Instituto de Saúde Coletiva - UFBA
Há um tempo em que é preciso abandonar as
roupas usadas, que já tem a forma de nosso
corpo, a esquecer os nossos caminhos, que
nos levam sempre aos mesmos lugares.
É o tempo da travessia. E, se não ousarmos
fazê-la, teremos ficado, para sempre, à
margem de nós mesmos”
Fernando Pessoa
MUITO OBRIGADA!!!
[email protected]
Instituto de Saúde Coletiva - UFBA