A avaliação na área da saúde:
conceitos e métodos
André-Pierre Contandriopoulos
François Champagne
Jean-Louis Denis
Raynald Pineault
SciELO Books / SciELO Livros / SciELO Libros
HARTZ, ZMA., org. Avaliação em Saúde: dos modelos conceituais à prática na análise da
implantação de programas [online]. Rio de Janeiro: Editora FIOCRUZ, 1997. 132 p. ISBN 85-8567636-1. Available from SciELO Books <http://books.scielo.org>.
All the contents of this work, except where otherwise noted, is licensed under a Creative Commons Attribution-Non
Commercial-ShareAlike 3.0 Unported.
Todo o conteúdo deste trabalho, exceto quando houver ressalva, é publicado sob a licença Creative Commons Atribuição Uso Não Comercial - Partilha nos Mesmos Termos 3.0 Não adaptada.
Todo el contenido de esta obra, excepto donde se indique lo contrario, está bajo licencia de la licencia Creative Commons
Reconocimento-NoComercial-CompartirIgual 3.0 Unported.
A AVALIAÇÃO NA ÁREA DA SAÚDE: CONCEITOS E
MÉTODOS*
André-Pierre
Contandriopoulos
François
Champagne
Jean-Louis
Raynald
Denis
Pineault
INTRODUÇÃO
A avaliação é uma atividade tão velha quanto o m u n d o , banal e inerente ao
p r ó p r i o processo d e a p r e n d i z a g e m . H o j e , a a v a l i a ç ã o é t a m b é m u m c o n c e i t o q u e está
n a m o d a , c o m c o n t o r n o s vagos e q u e a g r u p a realidades múltiplas e diversas.
Logo após a Segunda G u e r r a M u n d i a l apareceu o conceito d e avaliação dos
programas p ú b l i c o s . Ele é , d e certa f o r m a , o c o r o l á r i o d o p a p e l q u e o Estado c o m e ç o u
a d e s e m p e n h a r nas áreas d a e d u c a ç ã o , d o social, d o e m p r e g o , d a s a ú d e e t c . O Estad o , q u e passava a substituir o m e r c a d o , d e v i a e n c o n t r a r m e i o s para q u e a a t r i b u i ç ã o
d e recursos fosse a mais eficaz possível. O s e c o n o m i s t a s d e s e n v o l v e r a m , e n t ã o , m é t o d o s para analisar as v a n t a g e n s e os custos destes p r o g r a m a s p ú b l i c o s ; s ã o os p i o n e i r o s
d a a v a l i a ç ã o . M a s , r a p i d a m e n t e , suas a b o r d a g e n s revelaram-se insuficientes, e s p e c i a l m e n t e q u a n d o q u e r e m o s aplicá-las aos p r o g r a m a s sociais e à e d u c a ç ã o . A a v a l i a ç ã o
foi, então, d e certo m o d o , "profissionalizada", adotando-se u m a
perspectiva
interdisciplinar e insistindo nos aspectos m e t o d o l ó g i c o s . N o c o n t i n e n t e a m e r i c a n o ,
associações c o m o a A m e r i c a n Evaluation Association o u a C a n a d i a n E v a l u a t i o n S o c i e t y
c o n t r i b u í r a m m u i t o para esse m o v i m e n t o .
* Versão adaptada de um artigo dos mesmos autores, L'évaluation dans le domaine de la santé: concepts
& méthodes, publicado nas atas do colóquio editadas por LEBRUN, SAILLY & AMOURETTI (1992:1432). A tradução preliminar deste texto recebeu o apoio do Instituto Materno-lnfantil de Pernambuco
(IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S.
Thuller.
N o d e c o r r e r d o s a n o s 70 a n e c e s s i d a d e d e avaliar as a ç õ e s sanitárias se i m p ô s .
O p e r í o d o d e i m p l a n t a ç ã o d o s grandes programas, b a s e a d o s n o seguro m é d i c o , estava
t e r m i n a d o . A d i m i n u i ç ã o d o c r e s c i m e n t o e c o n ô m i c o e o p a p e l d o Estado n o f i n a n c i a m e n t o d o s s e r v i ç o s d e s a ú d e t o r n a v a m indispensável o c o n t r o l e d o s custos d o sistema
d e s a ú d e , s e m q u e , p o r isso, u m a a c e s s i b i l i d a d e suficiente d e t o d o s a serviços d e
q u a l i d a d e seja q u e s t i o n a d a .
A s d e c i s õ e s necessárias para q u e esta d u p l a exigência seja respeitada são partic u l a r m e n t e difíceis d e se t o m a r , por c a u s a d o caráter m u i t o c o m p l e x o d o sistema d e
s a ú d e , d a s g r a n d e s z o n a s d e i n c e r t e z a q u e e x i s t e m nas r e l a ç õ e s e n t r e os p r o b l e m a s
d e s a ú d e e as i n t e r v e n ç õ e s suscetíveis d e resolvê-las, d o d e s e n v o l v i m e n t o m u i t o r á p i d o d a s n o v a s t e c n o l o g i a s m é d i c a s e d a s e x p e c t a t i v a s crescentes d a p o p u l a ç ã o . N e s t e
c o n t e x t o , a n e c e s s i d a d e d e i n f o r m a ç ã o sobre o f u n c i o n a m e n t o e a eficácia d o sistema
d e s a ú d e é c o n s i d e r á v e l e a a v a l i a ç ã o p a r e c e ser a m e l h o r s o l u ç ã o .
D e s d e e n t ã o , a a v a l i a ç ã o na á r e a sanitária goza d e u m prestígio e n o r m e . A
m a i o r i a d o s países (Estados U n i d o s , C a n a d á , F r a n ç a , Austrália etc.) c r i o u organismos
e n c a r r e g a d o s d e a v a l i a r as n o v a s t e c n o l o g i a s . O s p r o g r a m a s d e f o r m a ç ã o , os c o l ó q u i os, os s e m i n á r i o s , os artigos, as o b r a s s o b r e a a v a l i a ç ã o já n ã o se c o n t a m mais.
Esta p r o l i f e r a ç ã o é , c e r t a m e n t e , o sinal d e u m a n e c e s s i d a d e , m a s ela t a m b é m é
sinal d a c o m p l e x i d a d e d a á r e a . O o b j e t i v o d a nossa a p r e s e n t a ç ã o é p r o p o r u m q u a d r o
c o n c e i t u a i q u e p e r m i t a u m a visão m a i s clara.
A s d e f i n i ç õ e s d a a v a l i a ç ã o são n u m e r o s a s e p o d e r í a m o s a t é c h e g a r a dizer q u e
c a d a a v a l i a d o r constrói a sua. Patton ( 1 9 8 1 ) p r o p õ e o g r u p a m e n t o das d e f i n i ç õ e s d a
a v a l i a ç ã o e m seis g r a n d e s famílias e m razão d a sua natureza. Patton ( 1 9 8 2 ) nota e m
s e g u i d a q u e , e m c a d a f a m í l i a , o c o n t e ú d o d a s d e f i n i ç õ e s é v a r i á v e l e e l e agrupa os
d i f e r e n t e s c o n t e ú d o s e m seis categorias. O autor constata q u e esta t a b e l a q u e d e f i n e
3 6 t i p o s d e d e f i n i ç õ e s d a a v a l i a ç ã o só p e r m i t e classificar u m p o u c o mais d e 5 0 % d o s
trabalhos d e avaliação publicados.
G u b a & Lincoln (1990) identificam quatro estágios na história d a avaliação. A passagem d e u m estágio para outro se faz c o m o desenvolvimento dos conceitos e a a c u m u lação d o s c o n h e c i m e n t o s . O primeiro estágio é baseado na m e d i d a (dos resultados escolares, d a inteligência, d a produtividade dos trabalhadores). O avaliador é essencialmente u m
t é c n i c o q u e t e m q u e saber construir e saber usar os instrumentos q u e p e r m i t e m medir os
f e n ô m e n o s estudados. O segundo estágio se fortalece nos anos 2 0 e 30. Ele trata d e
identificar e descrever c o m o os programas p e r m i t e m atingir seus resultados. O terceiro
estágio é f u n d a m e n t a d o n o julgamento. A avaliação d e v e permitir o julgamento d e u m a
intervenção. O quarto estágio está emergindo. A avaliação é então feita c o m o u m processo
d e n e g o c i a ç ã o entre os atores envolvidos na intervenção a ser avaliada.
C h e n ( 1 9 9 0 ) p r o p õ e distinguir as a v a l i a ç õ e s q u e são b a s e a d a s nos m é t o d o s das
q u e s ã o o r i e n t a d a s p o r u m a discussão teórica s o b r e as relações e n t r e a i n t e r v e n ç ã o , o
c o n t e x t o n o q u a l ela é inserida e os resultados o b t i d o s .
Esta b r e v e revisão d o e s t a d o d o s c o n h e c i m e n t o s mostra a v a i d a d e q u e seria
propor u m a definição universal e absoluta d a avaliação. N o entanto, para tentar visualizar
m e l h o r e para fixar o q u a d r o n o q u a l esta a p r e s e n t a ç ã o se insere, p o d e m o s a d o t a r a
d e f i n i ç ã o seguinte, q u e h o j e é o b j e t o d e u m a m p l o c o n s e n s o .
Avaliar consiste f u n d a m e n t a l m e n t e e m fazer u m j u l g a m e n t o d e v a l o r a respeito
d e u m a i n t e r v e n ç ã o o u sobre q u a l q u e r u m d e seus c o m p o n e n t e s , c o m o objetivo
d e ajudar na t o m a d a d e d e c i s õ e s . Este j u l g a m e n t o p o d e ser resultado d a a p l i c a ç ã o d e
critérios e d e n o r m a s ( a v a l i a ç ã o n o r m a t i v a ) o u se e l a b o r a r a partir d e u m p r o c e d i m e n to científico (pesquisa avaliativa).
U m a i n t e r v e n ç ã o , q u a l q u e r q u e seja, p o d e sofrer os dois tipos d e a v a l i a ç ã o .
P o d e m o s , por u m l a d o , buscar estudar c a d a u m d o s c o m p o n e n t e s d a i n t e r v e n ç ã o e m
r e l a ç ã o a n o r m a s e critérios. Trata-se, e n t ã o , d e u m a a v a l i a ç ã o n o r m a t i v a . P o r o u t r o ,
p o d e m o s q u e r e r e x a m i n a r , p o r u m p r o c e d i m e n t o c i e n t í f i c o , as r e l a ç õ e s q u e e x i s t e m
e n t r e os diferentes c o m p o n e n t e s d e u m a i n t e r v e n ç ã o . Trata-se, e n t ã o , d e pesquisa
avaliativa.
Estas d e f i n i ç õ e s p e r m i t e m a c o n s t a t a ç ã o d e q u e a á r e a d a a v a l i a ç ã o e a á r e a d a
pesquisa c o i n c i d e m s o m e n t e p a r c i a l m e n t e (Shortell & R i c h a r d s o n , 1 9 7 8 ) . A a v a l i a ç ã o
administrativa n ã o faz parte d a á r e a d a pesquisa, d a m e s m a f o r m a q u e existe u m
c a m p o d e pesquisa q u e n ã o faz parte d a a v a l i a ç ã o (as pesquisas disciplinares q u e
visam fazer progredir os c o n h e c i m e n t o s ) ( F i g u r a 1).
FIGURA 1
Pesquisa e a v a l i a ç ã o
A pesquisa
Pesquisa
não avaliativa
A avaliação
Avaliação
Normativa
Gris, Universidade de Montreal, 1992.
Para a v a n ç a r , d e v e m o s precisar o q u e e n t e n d e m o s por i n t e r v e n ç ã o . U m a interv e n ç ã o é constituída p e l o c o n j u n t o d o s m e i o s (físicos, h u m a n o s , f i n a n c e i r o s , s i m b ó l i cos) organizados e m u m c o n t e x t o e s p e c í f i c o , e m u m d a d o m o m e n t o , para p r o d u z i r
b e n s o u serviços c o m o o b j e t i v o d e m o d i f i c a r u m a s i t u a ç ã o p r o b l e m á t i c a .
U m a intervenção é caracterizada, portanto, por cinco c o m p o n e n t e s : objetiv o s ; recursos; serviços, bens o u atividades; efeitos e contexto preciso e m u m d a d o
m o m e n t o (Figura 2).
FIGURA 2
O s componentes de uma Intervenção
Situação
Problemática
Objetivos
Efeitos
Serviços
t
1
Recursos
Contexto
Ela p o d e ser u m a t é c n i c a , por e x e m p l o , u m kit p e d a g ó g i c o para m e l h o r a r os
c o n h e c i m e n t o s s o b r e a a l i m e n t a ç ã o , u m teste p a r a d e t e c t a r m á s f o r m a ç õ e s fetais,
u m r e m é d i o , u m p r o g r a m a d e gerência e m r e a n i m a ç ã o ; u m tratamento ( u m ato o u u m
c o n j u n t o d e atos); u m a prática (por e x e m p l o , u m p r o t o c o l o d e t r a t a m e n t o d o c â n c e r
d o p u l m ã o por quimioterapia); u m a organização (um centro d e desintoxicação, uma
u n i d a d e d e t r a t a m e n t o ) ; u m p r o g r a m a (desinstitucionalização d o s p a c i e n t e s psiquiátricos, p r e v e n ç ã o d a s d o e n ç a s transmitidas s e x u a l m e n t e ) ; u m a política ( p r o m o ç ã o d a
s a ú d e , p r i v a t i z a ç ã o d o f i n a n c i a m e n t o d o s serviços e t c ) .
É n e c e s s á r i o c o m p r e e n d e r q u e n ã o p o d e m o s falar d e u m a i n t e r v e n ç ã o s e m
levar e m c o n t a os d i f e r e n t e s atores q u e ela e n v o l v e (Figura 3). S ã o eles q u e d ã o sua
f o r m a particular e m u m d a d o m o m e n t o e m u m d a d o c o n t e x t o . D e fato, c a d a u m d o s
atores p o d e ter seus p r ó p r i o s o b j e t i v o s e m r e l a ç ã o à i n t e r v e n ç ã o e sua a v a l i a ç ã o .
FIGURA 3
O s atores e n v o l v i d o s p e l a I n t e r v e n ç ã o
Os Avaliadores
Situação
Problemática
(^XPopu I ação^)
Objetivos
Efeitos
(^Os"lUsuários
Os Administradores
Serviços
t
Os Profissionais
T
Recursos
C ^ P o d e r PúbHaT>
Contexto
\Financiadores/
É p r e c i s o e n t e n d e r q u e os o b j e t i v o s d e u m a a v a l i a ç ã o são n u m e r o s o s , q u e eles
p o d e m ser oficiais o u oficiosos, explícitos o u implícitos, consensuais o u conflitantes,
a c e i t o s p o r t o d o s o s atores o u s o m e n t e por alguns.
O s o b j e t i v o s oficiais d e u m a a v a l i a ç ã o s ã o d e q u a t r o tipos:
• a j u d a r n o p l a n e j a m e n t o e na e l a b o r a ç ã o d e u m a i n t e r v e n ç ã o (objetivo estratégico);
• f o r n e c e r i n f o r m a ç ã o p a r a m e l h o r a r u m a i n t e r v e n ç ã o n o s e u d e c o r r e r (objetivo
formativo);
• d e t e r m i n a r os efeitos d e u m a i n t e r v e n ç ã o para d e c i d i r se ela d e v e ser m a n t i d a ,
t r a n s f o r m a d a d e f o r m a i m p o r t a n t e o u i n t e r r o m p i d a (objetivo s o m a t i v o ) ;
• c o n t r i b u i r p a r a o progresso d o s c o n h e c i m e n t o s , para a e l a b o r a ç ã o teórica (objetivo
fundamental).
O s o b j e t i v o s oficiosos d o s diferentes atores, muitas v e z e s implícitos, são t a m b é m m u i t o i m p o r t a n t e s d e se considerar.
O s administradores q u e p e d e m uma avaliação p o d e m querer:
• atrasar u m a d e c i s ã o ;
• legitimar u m a d e c i s ã o já t o m a d a ;
• a m p l i a r s e u p o d e r e o c o n t r o l e q u e eles e x e r c e m s o b r e a i n t e r v e n ç ã o ;
• satisfazer as e x i g ê n c i a s d o s o r g a n i s m o s d e f i n a n c i a m e n t o .
O s a v a l i a d o r e s p o d e m buscar:
• a m p l i a r os c o n h e c i m e n t o s ;
• a m p l i a r s e u prestígio e p o d e r ;
• obter uma p r o m o ç ã o ;
• p r o m o v e r u m a i d é i a q u e lhes é c a r a .
O s usuários p o d e m b u s c a r :
• b e n e f í c i o s c o m serviços diferentes d o s d i s p o n í v e i s h a b i t u a l m e n t e ;
• reduzir sua d e p e n d ê n c i a p e r a n t e profissionais.
O pessoal d e u m a o r g a n i z a ç ã o p o d e b u s c a r :
• a t r o p e l a r as regras h i e r á r q u i c a s ;
• obter u m adiantamento.
A AVALIAÇÃO
NORMATIVA
A a v a l i a ç ã o n o r m a t i v a é a a t i v i d a d e q u e consiste e m fazer u m j u l g a m e n t o sobre
u m a i n t e r v e n ç ã o , c o m p a r a n d o os recursos e m p r e g a d o s e sua o r g a n i z a ç ã o (estrutura),
o s serviços o u os b e n s p r o d u z i d o s (processo), e os resultados o b t i d o s , c o m critérios e
n o r m a s (Figura 4 ) .
FIGURA 4
A avaliação normativa
A p r e c i a ç ã o d o s resultados
A p r e c i a ç ã o d o processo
A p r e c i a ç ã o d a estrutura
C o n t e x t o |"
© Gris, Universidade de Montreal, 1992.
O s critérios e as n o r m a s nos q u a i s se a p ó i a m as a v a l i a ç õ e s n o r m a t i v a s c o n s t i t u e m o q u e R i v e l i n e ( 1 9 9 1 ) c h a m a d e " r e s u m o s d o v e r d a d e i r o e r e s u m o s d o b e m " . Eles
p o d e m ser d e r i v a d o s d o s resultados d a pesquisa avaliativa o u d e o u t r o s tipos d e p e s quisa, o u f u n d a m e n t a d o s n o j u l g a m e n t o d e pessoas b e m - i n f o r m a d a s o u d e experts
na
área. Todas as a v a l i a ç õ e s n o r m a t i v a s se a p ó i a m n o p o s t u l a d o d e q u e existe u m a relaç ã o forte e n t r e o respeito a o s critérios e às n o r m a s e s c o l h i d a s e os efeitos reais d o
p r o g r a m a o u d a i n t e r v e n ç ã o (Rossi & F r e e m a n , 1 9 8 5 ) .
A avaliação normativa é u m a atividade c o m u m e m u m a organização o u u m
programa. Ela c o r r e s p o n d e às f u n ç õ e s d e c o n t r o l e e d e a c o m p a n h a m e n t o , assim c o m o
aos p r o g r a m a s d e garantia d e q u a l i d a d e ( C l e m e n h a g e n & C h a m p a g n e , 1 9 8 6 ) .
Apreciação da Estrutura
Trata-se d e saber e m q u e m e d i d a os recursos são e m p r e g a d o s d e m o d o a d e q u a d o para atingir os resultados e s p e r a d o s . C o m p a r a m o s e n t ã o os recursos d a interv e n ç ã o , assim c o m o sua o r g a n i z a ç ã o , c o m critérios e n o r m a s c o r r e s p o n d e n t e s . Esse
tipo d e a p r e c i a ç ã o d e v e r i a permitir r e s p o n d e r às perguntas d o t i p o : O pessoal é c o m p e t e n t e ? A o r g a n i z a ç ã o administrativa f a v o r e c e a c o n t i n u i d a d e e a g l o b a l i d a d e ? Estes
recursos são suficientes p a r a o f e r e c e r o l e q u e c o m p l e t o d o s serviços prestados? É g e r a l m e n t e neste t i p o d e a p r e c i a ç ã o q u e se a p ó i a m os o r g a n i s m o s d e a c r e d i t a ç ã o .
Apreciação do Processo
Trata-se d e saber e m q u e m e d i d a os serviços são a d e q u a d o s para atingir os
resultados e s p e r a d o s . Esta a p r e c i a ç ã o se faz c o m p a r a n d o os serviços o f e r e c i d o s p e l o
p r o g r a m a o u p e l a i n t e r v e n ç ã o c o m critérios e n o r m a s p r e d e t e r m i n a d a s e m f u n ç ã o d o s
resultados v i s a d o s .
A a p r e c i a ç ã o d o p r o c e s s o d e u m a i n t e r v e n ç ã o v i s a n d o o f e r e c e r serviços para
u m a c l i e n t e l a p o d e ser d e c o m p o s t a e m três d i m e n s õ e s : a d i m e n s ã o t é c n i c a , a d i m e n são d a s r e l a ç õ e s interpessoais e a d i m e n s ã o o r g a n i z a c i o n a l .
A d i m e n s ã o técnica dos serviços
A p r e c i a a a d e q u a ç ã o d o s serviços às n e c e s s i d a d e s . O s serviços c o r r e s p o n d e m
às n e c e s s i d a d e s d o s b e n e f i c i á r i o s ; d o s clientes? A d i m e n s ã o t é c n i c a inclui a a p r e c i a ç ã o d a q u a l i d a d e d o s s e r v i ç o s . Trata-se g e r a l m e n t e d a q u a l i d a d e d e f i n i d a a partir d o s
critérios e d a s n o r m a s profissionais. O s p r o g r a m a s d e garantia d a q u a l i d a d e nas organ i z a ç õ e s f a z e m p a r t e d a a p r e c i a ç ã o d o processo.
A d i m e n s ã o das relações interpessoais
A p r e c i a a i n t e r a ç ã o psicológica e social q u e existe e n t r e os clientes e os p r o d u tores d e c u i d a d o s . N o s interessamos e n t ã o n o a p o i o q u e o pessoal d á aos p a c i e n t e s ,
n a satisfação destes, n a cortesia d o s p r o d u t o r e s d e c u i d a d o s e n o respeito à pessoa.
A dimensão organizacional
A d i m e n s ã o o r g a n i z a c i o n a l d o processo diz respeito à acessibilidade aos serviç o s , à e x t e n s ã o d a c o b e r t u r a d o s serviços o f e r e c i d o s pela i n t e r v e n ç ã o c o n s i d e r a d a ,
assim c o m o à g l o b a l i d a d e e à c o n t i n u i d a d e d o s c u i d a d o s e d o s serviços. Por globalidade
e c o n t i n u i d a d e e n t e n d e m o s o c a r á t e r multiprofissional e interorganizacional d o s c u i d a d o s , assim c o m o sua c o n t i n u i d a d e n o t e m p o e n o e s p a ç o .
A Apreciação dos Resultados
A a p r e c i a ç ã o d o s resultados consiste e m se perguntar se os resultados o b s e r v a d o s c o r r e s p o n d e m a o s e s p e r a d o s , isto é , a o s o b j e t i v o s q u e a i n t e r v e n ç ã o se p r o p ô s
atingir. A a p r e c i a ç ã o d o s resultados é feita c o m p a r a n d o - s e os í n d i c e s d o s resultados
o b t i d o s c o m critérios e c o m n o r m a s d e resultados e s p e r a d o s . Esta a p r e c i a ç ã o é , m u i tas v e z e s , insuficiente para se fazer u m j u l g a m e n t o v á l i d o s o b r e os resultados d e u m a
i n t e r v e n ç ã o . P a r a avaliá-los d e v e - s e g e r a l m e n t e e m p r e g a r u m a pesquisa avaliativa.
A PESQUISA AVALIATIVA
P o d e m o s definir a pesquisa avaliativa c o m o o p r o c e d i m e n t o q u e consiste e m
fazer u m j u l g a m e n t o ex-post d e u m a i n t e r v e n ç ã o u s a n d o m é t o d o s científicos. M a i s
p r e c i s a m e n t e , trata-se d e analisar a p e r t i n ê n c i a , os f u n d a m e n t o s t e ó r i c o s , a p r o d u t i v i d a d e , os efeitos e o r e n d i m e n t o d e u m a i n t e r v e n ç ã o , assim c o m o as r e l a ç õ e s e x i s t e n tes e n t r e a i n t e r v e n ç ã o , e o c o n t e x t o n o q u a l ela se situa, g e r a l m e n t e c o m o o b j e t i v o
d e ajudar na t o m a d a d e d e c i s õ e s .
A pesquisa avaliativa, c o m o p o d e m o s v e r na Figura 5, p o d e se d e c o m p o r e m
seis tipos d e análise. Fazer pesquisa avaliativa e m u m a i n t e r v e n ç ã o consistirá, p o r t a n to, e m fazer u m a o u várias destas análises. T e r e m o s , e n t ã o , q u e f r e q ü e n t e m e n t e a p e lar para várias estratégias d e pesquisa e c o n s i d e r a r as perspectivas d o s d i f e r e n t e s a t o res e n v o l v i d o s na i n t e r v e n ç ã o .
FIGURA 5
A pesquisa avaliativa
Situação
Problemática
Análise
estratégica
Objetivos
Efeitos
Análise dos
Análise da
efeitos
Análise d o
Serviços
Análise da
.
rendimento
intervenção
Recursos
produtividade
Análise da
implantação
Contexto
© Gris, Universidade de Montreal, 1992.
Análise Estratégica
Trata-se d e analisar a p e r t i n ê n c i a d a i n t e r v e n ç ã o , isto é , d e analisar a a d e q u a ç ã o estratégica e n t r e a i n t e r v e n ç ã o e a situação p r o b l e m á t i c a q u e d e u o r i g e m à interv e n ç ã o . Para isto, f a z e m o s d u a s perguntas (Figura 6 ) : é p e r t i n e n t e intervir para este
p r o b l e m a c o n s i d e r a n d o t o d o s os p r o b l e m a s existentes? É p e r t i n e n t e , c o n s i d e r a n d o a
estratégia d e i n t e r v e n ç ã o a d o t a d a , intervir c o m o está s e n d o feito? O u seja, o fator d e
risco n o q u a l q u e r agir a i n t e r v e n ç ã o é o m a i s i m p o r t a n t e , a p o p u l a ç ã o - a l v o é a d e
m a i o r risco? O s recursos e m p r e g a d o s são os m a i s a d a p t a d o s ?
FIGURA 6
A n á l i s e Estratégica: j u l g a m e n t o s o b r e a p e r t i n ê n c i a d e u m a I n t e r v e n ç ã o
Problemas de saúde
1
i
r
Problema escolhido
(doenças
cardiovasculares; AlDS...)
Objetivo específico da
2
Intervenção: modificação
d e u m f a t o r d e risco e m u m a
+.
p o p u l a ç ã o específica através d e
u m c o n j u n t o preciso d e recursos
Fazer estas análises i m p l i c a q u e nos p r e o c u p e m o s c o m a f o r m a c o m o a situaç ã o p r o b l e m á t i c a foi i d e n t i f i c a d a , isto é , c o m m é t o d o s usados para a p r e c i a r as n e c e s s i d a d e s , c o m o grau d e p r i o r i d a d e d o p r o b l e m a d e s a ú d e e s c o l h i d o e m relação a o
c o n j u n t o d o s p r o b l e m a s identificados, assim c o m o c o m a p e r t i n ê n c i a d a i n t e r v e n ç ã o
e s c o l h i d a e m r e l a ç ã o a t o d a s as i n t e r v e n ç õ e s possíveis.
A a n á l i s e estratégica d e u m a i n t e r v e n ç ã o p o d e ser feita a partir d e análises d e
m e r c a d o , análises d e n e c e s s i d a d e s , d e m é t o d o s d e d e t e r m i n a ç ã o d e prioridades e t c .
(Dever & C h a m p a g n e , 1984).
Análise da Intervenção
A a n á l i s e d a i n t e r v e n ç ã o consiste e m estudar a r e l a ç ã o q u e existe e n t r e os o b jetivos d a i n t e r v e n ç ã o e os m e i o s e m p r e g a d o s . Trata-se d e interrogar s o b r e a c a p a c i d a d e d o s recursos q u e f o r a m m o b i l i z a d o s e d o s serviços q u e f o r a m p r o d u z i d o s para
atingir os o b j e t i v o s d e f i n i d o s (Figura 7).
FIGURA 7
Análise da Intervenção
Efeitos s o b r e o o b j e t i v o d e
saúde visado (redução das
Hipótese
causal
doenças cardiovasculares;
AIDS)
Efeito d i r e t o d a
Intervenção (% d e
r e d u ç ã o d a taxa d e
colesterol o u d a
infecção pelo HIV)
Hipótese sobre
o mecanismo
de ação da
intervenção
Objetivos específicos
da Intervenção (redução
d a taxa d e c o l e s t e r o l o u
da infecção pelo H I V )
Objetivo
intermediário
(inibição d o
HMG-Coa;
utilização d e
condons)
Atividades
Processo
Recursos
Estrutura
( u m medicamento; u m programa
d e e d u c a ç ã o sanitária)
Para analisar esta r e l a ç ã o , p o d e m o s nos perguntar, p o r u m l a d o , se a teoria na
q u a l a i n t e r v e n ç ã o foi c o n s t r u í d a é a d e q u a d a e , p o r o u t r o , se os recursos e as atividad e s s ã o suficientes e m q u a n t i d a d e , e m q u a l i d a d e e na m a n e i r a c o m o estão organizad a s . N o s p e r g u n t a m o s , a s s i m , se o algoritmo d a i n t e r v e n ç ã o é v á l i d o e a p r o p r i a d o e se
os m e i o s e m p r e g a d o s para atingir os objetivos são a d e q u a d o s e suficientes. D a m e s m a
f o r m a q u e n o s i n t e r r o g a m o s s o b r e a c o n f i a b i l i d a d e e a v a l i d a d e d o s instrumentos d e
m e d i d a e m u m a p e s q u i s a , p o d e m o s nos interrogar sobre a c o n f i a b i l i d a d e e a v a l i d a d e
d a i n t e r v e n ç ã o e m u m a pesquisa avaliativa.
O s m é t o d o s a p r o p r i a d o s para a análise d a i n t e r v e n ç ã o são os q u e p e r m i t e m
a p r e c i a r a q u a l i d a d e d e u m m o d e l o t e ó r i c o , isto é , sua v e r a c i d a d e e sua g e n e r a l i d a d e
( C h e n , 1 9 9 0 ) . Elas s ã o e x t r a p o l a ç õ e s d o s m é t o d o s d e s e n v o l v i d o s para a p r e c i a r a q u a lidade d e u m instrumento d e medida (Mark, 1990).
Análise da Produtividade
A a n á l i s e d a p r o d u t i v i d a d e consiste e m estudar o m o d o c o m o os recursos são
u s a d o s p a r a p r o d u z i r serviços. A í se c o l o c a m dois tipos d e q u e s t õ e s : p o d e r í a m o s p r o d u z i r m a i s serviços c o m os m e s m o s recursos? P o d e r í a m o s produzir a m e s m a q u a n t i d a d e d e serviços c o m m e n o s recursos?
A p r o d u t i v i d a d e p o d e ser m e d i d a e m u n i d a d e s físicas o u e m u n i d a d e s m o n e t á rias. N o p r i m e i r o c a s o , f a l a r e m o s d e p r o d u t i v i d a d e física, n o s e g u n d o , d e p r o d u t i v i d a de econômica.
Para analisar a p r o d u t i v i d a d e d e u m a i n t e r v e n ç ã o , deve-se p o d e r definir e m e d i r
sua p r o d u ç ã o . N a á r e a d a s a ú d e , trata-se muitas v e z e s d e u m e m p r e e n d i m e n t o difícil
e para a l c a n ç á - l o é i m p o r t a n t e d e c o m p o r o c o n c e i t o d e p r o d u ç ã o .
P o d e m o s c o n c e b e r (Figura 8) q u e t o d a i n t e r v e n ç ã o na á r e a d a s a ú d e p r o d u z
d i f e r e n t e s tipos d e resultados. O s recursos d a i n t e r v e n ç ã o s e r v e m , e m p r i m e i r o lugar,
para p r o d u z i r serviços d e s u p o r t e . Trata-se e s s e n c i a l m e n t e d e p r o d u t o s intermediários
q u e , c o m b i n a d o s c o m c o n t r i b u i ç õ e s profissionais, s e r v e m para produzir serviços c l í n i c o s q u e p o d e m o s c h a m a r d e resultados primários.
Estes serviços c l í n i c o s , q u a n d o são c o m b i n a d o s para r e s p o n d e r a o s p r o b l e m a s
d e s a ú d e d e u m p a c i e n t e , p r o d u z e m e p i s ó d i o s d e t r a t a m e n t o q u e são os resultados
finais d a i n t e r v e n ç ã o . Estes e p i s ó d i o s d e t r a t a m e n t o , c u j o o b j e t i v o é m o d i f i c a r u m
p r o b l e m a d e s a ú d e , p o d e m eles m e s m o s se c o m b i n a r c o m outros fatores para m e l h o rar o e s t a d o d e s a ú d e d o s p a c i e n t e s e m q u e s t ã o .
FIGURA 8
Produtos d e u m a Intervenção d e saúde
INTERVENÇÃO
Inputs
Gerais
Outputs
Inputs
Recursos
Gerais
Gerais
Profissionais
1'
F
Outputs
Inputs
Primários
Secundários
(Serviços
clínicos)
+
Julgamentos
profissionais
Outros
determinantes
da S a ú d e
Processos de transformação do problema de saúde
Problema da
Outputs
Saúde de um
Secundários
paciente
(Tratamentos)
•
F
3
Outcome
ou
Output
Final
efeitos-saúde, isto é,
transformação d o
problema d e saúde)
Contandriopoulos, A. R, Gris, 1990.
A análise d a p r o d u t i v i d a d e p o d e , p o r t a n t o , ser feita e m vários n í v e i s :
• P o d e m o s falar d a c a p a c i d a d e d o s recursos para p r o d u z i r serviços d e s u p o r t e ( p r o d u t i v i d a d e d o pessoal d e m a n u t e n ç ã o d e p r o d u z i r serviços d e r e p a r a ç ã o , serviços a l i m e n t a r e s d e p r o d u z i r refeições).
• P o d e m o s falar d a p r o d u t i v i d a d e d o s recursos profissionais e m serviços clínicos (recursos d e laboratório e d e radiologia para produzir e x a m e s laboratoriais e radiológicos).
O s d i f e r e n t e s serviços clínicos p o d e m ser c o m b i n a d o s para p r o d u z i r t r a t a m e n tos para o s p a c i e n t e s e s p e c í f i c o s . F a l a r e m o s e n t ã o d a p r o d u t i v i d a d e d o s recursos para
produzir tratamentos.
P o d e r í a m o s a i n d a a m p l i a r a análise e falar d a p r o d u t i v i d a d e d o s recursos para
p r o d u z i r efeitos d e s a ú d e . D e i x a r í a m o s , e n t ã o , a á r e a d a análise d a p r o d u t i v i d a d e d e
u m a i n t e r v e n ç ã o p a r a e n t r a r na análise d o s seus efeitos.
M é t o d o s a p r o p r i a d o s para a análise d a p r o d u t i v i d a d e são d e r i v a d o s d o s m é t o d o s e c o n ô m i c o s e d o s m é t o d o s d a c o n t a b i l i d a d e analítica.
Análise dos Efeitos
A a n á l i s e d o s efeitos é a q u e l a q u e se baseia e m avaliar a influência d o s serviços
s o b r e os estados d e s a ú d e . Ela consistirá e m d e t e r m i n a r a eficácia d o s serviços para
m o d i f i c a r os estados d e s a ú d e . A m e d i d a d o s efeitos, q u e s e j a m d e s e j a d o s , o u n ã o ,
d e p e n d e d o t i p o d e pesquisa a d o t a d a (Figura 9 ) . O c o n c e i t o d e eficácia n ã o t e m u m
s e n t i d o a b s o l u t o , e l e d e v e ser q u a l i f i c a d o e m v i r t u d e d o c o n t e x t o n o q u a l a pesquisa é
feita, d o p r o c e d i m e n t o e s c o l h i d o , d a natureza d a i n t e r v e n ç ã o a v a l i a d a e d a f i n a l i d a d e
d o exercício d e avaliação.
P o d e m o s falar d e eficácia
teórica q u a n d o nos situamos n o c o n t e x t o d a pesquisa
d e l a b o r a t ó r i o n o q u a l o a m b i e n t e é i n t e i r a m e n t e c o n t r o l a d o e n o q u a l n ã o há v a r i a bilidade interindividual.
A eficácia
dos ensaios
é a q u e é m e d i d a nos ensaios clínicos r a n d o m i z a d o s . A
i n t e r v e n ç ã o é a p l i c a d a d e u m a f o r m a total e o t i m i z a d a para c a d a u m d o s i n d i v í d u o s a
e l a s u b m e t i d o s . A e f i c á c i a d o s ensaios c o n s i d e r a as v a r i a ç õ e s inter-individuais, m a s
n ã o as v a r i a ç õ e s n o c o m p o r t a m e n t o d o s usuários e d o s profissionais.
A eficácia
de utilização
é a q u e l a q u e e s t i m a m o s a o analisar os resultados d e
u m a i n t e r v e n ç ã o , e m u m c o n t e x t o n a t u r a l , s o b r e os i n d i v í d u o s q u e d e l a se b e n e f i c i a r a m . N e s t a s i t u a ç ã o , as v a r i á v e i s relativas a o s usuários e a o s prestadores d e serviço são
observadas.
P o d e m o s a i n d a e s t e n d e r o c o n c e i t o d e eficácia e falar d e eficácia
populacional
c o n s i d e r a n d o os efeitos d e u m a i n t e r v e n ç ã o n ã o s o m e n t e para a q u e l e s q u e b e n e f i c i aram-se d e l a , m a s t a m b é m para t o d a a p o p u l a ç ã o a q u e m a i n t e r v e n ç ã o e r a destinad a . C o n s i d e r a m o s e n t ã o o grau d e c o b e r t u r a d a i n t e r v e n ç ã o , sua a c e i t a b i l i d a d e e sua
acessibilidade na população-alvo.
N a a n á l i s e d o s efeitos, é i m p o r t a n t e c o n s i d e r a r n ã o s o m e n t e a q u e l e s q u e são
d e s e j á v e i s , m a s t a m b é m os efeitos n ã o d e s e j a d o s . E m outros t e r m o s , é i m p o r t a n t e
c o n s i d e r a r os efeitos e x t e r n o s para a p o p u l a ç ã o - a l v o e t a m b é m e v e n t u a l m e n t e para as
outras p o p u l a ç õ e s n ã o visadas d i r e t a m e n t e pela i n t e r v e n ç ã o .
N a a n á l i s e d o s efeitos, t a m b é m é m u i t o i m p o r t a n t e analisar, q u a n d o for possív e l , n ã o s o m e n t e os efeitos a c u r t o p r a z o , m a s t a m b é m os efeitos a longo prazo.
FIGURA 9
M e d i d a d o s efeitos d e u m a I n t e r v e n ç ã o
Contexto da
Pesquisa
Estratégia e
Desenho de
Pesquisa
Natureza da
Intervenção
Avaliada
Eficácia Medida
(direta/indireta,
prevista/imprevista,
desejada/indesejada
Finalidade da
Pesquisa e Tipo de
Usuário
Laboratório
Experimento
(especificação das
hipóteses rivais
consideradas)
Intervenção pura,
isolada de seu
contexto (princípio
ativo de um
remédio)
Eficácia teórica
Aquisição de novos
conhecimentos
(outros
pesquisadores)
Ensaios clínicos
Ensaios aleatórios
(hipóteses rivais não
especificadas)
Intervenção
perfeitamente
controlada
(padronização dos
comportamentos
dos atores)
Eficácia experimental
Efeito puro de uma
intervenção sobre o
homem (outros
pesquisadores,
clínicos)
Prática normal
Procedimentos
quase-experimentais;
experimentação
invocada (hipóteses
rivais especificadas)
Intervenção
atuando em um
contexto normal
(comportamentos
variados dos atores)
Eficácia de utilização
Ajuda para a
decisão e avaliação
da intervenção
(gerentes, clínicos)
Comunidade,
população
Experimentação
invocada; Pesquisa
sintética (ampliação
das hipóteses rivais)
Intervenção e
contexto
(intervenção +
comportamento
dos atores +
acessibilidade)
Eficácia populacional
Ajuda para decisão
e planejamento
(gerentes,
planejadores,
políticos)
© Gris, Universidade de Montreal, 1992.
O s m é t o d o s p á r a analisar a eficácia d e u m a i n t e r v e n ç ã o são m u i t o s . Eles p o d e m ser q u a n t i t a t i v o s e q u a l i t a t i v o s , d e n a t u r e z a e x p e r i m e n t a l o u
sintética
(Contandriopoulos et al., 1990).
A Análise do Rendimento
A análise d o r e n d i m e n t o ( o u d a e f i c i ê n c i a ) é a q u e l a q u e consiste e m r e l a c i o n a r
a análise d o s recursos e m p r e g a d o s c o m os efeitos o b t i d o s . Trata-se d e u m a c o m b i n a ç ã o d a análise d a p r o d u t i v i d a d e e c o n ô m i c a e d a análise d o s efeitos. A a v a l i a ç ã o d o
r e n d i m e n t o d e u m a i n t e r v e n ç ã o se faz g e r a l m e n t e c o m a j u d a d e análises c u s t o / b e n e fício, custo/eficácia o u custo/utilidade.
N a s análises custo/benefício, e x p r e s s a m o s e m t e r m o s m o n e t á r i o s t o d o s o s c u s tos d a i n t e r v e n ç ã o e t o d a s as v a n t a g e n s q u e ela traz.
N a s análises custo/eficácia e custo/utilidade, os custos são expressos e m t e r m o s
m o n e t á r i o s , m a s as v a n t a g e n s são expressas o u por í n d i c e s reais d e resultados (anos d e
v i d a g a n h o s , í n d i c e d e satisfação, r e d u ç ã o d a d o r etc.) o u pela utilidade q u e traz a
i n t e r v e n ç ã o para a q u e l e s a o s q u a i s ela se destina ( Q A L Y - Q u a l i t y A d j u s t e d Life Years).
A s análises d e custo/benefício são as mais gerais. Elas i m p l i c a m saber d e t e r m i nar o v a l o r d a s v a n t a g e n s e d o s custos d e u m a i n t e r v e n ç ã o para otimizar a atribuição
d e recursos. Este t i p o d e análise é m u i t o difícil d e se c o n d u z i r na área d a s a ú d e ,
p a r t i c u l a r m e n t e p o r c a u s a d a d i f i c u l d a d e q u e se t e m d e d a r u m valor m o n e t á r i o para
variações nos estados d e saúde.
A s análises custo/eficácia o u custo/utilidade são as mais f r e q ü e n t e s . C o n s i s t e m
e m c o m p a r a r os custos d e diversas i n t e r v e n ç õ e s c o m sua eficácia nos usuários o u ,
a i n d a , c o m a u t i l i d a d e q u e os usuários retiram d a i n t e r v e n ç ã o . O c o n c e i t o d e utilidade
u s a d o nas análises custo/utilidade p e r m i t e i n c o r p o r a r os diferentes efeitos possíveis d e
u m a i n t e r v e n ç ã o e m u m só i n d i c a d o r . Ele p e r m i t e , portanto, c o m p a r a r e n t r e elas as
d i f e r e n t e s i n t e r v e n ç õ e s q u e n ã o t ê m os m e s m o s objetivos. Esta c o m p a r a ç ã o é , na
m a i o r i a d a s v e z e s , impossível a partir d o s resultados d e análise custo/eficácia. T o d a v i a ,
a d e t e r m i n a ç ã o d a u t i l i d a d e associada a diferentes tipos d e efeitos traz sérios p r o b l e mas metodológicos e conceituais.
A s d i f i c u l d a d e s m e t o d o l ó g i c a s desta análise estão na m e d i d a das vantagens e
na d e f i n i ç ã o d e critérios q u e p e r m i t e m c o m p a r a r o r e n d i m e n t o d e várias o p ç õ e s .
Análise da Implantação
O último t i p o d e análise q u e p o d e m o s fazer n o q u a d r o d e u m a pesquisa avaliativa
consiste, p o r u m l a d o , e m m e d i r a influência q u e p o d e ter a v a r i a ç ã o n o grau d e
i m p l a n t a ç ã o d e u m a i n t e r v e n ç ã o nos seus efeitos e, por o u t r o , e m a p r e c i a r a i n f l u ê n c i a d o a m b i e n t e , d o c o n t e x t o , n o q u a l a i n t e r v e n ç ã o está i m p l a n t a d a nos efeitos d a
i n t e r v e n ç ã o . Este t i p o d e análise é p e r t i n e n t e q u a n d o o b s e r v a m o s u m a g r a n d e v a r i a b i l i d a d e n o s resultados o b t i d o s p o r i n t e r v e n ç õ e s s e m e l h a n t e s i m p l a n t a d a s e m contextos
d i f e r e n t e s . D e v e m o s , e n t ã o , nos perguntar se esta v a r i a b i l i d a d e p o d e ser e x p l i c a d a
p o r d i f e r e n ç a s existentes nos c o n t e x t o s . A análise d a i m p l a n t a ç ã o é p a r t i c u l a r m e n t e
i m p o r t a n t e q u a n d o a i n t e r v e n ç ã o analisada é c o m p l e x a e c o m p o s t a d e e l e m e n t o s
s e q ü e n c i a i s s o b r e o s q u a i s o c o n t e x t o p o d e interagir d e diferentes m o d o s .
O p r i m e i r o t i p o d e análise d a i m p l a n t a ç ã o consiste e m m e d i r a influência d a
v a r i a ç ã o n o grau d e i m p l a n t a ç ã o d a i n t e r v e n ç ã o e m diferentes c o n t e x t o s . A t é m e s m o
u m a a u s ê n c i a d e efeito p o d e ser c o n s e q ü ê n c i a d o fato d e q u e a i n t e r v e n ç ã o a v a l i a d a
n ã o foi r e a l m e n t e i m p l a n t a d a .
O s e g u n d o t i p o d e análise d a i m p l a n t a ç ã o consiste e m se perguntar s o b r e os
efeitos d a i n t e r d e p e n d ê n c i a q u e p o d e h a v e r e n t r e o c o n t e x t o n o q u a l a i n t e r v e n ç ã o
está i m p l a n t a d a e a i n t e r v e n ç ã o e m si.
N o s interrogamos, neste t i p o d e análise, s o b r e o sinergismo q u e p o d e existir
entre u m c o n t e x t o e u m a i n t e r v e n ç ã o o u , p e l o c o n t r á r i o , s o b r e os a n t a g o n i s m o s e x i s tentes e n t r e o c o n t e x t o e a i n t e r v e n ç ã o , isto é , s o b r e os efeitos i n i b i d o r e s d o c o n t e x t o
e sobre os efeitos d a i n t e r v e n ç ã o .
O s m é t o d o s a p r o p r i a d o s para analisar a i m p l a n t a ç ã o d e u m p r o g r a m a s ã o , s o b r e t u d o , os estudos d e casos ( Y i n , 1 9 8 9 ) .
CONCLUSÃO
S e n d o o o b j e t i v o final d a a v a l i a ç ã o o d e ajudar n a t o m a d a d e d e c i s õ e s , é p r e c i so se interrogar s o b r e a influência q u e as i n f o r m a ç õ e s f o r n e c i d a s p e l o a v a l i a d o r p o d e m ter nas d e c i s õ e s .
A a v a l i a ç ã o n o r m a t i v a t e m c o m o f i n a l i d a d e principal a j u d a r os gerentes a p r e e n c h e r suas f u n ç õ e s habituais. Ela é n o r m a l m e n t e feita p o r a q u e l e s q u e são r e s p o n s á veis pelo f u n c i o n a m e n t o e pela gestão d a i n t e r v e n ç ã o , faz parte d a a t i v i d a d e natural
d e u m g e r e n t e e d e v e r i a , p o r t a n t o , ter u m a forte v a l i d a d e p r a g m á t i c a ( D u n n , 1 9 8 9 ) .
N o e n t a n t o , a pesquisa avaliativa, q u e exige u m a perícia m e t o d o l ó g i c a e t e ó r i ca i m p o r t a n t e , g e r a l m e n t e n ã o p o d e ser feita por a q u e l e s q u e são responsáveis p e l a
i n t e r v e n ç ã o e m si. Ela é mais f r e q ü e n t e m e n t e c o n f i a d a a p e s q u i s a d o r e s q u e são e x t e riores à i n t e r v e n ç ã o . N e s t e c a s o , a q u e s t ã o d e saber se seus t r a b a l h o s s e r ã o úteis para
as decisões é i m p o r t a n t e .
O q u a d r o d e referência p r o p o s t o e v i d e n c i a q u e a a v a l i a ç ã o d e u m a i n t e r v e n ç ã o é constituída pelos resultados d e várias análises o b t i d a s p o r m é t o d o s e a b o r d a g e n s
diferentes. Estes resultados n ã o p o d e r ã o ser f a c i l m e n t e r e s u m i d o s e m u m p e q u e n o
n ú m e r o d e r e c o m e n d a ç õ e s . E a t é p r o v á v e l q u e q u a n t o mais u m a a v a l i a ç ã o seja b e m ¬
s u c e d i d a , mais ela a b r a c a m i n h o s para n o v a s perguntas. Ela s e m e i a d ú v i d a s s e m ter
c o n d i ç õ e s d e d a r t o d a s as respostas e n ã o p o d e n u n c a t e r m i n a r r e a l m e n t e , d e v e ser
vista c o m o u m a a t i v i d a d e d i n â m i c a n o t e m p o , a p e l a n d o para atores n u m e r o s o s , utiliz a n d o m é t o d o s diversos e e n v o l v e n d o c o m p e t ê n c i a s v a r i a d a s .
A a v a l i a ç ã o é u m a a t i v i d a d e , c o m o a pesquisa, útil para o e s t a b e l e c i m e n t o d e
políticas, m a s n u n c a é suficiente para e s t a b e l e c e r políticas (Figura 1 0 ) .
F I G U R A 10
Pesquisa - A v a l i a ç ã o - Políticas
A pesquisa
A avaliação
Os políticos
© Gris, Universidade de Montreal, 1992.
Para a u m e n t a r as c h a n c e s d e q u e os resultados d e u m a a v a l i a ç ã o s e j a m úteis, é
i m p o r t a n t e se c o n s c i e n t i z a r d e q u e a a v a l i a ç ã o é u m dispositivo d e p r o d u ç ã o d e inform a ç ã o e , c o n s e q ü e n t e m e n t e , d e q u e ela é f o n t e d e p o d e r para os atores q u e a c o n t r o l a m . D e v e - s e p o r t a n t o assegurar, inspirando-se n o d e b a t e e n t r e Patton ( 1 9 8 6 ) e W e i s s
(1988a, b), q u e :
• t o d o s o s q u e d e c i d e m e s t e j a m i m p l i c a d o s na d e f i n i ç ã o d o s p r o b l e m a s q u e d e v e m
ser resolvidos e nas estratégias d e pesquisa a empregar-se. S e por e x e m p l o , para
m e d i r o s efeitos d e u m a i n t e r v e n ç ã o d e c i d i r m o s fazer u m teste aleatório, c o n h e c e r e m o s a e f i c á c i a e m u m a s i t u a ç ã o p e r f e i t a m e n t e c o n t r o l a d a , m a s este resultado será
d e p o u c o interesse para q u e m d e c i d i u q u e q u e r c o n h e c e r a e f i c á c i a d e sua interv e n ç ã o e m u m contexto b e m específico;
• s e j a m p e r i o d i c a m e n t e i n f o r m a d o s a q u e l e s q u e d e c i d e m os resultados o b t i d o s pela
a v a l i a ç ã o . N o final é m u i t a s v e z e s t a r d e d e m a i s para agir;
• o a v a l i a d o r f a ç a o p a p e l d e u m a g e n t e facilitador e d e p e d a g o g o na utilização d o s
resultados;
• a i n f o r m a ç ã o e x t r a í d a d e u m a a v a l i a ç ã o seja c o n s i d e r a d a c o m o u m a f e r r a m e n t a d e
n e g o c i a ç ã o e n t r e interesses múltiplos e n ã o c o m o u m a v e r d a d e absoluta;
• e s t e j a m o s c o n s c i e n t e s d o fato d e q u e o s q u e d e c i d e m n ã o p o d e m definir e x a t a m e n t e suas n e c e s s i d a d e s d e i n f o r m a ç ã o e , c o n s e q ü e n t e m e n t e , q u e a a v a l i a ç ã o p o d e r á
d a r respostas parciais a o s p r o b l e m a s q u e eles e n f r e n t a m ;
• a a v a l i a ç ã o seja feita c o m o m a i o r rigor possível.
REFERÊNCIAS BIBLIOGRÁFICAS
C H E N , T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.
C L E M E N H A C E N , C. & C H A M P A G N E , F. Quality assurance as part of Program Evaluation:
Guidelines for managers and clinical department heads. Quality Review Bulletin, 1986.
C O N T A N D R I O P O U L O S , A. P. et al. Savoir Préparer
une Recherche.
Montréal: Presses de
l'Université de Montréal, 1990.
D E N I S , J . L. & C H A M P A G N E , F. Analyse de l'implantation. Montréal, Cahiers du G R I S , N90-05,
1990.
DEVER, G . & C H A M P A G N E , F. Epidemiology in Health Services Management.
Rockville: Aspen,
1984.
D U N N , W . N. Two faces of validity in the policy sciences. Knowledge in Society, 2(1), 1989.
GEPHART, W . J . Watercolor painting. In: S M I T H , N. L. (Ed.) Mataphors for Evaluation.
Beverly
Hills: Sage, 1 9 8 1 . p.247-272.
C U B A , E. G . & L I N C O L N , Y. S. Fourth Generation Evaluation.Beverly
Hills: Sage, 1990.
M A R K , M . From program theory to tests of program theory. New Directions for Program Evaluation,
47, 1990.
PATTON, M . Q. Creative Evaluation. Beverly Hills: Sage, 1 9 8 1 .
PATTON, M . Q. Practical Evaluation. Beverly Hills: Sage, 1982.
PATTON, M . Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986.
PATTON, M . Q. The evaluator's responsability for utilization. Evaluation Practice, 9(2), 1988.
RIVELINE, C. U n point de vue d'ingénieur sur la gestion des organisations. École des Mines de
Paris, mai 1 9 9 1 .
R O S S I , P. H. & F R E E M A N , H. E. Evaluation: A Systematic Approach.
Beverly Hills: Sage, 1985.
S H O R T E L L , S. M . & R I C H A R D S O N , W . C. Health Program Evaluation. St-Louis: Mosby, 1978.
W E I S S , C. Evaluation for decisions: Is anybody there? Does anybody care? Evaluation
Practice,
9(1), 1988a.
W E I S S , C. If program decisions hinged only on information: A response to Patton. Evaluation
Practice, 9(3), 1988b.
Y I N , R. K. Case Study Research. Beverly Hills: Sage, 1989.