Efetividade da Avaliação
De que modo as informações produzidas na
avaliação influenciam* as práticas dos atores,
favorecendo o controle das endemias?
Como documentar essas consequências ou
evidências em diferentes contextos?
*“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação
mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um
‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.
Knowledge into action: challenges and opportunities for increasing the use of
evaluation in health promotion policies and practices.Hartz ZMA; Denis J-L;
Santos, EM; Matida A*
Programação e avaliação em promoção da saúde. Louise Potvin,L & Silvie
Gendron. (Seminário Avançado ACDI/GEAS/IMIP; ENSP/Fiocruz e ISC/UFB).
Promovendo e analisando o uso e a influência das pesquisas avaliativas:
desafios e oportunidades ao se institucionalizar a avaliação em saúde.
Hartz, ZMA, Santos EM e Matida A**
Do Quê ao Pra Quê da Meta-Avaliação em Saúde
Zulmira Maria de Araujo Hartz e André-Pierre Contandriopoulos**
*David V. McQueen & Potvin L (eds) Health Promotion Evaluation Practice in the Americas: Values and
Research. New York: Springer (no prelo-2008).
**Hartz ZMA, Vieira da Silva LM e Felisberto (orgs) .Meta-avaliação da atenção básica em Saúde: teoria
e prática. Rio de Janeiro:Ed. Fiocruz (no prelo-2008)
Pressuposto
Avaliação, como qualquer política ou intervenção social, visa através de
suas práticas (Auditoria, Monitoramento,Pesquisa), modificar um problema
(ex.‘util’ para aumentar a ‘efetividade dos programas’ nas melhorias da
saúde), devendo portanto ser questionada em relação aos seus objetivos,
institucionalidade, custos e conseqüências (positivas e negativas) .
Plano da apresentação
1- Utilidade e contextos na (meta) avaliação:
abordagem normativa x reflexiva
2- Modelo ‘traduzido’ das conseqüências da
avaliação na aprendizagem organizacional
(circuito das inovações)
3- Da teoria à prática: monitoramento e pesquisa da avaliação
que possam dar visibilidade a influência
Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”), nos
“textos” produzidos pelos diversos atores e seus significados.
Bezzi, 2006 “Evaluation Pragmatics”
(Inter)Nacional-Local
Metaavaliação
Programas
Avaliação
Tempo
Contextos
A meta-avaliação, refere-se ao questionamento reflexivo do processo da
avaliação, e de seus resultados, enquanto inovações implementadas no
“espaço social dos programas” (Potvin, 2006), através das operações de
tradução/interpretação na aprendizagem política e organizacional.
Os itens discutidos pelos avaliadores (o avaliando,
sua eficácia, teoria do programa, etc.) são apenas
textos. O programa e sua lógica... técnicas de todos
os tipos; as descobertas da avaliação (sejam
tabelas numéricas ou conjuntos de
recomendações) estão condicionados pela maneira
como foram compreendidos e interpretados por
cada ator (incluindo o avaliador), de acordo com
suas restrições formais, morais e normativas.
Bezzi,2006
Como conciliar as demandas (muitas vezes
contraditórias) do (inter)nacional-local-comunitário?
“...o governo central estará interessado em dados
agregados para descobrir tendências e resultados
globais... Avaliações que são mais válidas do ponto de
vista de governos descentralizados podem ser vistas
como sendo de pouco valor em nível central... nem
todos os atores entenderão determinada avaliação
como igualmente relevante e utilizável.
Para que os atores aprendam com a avaliação, a
análise deve fazer sentido da perspectiva dos atores
envolvidos. Interpretações e interações de atores
desempenham um papel não somente na produção de
resultados, mas também na geração de procedimentos
de aprendizado como conseqüência da avaliação.
Van der Meer&Edelenbos,2006
Embora os problemas de tradução ou aplicação
da pesquisa na formulação das políticas sejam
inúmeros as soluções são raras…pontes
deveriam ser construidas…mas está sempre
faltando conhecimento sobre onde…como, ou
por quem. (Trostle, 1999 p.103;112).
“Os cientistas estão sempre a arengar sobre a
necessidade de ‘lançar uma ponte entre as duas
culturas’ mas quando os leigos começam de fato
a construir esta ponte eles recuam horrorizados e
tentam impor a maior das censuras à livre
expressão, desde Sócrates: só cientistas podem
falar de ciência” Latour 2001, p.31.
Fontes
Individual
Processos
Resultados
Atitudes
Habilidades
Condutas
Intenção
Prevista
Inesperada
Momento
Imediato
Ciclos
Longo
prazo
Politização
Coletivo
Políticas
Melhorias
Organizações
em Saúde
Interpessoal
Persuasão
Lideranças
Opiniões
Normas
sociais
Interessa
Envolve
Teoria da Tradução
Problematiza
Historicidade (Contexto-Tempo)
Institucionalização
Foco
na Utilidade
Utilidade e influência da avaliação em Sáude
Mobiliza
Latour,2001
“A ação intencional e a intencionalidade ...não
são propriedades de humanos. São
propriedades de instituições, de aparatos,
daquilo que Foucault chama de dispositifs.
Somente pessoas jurídicas estão aptas a
observar a proliferação de mediadores, a
regular sua expressão, a redistribuir
habilidades... a obscurecer-se e fechar-se”.
Latour, 2001 (Caixa de PandoraPag. 211
...“a literatura empírica sobre a influência da avaliação é
escassa, sendo limitado o número de pesquisas acerca da
influência da avaliação sobre o aprimoramento do
programa, da política e dos participantes” (Christie, 2007).
As operações de translação/tradução, transformando as
questões políticas em questões de técnica e vice-versa,
juntamente com a metáfora de um sistema circulatório capaz
de “manter vivos os fatos científicos”, permitem repensar e
potencializar o uso ou influência da (meta)avaliação como
‘prática científica’ multiplicando os mediadores que a produzem
coletivamente e orientar seus projetos de pesquisa
MUITO OBRIGADA
Zulmira M. A. Hartz- Pesq. titular do depto de Epidemiologia da Ensp-Fiocruz
(aposentada); Grupos de pesquisa do CNPq: “Avaliação da situação de processos
endêmicos e programas de contrôle” (LASER/Ensp-Fiocruz) e “Estudos de Gestão
e Avaliação em Saúde”(GEAS- IMIP); Pesquisadora associada à CACIS- Cátedra
em Abordagens Comunitárias e Iniqüidades em Saúde/Univ. de Montréal.
[email protected]