…e a Efetividade da Avaliação em P.S.?
A defasagem entre produção científica e sua concreta
tradução na melhoria da qualidade de vida das
pessoas é bem conhecida”. (Berghmans & Potvin, 2005)
De que modo as informações produzidas na avaliação
podem influenciar* as práticas dos atores e favorecer
as melhorias sociais?
Como mapear e documentar essas consequências (ou
evidências) em diferentes contextos?
*“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação
mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um
‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.
Knowledge into action: challenges and opportunities for
increasing the use of evaluation in health promotion
policies and practices.Hartz ZMA; Denis J-L; Santos, EM; Matida A*
PROGRAMAÇÃO E AVALIAÇÃO EM PROMOÇÃO DA SAÚDE. Louise
Potvin,L & Silvie Gendron. ( Recife-2006: GEAS/IMIP; ENSP/Fiocruz e ISC/UFB).
Apresentação
1- Utilidade e contextos na meta-avaliação:
abordagem normativa x reflexiva
2- Modelo ‘traduzido’ das conseqüências da
avaliação e circuitos das inovações
3- Da teoria à prática: questões de pesquisa que permitem
dar visibilidade sobre as consequências da avaliação
*Health Promotion Evaluation Practice in the Americas: Values and Research
(forthcoming). New York: Springer.
1-Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”), nos
“textos” produzidos pelos diversos atores e seus significados.
Bezzi, 2006 “Evaluation Pragmatics”
(Inter)Nacional-Local
Metaavaliação
Programas
Avaliação
Tempo
Contextos
A meta-avaliação deve ser um questionamento reflexivo do processo da
avaliação, e de seus resultados, enquanto inovações implementadas no
“espaço social dos programas” (Potvin et al., 2006), através das operações
de tradução/interpretação na aprendizagem política e organizacional.
1.1-Os itens discutidos pelos avaliadores (o
avaliando, sua eficácia, teoria do programa, etc.)
são apenas textos. O programa e sua lógica...
técnicas de todos os tipos; as descobertas da
avaliação (sejam tabelas numéricas ou conjuntos
de recomendações) estão condicionados pela
maneira como foram compreendidos e
interpretados por cada ator (incluindo o avaliador),
de acordo com suas restrições formais, morais e
normativas. Bezzi,2006
1.2-Como conciliar as demandas (muitas vezes
contraditórias) do (inter)nacional-local-comunitário?
“...o governo central estará interessado em dados
agregados para descobrir tendências e resultados
globais... Avaliações que são mais válidas do ponto de
vista de governos descentralizados podem ser vistas
como sendo de pouco valor em nível central... nem
todos os atores entenderão determinada avaliação
como igualmente relevante e utilizável.
Para que os atores aprendam com a avaliação, a
análise deve fazer sentido da perspectiva dos atores
envolvidos. Interpretações e interações de atores
desempenham um papel não somente na produção de
resultados, mas também na geração de procedimentos
de aprendizado como conseqüência da avaliação.
Van der Meer&Edelenbos,2006
2- Modelo dos estudos de utilidade/influência da avaliação
Foco na Utilidade - Patton,1997; Weiss,CDC1999
(como efetuar uma análise sistemática de efetividade da avaliação)
Fontes
Individual
Processos
Resultados
Atitudes
Habilidades
Condutas
Intenção
Prevista
Inesperada
Momento
Imediato
Ciclos
Longo
prazo
Coletivo
Políticas
Organizações
Melhorias Sociais
Interpessoal
Persuasão
Lideranças
Opiniões
Normas
sociais
*A avaliação é análoga a uma
intervenção ou um programa... tem
consequências que podem ser boas,
más neutras...Uma teoria da avaliação
deve estar centrada no subconjunto de
conseqüências plausíveis de conduzir ou
não ao desenvolvimento social.
Níveis/mecanismos de Influência- Kirkhart (2000), Henry & Mark(2003)*
Se a importância da influência das pesquisas nas
políticas de saúde…vêm sendo descritas há, pelo
menos 20 anos, um quadro geral de sub-utilização é
reconhecido (Hanney,2003; Almeida&Boscolo, 2006)
Embora os problemas de tradução ou aplicação da pesquisa na
formulação das políticas sejam inúmeros as soluções são
raras…pontes deveriam ser construidas…mas está sempre
faltando conhecimento sobre onde…como, ou por quem.
(Trostle, 1999 p.103;112).
“Há muitas razões para pensar que a relação entre tomador de
decisões e os investigadores são muito difíceis, freqüentemente
conflitadas e, às vezes, impossível...há uma necessidade de um
agente, ou uma função, que atue como um mediador entre os
dois mundos...eles devem ser capazes de traduzir a pesquisa em
decisão, mas também questões dos decisores em pesquisa”
Pouvourville (1999, p. 894).
“Os cientistas estão sempre a arengar sobre a necessidade de
‘lançar uma ponte entre as duas culturas’ mas quando os leigos
começam de fato a construir esta ponte eles recuam horrorizados
e tentam impor a maior das censuras à livre expressão, desde
Sócrates: só cientistas podem falar de ciência” Latour 2001
O termo ‘mediação’, em contraste com ‘intermediário’, que é
totalmente medido por seus insumos e produtos, sempre excede
as condições previsíveis. Isto faz uma grande diferença entre os
que identificam conjuntos de ‘práticas’, como meros
intermediários, e aqueles que vêem nas mediações verdadeiros
autores ou ‘eventos’ (substituindo a noção de ‘descoberta’qualquer experiência ou ação com conseqüências para a
historicidade dos componentes:rede s-t contínua espaço-tempo).
Fontes
Individual
Processos
Resultados
Atitudes
Habilidades
Condutas
Intenção
Prevista
Inesperada
Momento
Imediato
Ciclos
Longo
prazo
Politização
Coletivo
Políticas
Melhorias
Organizações
Sociais
Interpessoal
Persuasão
Lideranças
Opiniões
Normas
sociais
Interessa
Envolve
Teoria da Tradução
Problematiza
Historicidade (Contexto-Tempo)
Institucionalização
Foco
na Utilidade
Utilidade e influência da avaliação em Promoção da Saúde(2)
Mobiliza
Latour,2001
Instituição refere-se a um lugar, leis, pessoas e
costumes que são contínuos no tempo. Em sociologia
tradicional o termo ‘institucionalizado’é empregado
como uma crítica à baixa qualidade da ciência
‘rotineira’...Aqui o significado é positivo, uma vez que
as instituições são vistas como responsáveis pelas
mediações necessárias para apoiar os ‘atores’.
“A ação intencional e a intencionalidade ...não são
propriedades de humanos. São propriedades de instituições,
de aparatos, daquilo que Foucault chama de dispositivos.
Somente pessoas jurídicas estão aptas a observar a
proliferação de mediadores, a regular sua expressão, a
redistribuir habilidades... a obscurecer-se e fechar-se”.
Latour, 2001
3- Da teoria à prática:
...“a literatura empírica sobre a influência da avaliação é
escassa, sendo limitado o número de pesquisas acerca da
influência da avaliação sobre o aprimoramento do
programa, da política e dos participantes” (Christie, 2007).
Como fazer uma avaliação “utilizável e utilizada”
(Influente) são tópicos familiares e preocupações
perenes para os avaliadores em geral (particularmente
ligados às avaliacões de tecnologias e cuidados de
saúde) mas devemos considerar os desafios e limites
desta pretensão se não tentarmos continuamente
responder, também como questões de pesquisa
avaliativa, às seguintes indagações*:
* “As consequências da avaliação” (Conferência AEA ,2006 -20° aniversário)
•Entre as possíveis consequências da avaliação
quais nós estamos buscando, em que contextos,
e por quê?
•Quais são os efeitos inesperados (não
intencionais) ou “externalidades” de nossos
estudos?
• Quais são as consequências das avaliações
passadas sobre nossa prática atual e/ou futura de
avaliadores?
•Como as consequências das avaliações já
concluídas se refletem nas políticas e práticas da
promoção da saúde?
As operações de translação/tradução,
transformando as questões políticas em questões
de técnica e vice-versa, juntamente com a metáfora
de um sistema circulatório capaz de “manter vivos
os fatos científicos”, permitem repensar e
potencializar o uso ou influência da (meta)avaliação
como ‘prática científica’ em promoção da saúde,
multiplicando os mediadores que a produzem
coletivamente e orientar seus projetos de pesquisa
MUITO OBRIGADA
[email protected]