Usos da avaliação na prática
institucional
Idéias e conceitos
Modelo teórico
Tensões e condições
Circulação dos eventos da avaliação
Ana Cláudia Figueiró
(GEAS-IMIP)
Rio de Janeiro, dezembro 2010
Idéias centrais
“…evaluation's most important purpose is not to prove, but to
improve.” … o propósito mais importante da avaliação não é
provar, mas sim melhor
(Stufflebeam. CIPP Model, 1999)
“All evaluations have a cost but not necessarily a value. Their
value does not depend on their cost but on their use.” Todas
as avaliações têm um custo mas não necessariamente um
valor. Seu valor não depende do seu custo, mas do seu uso.
(Feinstein, 2002:433)
“Success is to be judged by… success in communication…”. O
sucesso [da avaliação] será julgado pelo sucesso da
comunicação
(Cronbach, L.J. (1982)
Entendimento quanto aos usos das
avaliações


Suposição inicial: evidências científicas, produzidas por
pesquisas rigorosamente conduzidas a cerca do sucesso
ou fracasso de programas, seriam naturalmente utilizadas
pelos tomadores de decisão, num modelo linear ligando os
estudos à implementação de ações de qualidade e aos
resultados esperados
Entendimento atual: variados e legítimos aspectos
(interesses, valores, motivações, recursos) estão
implicados nas decisões políticas e nos usos das
avaliações para tomada de decisões
(WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE;
MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)
Pressupostos
Avaliação não se traduz automaticamente em
ações; como qualquer política ou intervenção,
deve ser questionada em relação aos seus
objetivos, inserção institucional, custos e
conseqüências (positivas e negativas), pelos
interessados e envolvidos na intervenção e na
avaliação
A avaliação sendo uma intervenção tal como
políticas e programas, deve ela mesma ser
objeto de avaliação – Meta-avaliação
Meta-avaliação





Utilidade: atende as necessidades
de informação dos usuários
Factibilidade: realista e moderada nos custos de modo a
justificar a sua realização
Propriedade: conduzida eticamente, com respeito ao
bem-estar dos envolvidos
Precisão ou acurácia: informa sobre o valor ou mérito
dos programas avaliados com a devida validade
Especificidade: adequada ao tratamento da
“especificidade das intervenções”
(CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG;
FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)
Usos da Avaliação

Definição frequente, Leviton e Hughes (1981):
“… is confined here to use of evaluation
results for programs and policy only, not by
academicians or by the press…” (p.526)
(refere-se ao uso dos resultados da
avaliação pelos programas e política, não por
acadêmicos ou pela imprensa)
Redefinindo Uso (Patton, 2007)



Uso é um processo e não um evento
Uso envolve acompanhamento e
facilitação e não apenas elaboração de
um relatório
Uso envolve preparação e treinamento
para o uso, não apenas disseminação
de resultados
Dos usos dos resultados aos usos
processuais da avaliação

O uso processual refere-se a e é indicado pelas
mudanças individuais, de pensamento e
comportamento, e mudanças programáticas ou
organizacionais nas práticas e cultura que
ocorre entre os envolvidos, como resultado da
aprendizagem que se realiza durante o
processo avaliativo. Essas podem acontecer
para além dos resultados finais da avaliação
(PATTON, 1997; 2005; 2007)
Componentes implicados na utilização
das avaliações

Debate se estrutura em quatro blocos
ou pilares:




modelos de uso da avaliação
modos de produção do conhecimento
níveis de influência da avaliação
avaliação com foco na utilidade
(HARTZ, DENNIS, MOREIRA, MATIDA, 2008)
MODELOS DE
USO
Instrumental
Política ou
Simbólica
Conhecimentos
Novos
MODOS DE
PRODUÇÃO DO
CONHECIMENTO
Disciplinar
Contextual
AVALIAÇÃO COM FOCO NA UTILIDADE
COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO (Hartz, 2008)
TIPOS DE
INFLUÊNCIA
Fontes
Processos
Resultados
NÍVEIS DE INFLUÊNCIA
Individual
Atitudes
Habilidades
Condutas
Intenção
Prevista
Inesperada
Momento
Imediato
Ciclos
Longo prazo
Interpessoal
Persuasão
Lideranças
Opiniões
Normas sociais
Coletivo
Agenda Política
Aprendizagem
Organizacional
Melhorias
sociais
Historicidade (Contexto-Tempo): múltiplas linhas de evidências
Kirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999
Expectativa do avaliador

Uso instrumental: uso dos resultados da avaliação
para informar a tomada de decisão,
preferencialmente no curto prazo (Amara et al, 2004)
 Isso acontece??

“O avaliador tem que aceitar que mesmo quando tem o
comprometimento dos gestores e administradores; conduz o
estudo dentro dos propósitos da instituição e de forma
metodologicamente competente; finaliza e entrega os resultados
dentro do prazo previsto para as decisões e dissemina os
achados; ainda assim seus resultados são ignorados” (Weiss,
1998)
Tensões para o uso da avaliação
Os diferentes mundos em que parecem viver:
 gestores, coordenadores de políticas e
programas, e
 pesquisadores sociais, entre esses os
avaliadores
 “…cientistas sociais vêm a si mesmo como:
 racionais, objetivos e novas e abertas idéias, e
 tomadores de decisão como orientados pela
ação e interesses, e indiferentes a evidências
e novas idéias
 Tomadores de decisão vêm a si mesmo como:
 responsáveis, orientados para ação e
pragmáticos, e
 cientistas como ingênuos, scientists as naive,
cheios de jargões e irresponsáveis quanto à
realidade prática
Comunicação de mão-dupla entre os dois campos pode
facilitar um entendimento mútuo das questões políticas
e o tipo de conhecimento necessário” Innvær (2002)
Tensões para o uso da avaliação



a qualidade do conteúdo de pesquisas e políticas, com ênfase
nos problemas de linguagem (referidos como desprezo
intelectual mútuo)
questões ligadas às interações do ator, como as diferentes
formações técnicas e culturas políticas, confrontando
experiência e informação científica
o canal de comunicação em contextos políticos e
organizacionais, reforçando o necessário desenvolvimento de
capacidade para criar interesses e a competência em
estabelecer elos (TROSTLE, 1999)
Dificuldade na condução e tradução das avaliações que
tragam respostas para as necessidades dos tomadores de
decisão e contribuam efetivamente para as melhorias
sociais
(WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999)
Para utilizar as avaliações

O uso das avaliações não só não
acontece naturalmente como precisa
ser facilitado, e facilitar o uso é parte
fundamental do trabalho do
avaliador
(PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)
Para utilizar as avaliações

Características e mecanismos com maior
influência na utilização das avaliações:


participação dos grupos interessados
(stakeholders) no processo de avaliação
avaliador como facilitador no
desenvolvimento do processo, comprometido
com o envolvimento e com a promoção da
aprendizagem organizacional
(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009)
Análise contextualizada



Para ser útil, a avaliação deve ter foco no contexto, nos
textos produzidos pelos diversos atores e seus significados
“Os itens discutidos pelos avaliadores (o avaliando, sua
eficácia, teoria do programa, etc.) são textos. O programa
e sua lógica; os tipos de técnicas; as descobertas da
avaliação estão condicionados pela maneira como foram
compreendidos e interpretados por cada ator (incluindo o
avaliador), de acordo com suas restrições formais, morais
e normativas” (BEZZI, 2006 “Evaluation Pragmatics”)
Para que os atores aprendam com a avaliação, a análise
deve fazer sentido da perspectiva dos atores envolvidos.
Interpretações e interações de atores desempenham um
papel não somente na produção de resultados, mas
também no aprendizado como conseqüência da avaliação
(VAN DER MEER&EDELENBOS,2006)
Contexto organizacional
(THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK;
BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al,
2009)

Condições requeridas para que a avaliação na
melhoria contínua das ações programáticas:







capacidade de produzir as informações demandadas
pela gestão
credibilidade dos avaliadores
qualidade dos estudos
acesso dos avaliadores as lideranças influentes na
organização
legitimação institucional da avaliação pelo avaliado
comprometimento dos avaliadores com a
continuidade do aprendizado organizacional
tempo para reflexão, exames do temas retratados e
diálogo entre avaliadores, staff dos programas e
lideranças organizacionais
A circulação dos eventos da avaliação
configurando seus usos


Num processo de aprendizado social
pesquisadores, implementadores e usuários
aprendem a partir de experiências e interações
Princípios da teoria da tradução poderão facilitar
uma melhor compreensão dos elementos, elos e
pontes entre esses dois mundos, em sua dinâmica
mútua e contínua (HARTZ, 2008)
O elemento central é a rede sócio-técnica: teia de
atuantes (humanos e não humanos) ligados entre
si numa cadeia onde interagem conhecimento,
aparatos e capacidade técnica, mediações, ações
(CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)
A circulação dos eventos da
avaliação configurando seus usos
No interior das redes sócio-técnicas processamse as traduções entre fatos científicos e
ações



As traduções ocorrem por meio de negociações
entre os atuantes
Produz-se um novo conhecimento a partir do
entendimento entre diferentes perspectivas e
argumentos
Emergem novas proposições para ação, fruto do
alinhamento de interesses e objetivos que
integram e dialogam com as divergências
(CALLON; LATOUR, 1991 apud POTVIN, 2007)
Circulação dos fatos da avaliação
Na perspectiva de circulação dos fatos científicos,
os usos da avaliação se inserem num processo
de tradução:
 As cadeias de tradução se referem ao trabalho
pelo qual os atores modificam, deslocam e
traduzem os seus interesses diversos e
contraditórios
 A referência circulante, produzida com os
deslocamentos de atuantes, qualifica a cadeia
de transformações
 Quando as controvérsias entram em cena, o
resultado é um entendimento maior e mais
amplo para os programas de ação e
minimização de reações
MODELOS DE
USO
Instrumental
Política ou
Simbólica
Conhecimentos
Novos
AVALIAÇÃO COM FOCO NA UTILIDADE
COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO
MODOS DE
PRODUÇÃO DO
CONHECIMENTO
Disciplinar
Contextual
TIPOS DE
INFLUÊNCIA
Fontes
Processos
Resultados
NÍVEIS DE
INFLUÊNCIA
Circulação dos
fatos da avaliação
3.Alianças
(aliados)
Intenção
4.Representação
Prevista
pública
Inesperada
Momento
Imediato
Ciclos
Longo prazo
Individual
Atitudes
Habilidades
Condutas
5.Nós e vínculos
2.Autonomização
(colegas)
Coletivo
Agenda Política
Aprendizagem
Organizacional
1.Mobilização
(instrumentos)
Interpessoal
Persuasão
Lideranças
Opiniões
Normas sociais
Melhorias
sociais
Historicidade (Contexto-Tempo): múltiplas linhas de evidências
Kirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999
Modelo teórico-operacional para análise os usos
da avaliação
1.Mobilização
(instrumentos)
Modos de produção
do conhecimento
Modelos de uso
CONTROVÉRSIAS
Usos da avaliação
na produção de
novos eventos
5.Nós e vínculos
4.Representação
pública
2.Autonomização
(colegas)
Avaliação baseada
na utilidade
Tipos e níveis de
influência
3.Alianças
(aliados)
APRENDIZAGEM
ORGANIZACIONAL
Modos de produção
do conhecimento
1.Mobilização
(instrumentos)
Modelos de uso
Consequências
USOS DA
AVALIAÇÃO
5.Nós e vínculos
4.Representação
pública
2.Autonomização
(colegas)
Avaliação baseada
na utilidade
3.Alianças
(aliados)
Tipos e níveis de
influência
APRENDIZAGEM
ORGANIZACIONAL
Eventos e Mediações
Na prática...
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos,
influências e conseqüências da avaliação do PNCD
Momento Imediato
Múltiplas fontes de evidências
Momento de médio prazo
Avaliação da Qualidade da Assistência prestada
aos pacientes de dengue: Estudo Piloto
Realização
do 1º
Seminário
Internacional
de Avaliação
do PNCD
Painel de
experts:
apreciação
de lacunas e
avanços no
programa e
avaliação
Elaboração do
Projeto de Avaliação
Análise Lógica do PNCD
Revisão e
Síntese da
literatura
Ficha
síntese de
produção
técnica e
científica
5 Eixos para avaliação do
PNCD: Mortalidade / Letalidade;
Gestão descentralizada; Ações
de Controle do Vetor;
Mobilização e Comunicação;
Custo- efetividade
Sistematização
dos achados
Apresentação e
discussão dos
achados com
os envolvidos
no PNCD
Teste do instrumento de
investigação de óbito pelo
NEPI de Hospital Geral:
validação operacional
Teste do instrumento de
investigação de óbito da
SVS-MS para uso na
pesquisa
Revisão do
Modelo Lógico
do programa
para os 3
âmbitos de
gestão
Proposição do Curso
Básico de Avaliação
em Saúde – EAD
para responsáveis
pelo PNCD nos três
âmbitos de gestão do
SUS
Revisão das iniciativas
de capacitação de
médicos SES (Estado 1)
Revisão das
iniciativas de
capacitação de
supervisores e
gestores – SVS/MS
Uso dos óbitos
investigados como
casos clínicos p/
capacitação de
médicos
Elaboração de
material
instrucional
Uso do material
educativo elaborado
e distribuído aos
médicos pela
SVS/MS
Apresentação e discussão
com chefias e profissionais
dos setores relacionados
aos óbitos investigados,
com encaminhamentos de
mudança de condutas no
serviço
Discussão e
recomendações para
os diversos
envolvidos:
profissionais,
gerentes,
coordenadores da
SES – avaliação do
Projeto Unidade
Sentinela
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e
conseqüências da avaliação do PNCD
2007
Realização do 1º
Seminário
Internacional de
Avaliação do
PNCD
Painel de experts:
lacunas e
avanços no
programa e
avaliação
2007
Análise Lógica
do PNCD
Revisão e
Síntese da
literatura
Ficha síntese
de produção
técnica e
científica
2008
2008
Elaboração do Projeto de Avaliação
Sistematização
dos achados
Apresentação e
discussão dos
achados com os
envolvidos no
PNCD
5 Eixos para avaliação do PNCD:
Mortalidade / Letalidade; Gestão
descentralizada; Ações de Controle do
Vetor; Mobilização e Comunicação; Custoefetividade
Revisão do Modelo Lógico
do programa para os 3
âmbitos de gestão
(MEDIADOR)
Proposição do Curso Básico de
Avaliação em Saúde – EAD para
responsáveis pelo PNCD nos três
âmbitos de gestão do SUS
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e
conseqüências da avaliação do PNCD
2008
Avaliação da Qualidade da Assistência prestada
aos pacientes de dengue: Estudo Piloto
Teste do instrumento de
investigação de óbito pelo NEPI de
Hospital Geral: validação
operacional
Teste do instrumento de
investigação de óbito da
SVS-MS para uso na
pesquisa
Revisão das iniciativas de
capacitação de médicos
SES (Estado 1)
Uso dos óbitos investigados
como casos clínicos p/
capacitação de médicos
Elaboração de material
instrucional
Revisão das
iniciativas de
capacitação de
supervisores e
gestores – SVS/MS
Uso do material educativo
elaborado e distribuído
aos médicos pela
SVS/MS
Apresentação e discussão com
chefias e profissionais dos
setores relacionados aos óbitos
investigados, com
encaminhamentos de mudança
de condutas no serviço
Discussão e recomendações
para os diversos envolvidos:
profissionais, gerentes,
coordenadores da SES –
avaliação do Projeto Unidade
Sentinela
Institucionalização e Usos da Avaliação
CGPCND-SVS
COOPERAÇÃO TÉCNICA –
Centros colaboradores
ESTUDOS E PESQUISAS
MONITORAMENTO
E AUDITORIA
UNIDADE
GESTORA
(CÉLULA)
DE
AVALIAÇÃO
DA CGPNCD
BIBLIOTECA VIRTUAL
EDUCAÇÃO
PERMANENTE
Fortalecer a Capacidade Avaliativa com foco na
Qualidade e UTILIDADE da Avaliação
Usos da avaliação requer o fortalecimento da
capacidade avaliativa nas instâncias de gestão





Constituição da “célula de avaliação” na CGPNCD: articulação dos
componentes
Gestão dos estudos segundo as orientações propostas
 Avaliação da Gestão Descentralizada e Integrada do PNCD
 Avaliação da Qualidade da Assistência aos Pacientes de Dengue
 Qualificação dos Planos de Contingência Municipais
Configuração preliminar de uma Biblioteca Virtual sobre Dengue que
facilite o livre acesso ao material indexado - Ficha de Leitura,
Sistemática para indexação dos achados e recomendações de
publicações de avaliação do programa
Construção do Modelo Lógico do Programa para o âmbito estadual de
gestão e orientação para o federal
Educação Permanente


Realização do Curso Básico de Avaliação em Saúde em EAD SES e
MS
Realização dos Seminários de Avaliação do PNCD articulado com
parceiros nacionais e internacionais
Obrigada!
[email protected]