AVALIAÇÃO
Suely F. Deslandes
IFF-FIOCRUZ
O que é Avaliação ?
 Avaliação,
enquanto estratégia
investigativa, é um processo
sistemático de fazer perguntas
sobre o mérito e a relevância
de
determinado
assunto,
proposta ou programa.
Dimensões da avaliação (Penna
Firme, 2003)
– Utilidade
– Viabilidade
– Ética
– Precisão da técnica
Historicidade das Abordagens de
avaliação (Guba & Licoln, 1989)

1900-1930 Primeira Geração
– Mensuração (inicia-se com o desempenho de escolares,
produtividade)

1930-1950 Segunda Geração
– Nasce a “avaliação de programas”
– Descrever como o programa atinge (ou não) seus resultados

1950-1980 Terceira Geração
– Mensurar, descrever, mas a finalidade é julgar o mérito do
programa

1980 - .... Quarta Geração
– Negociar parâmetros de avaliação com os envolvidos
(stakeholders) /Avaliações participativas
2000- (??) avaliações por triangulações de métodos
Definições e sua historicidade

“É a atividade que consiste em fazer
julgamento sobre uma intervenção,
comparando os recursos empregados e
sua organização (estrutura), os serviços
e os bens produzidos (processo) e os
resultados obtidos, com critérios e
normas” (Contandriopoulos et al, 1997,
37).
“A avaliação é uma forma de pesquisa social
aplicada(*), sistemática, planejada e dirigida;
 destinada a identificar, obter e proporcionar de
maneira válida e confiável dados e informação
suficiente e relevante
 para apoiar um juízo sobre o mérito e o valor
dos diferentes componentes de um programa ou
de um conjunto de atividades específicas que se
realizam, foram realizadas ou se realizarão,
 (…)comprovando a extensão e o grau em que
se deram essas conquistas, de forma tal que
sirva de base ou guia para a tomada de
decisões” (Aguilar & Ander-Egg, 1994)

(*) Há diferenças entre pesquisa e avaliação

“Entendemos avaliação como a
elaboração, a negociação, a aplicação
de critérios explícitos de análise, em um
exercício metodológico cuidadoso e
preciso, com vistas a conhecer, medir,
determinar e julgar o contexto, o mérito,
o valor ou o estado de um determinado
objeto, a fim de estimular e facilitar
processos de aprendizagem e de
desenvolvimento de pessoas e
organizações”(Silva e Brandão, 2003)
uma boa avaliação visa a reduzir incertezas,




a melhorar a efetividade das ações e a
propiciar a tomada de decisões relevantes,
guia-se por quatro objetivos:
oferecer respostas aos beneficiários, à
sociedade e ao governo sobre o emprego dos
recursos públicos;
orientar os investidores sobre os frutos de
sua aplicação;
responder aos interesses das instituições, de
seus gestores e de seus técnicos;
buscar sempre uma melhor adequação de
suas atividades.
Uma avaliação poderá levar em conta:

a adequação entre os objetivos e estratégias
propostas e recursos utilizados ;

a adequação da estrutura organizacional
para realizar o trabalho proposto;

o quanto e como os objetivos e metas foram
atingidos;

a qualidade dos serviços prestados e dos
resultados;
 a sustentabilidade da ação ou projeto.
TIPOLOGIAS DE AVALIAÇÃO
Quanto à metodologia:
 Avaliação qualitativa (não de “qualidade”)
 Avaliação quantitativa – contribui para
estabelecer as relações causais entre as
variáveis independentes (intervenção,
exposição) e dependentes (resposta ou
de desfecho).
 Avaliações por triangulação de métodos
Metodologias Qualitativas

Objeto de estudo de pesquisa qualitativa =
ação social e os significados atribuídos
pelos seus agentes (instituições, grupos,
indivíduos, movimentos sociais) .
Propósito comum em analisar o significado
atribuído pelos sujeitos aos fatos, relações e
práticas, isto é, interpretando tanto as
interpretações quanto as práticas dos sujeitos.

Pressuposto:
– relação dinâmica entre mundo
objetivo e (inter) subjetivo.
Concepções, valores, crenças que são
referências naquela cultura estarão presentes na
tomada de decisões, nas ações concretas dos
sujeitos.
Abordagens qualitativas de
avaliação
Condições e
Interações
Sociais
Atribuição
de Significados
BASE PARA
AÇÃO
Vivências
Culturais
Avaliação qualitativa

Estará sempre presente quando o avaliador desejar
compreender quais os significados que os sujeitos
atribuem a qualquer uma das dimensões do
programa (definição da demanda, objetivos,
estratégias, metas, resultados, sustentabilidade etc)
ou como se dá, na prática e no cotidiano, a
interface entre a realização das ações do
programa e os discursos/concepções sobre estas
ações
Usos correntes da avaliação
qualitativa (Patton, 1987)

Descrições
detalhadas
das
demandas/expectativas/o
bstáculos
para
a
implementação
do
programa

Análise de processos

Descrição dos diferentes
tipos e participação e
seus papéis

Análise de como o
programa afeta seus
participantes

Análise
dos
efeitos,
impactos e mudanças
observadas
(ou
sua
ausência)

Análise das “fraquezas”
e dos “facilitadores” do
programa
Usos correntes da avaliação
qualitativa

Expectativas dos sujeitos

Determinado serviço se coadunaria ou não aos
valores culturais e expectativas dos vários atores
sociais envolvidos, assim como às suas realidades
sócio-econômicas ? (Atkinson, 1993).
Usos correntes da avaliação
qualitativa
A dinâmicas das relações- Análise de processos

A realização de qualquer programa ou serviço
é um processo que possui movimento, uma
dinâmica própria. Envolve a ação de atores
distintos que se aliam e se contrapõem.
 A avaliação qualitativa, portanto, também busca
compreender antagonismos e consensos que
acontecem no cotidiano da execução dos
programas/serviços e que podem ser elementos
favoráveis ou obstáculos a sua realização.
Análise de como o programa afeta a
identidade de seus participantes

Os programas envolvem de forma mais
ou menos direta a vida e a auto-imagem de
seus participantes. Não raro a participação
como agente ou usuário de determinado
programa pode significar uma considerável
mudança de status daquela pessoa diante de
seus familiares e comunidade (seja de forma
positiva ou negativa).
Análise dos efeitos, impactos e mudanças
observadas (ou sua ausência)

A avaliação de programas sociais
envolve sempre a perspectiva de mudança
de uma situação, comportamentos ou
problemas. Incluir no rol da análise as
interpretações dos sujeitos sobre as
mudanças percebidas, confrontando com
aquelas inicialmente esperadas pelo
programa é item indispensável à avaliação
qualitativa.
Análise das “fraquezas” e dos “facilitadores” do
programa

Toda boa avaliação desencadeia um processo
interno de discussão, de debate sobre os
obstáculos encontrados;

. O quanto cada fator, cada ator e conjuntura
(política, administrativa etc) colaboraram para o
projeto atingir (ou não) seus propósitos? Há, nesse
processo, um ganho de reflexão crítica.
Análise das “fraquezas” e dos “facilitadores” do
programa

Sujeitos - balanço crítico- sugestões para melhor realizar
as ações. Estas interpretações devem sofrer as críticas dos
avaliadores e o confronto do que se tem como consenso do
que seja uma boa prática.

Aprender com as lições, com os acertos e erros, com a
criatividade dos envolvidos - patrimônio precioso para
todos os que atuam nos programas.
Avaliação como campo
polissêmico
(apud Novaes, 2000; Patton, 2004)

Classificações podem variar quanto:
Diagnóstico
Levantamento de demandas
Monitoramento
Tomada de decisões
– Objetivos da avaliação
•Interno/Externo
– Posição do avaliador
– Período
•Negociador/ “Técnico”
•Compactua critérios/
determina critérios
Implantação
Implementação
Resultados
Quanto ao momento da realização
avaliação em relação à existência da
ação avaliada
Ex-ante
 Ex-post


(a) análise diagnóstica situacional inicial;
 (b) uma avaliação da implantação e da
implementação
 (c) apreciação dos resultados, valorizando
também o processo e as tendências,
entendendo que os efeitos das intervenções
sociais não findam quando ela cessa.

A avaliação da implantação observa todos os
passos necessários à efetivação da
intervenção. Visa (1) verificar a extensão do
alcance do programa para a população alvo;
(2) monitorar a “dose do programa”, ou seja,
a freqüência da sua aplicação e a
participação dos sujeitos envolvidos nas
atividades
previstas;
(3)
avaliar
a
variabilidade do contexto organizacional ou
situacional na qual o programa se
implementa; (4) correlacionar a extensão na
qual os programas são implementados e as
metas propostas e (5) mensurar o seu custo
de implementação (McGraw et al, 1989 apud
Minayo, 2006).

O estudo sobre a implementação de um
programa, realizado in loco, visa (1) à
análise da extensão com que ele
alcança a população-alvo; (2) a
freqüência e a intensidade de aplicação
da proposta e a participação dos
sujeitos envolvidos; (3) as questões
organizacionais e administrativas; (4) a
viabilidade e variabilidade das metas
propostas e (5) a formação da equipe
de intervenção nos diferentes níveis.

A avaliação de resultados visa a
dimensionar,
qualitativa
e
quantitativamente, as diferenças entre o
momento inicial e as metas/objetivos
atingidos ao final de uma intervenção
TRIANGULAÇÃO de
MÉTODOS
EM AVALIAÇÃO
Triangulação de abordagens
Campos disciplinares
Racionalidades científicas
Pesquisadores
Metodologias
Técnicas

Triangulação é um termo que significa:
 a combinação e o cruzamento de múltiplos
pontos de vista;
 a tarefa conjunta de pesquisadores com
formação diferenciada;
 a visão de vários informantes
 o emprego de uma variedade de técnicas de
coleta de dados que acompanha o trabalho
de investigação
Condições

Primeiro é a existência de uma equipe
formada por profissionais de várias áreas
que desejem trabalhar de forma solidária
 A segunda condição é a competência
disciplinar de cada componente do grupo.
Quanti-Quali

a ‘compreensão/explicação em
profundidade’

a ‘explicação em extensão’
princípios para a análise

Causalidade complexa, que se opõe à visão de
linearidade entre causa-efeito. Destacam-se:
 as relações em uma visão hologramática no
sentido de que o todo contém as partes, a parte
contém o todo, mas parte e todo têm
características e propriedades específicas;
 a inseparabilidade da ordem e da desordem em
qualquer projeto, proposta ou organização;
 a irredutibilidade do acaso, da incerteza e do
inacabado em todos os fenômenos sociais.
Etapas da avaliação
(1) Formulação do objeto e do planejamento
da avaliação
(2) Elaboração de indicadores
(3) Escolha das fontes de informação
(4) Construção dos instrumentos
(5)Trabalho de campo
(6)Análise
(7) Elaboração do informe – relatório
(8)Devolução e debate dos dados
INDICADORES
Os indicadores, como o próprio nome designa, “são
somente uma indicação sobre determinada situação, ou
reflexo dessa situação”, e são usados para medir
alterações, efeitos e resultados de uma situação social
ou projeto específico (OMS, 1980).
 Os indicadores ideais são aqueles considerados
válidos, objetivos, sensíveis e específicos. Contudo, na
prática, poucos indicadores preenchem todos esses
quesitos. Não podemos esquecer que “são medidas
indiretas ou parciais de uma situação complexa” e não
explicam inteiramente a realidade (OMS, 1980).
 Funcionam como guias, pistas fundamentais para
avaliar alterações, direções, efeitos e resultados dos
projetos.

Transformar
os objetivos em
itens capazes de
mensurar/expressar as
mudanças devidas a uma
intervenção social .
Indicadores
 Indicadores
quantitativos
 Indicadores
qualitativos
Indicador quantitativo
Exemplo:
COBERTURA
 Indicador1 : Proporção de indivíduos da população-alvo
captada pelo projeto
 PIPACP = NIPACP/ TIPA
 Onde: PIPACP = proporção de indivíduos da população alvo,
captada pelo projeto
 NIPACP = número de indivíduos da população alvo captados
pelo projeto
 TIPA = total de indivíduos da população alvo

Definição: número de indivíduos da população alvo captados
pelo projeto, expresso como percentual do total de indivíduos da
população alvo do projeto.
 Obs: considera-se indivíduo captado pelo projeto aquele que
participou de 3 atividades educativas
 Propósito: este indicador visa saber a proporção de indivíduos
da população alvo captada pelo projeto

Indicador qualitativo
Exemplos:
 Ganho de capacidade de argumentação para
o reconhecimento de direitos
 Atitudes em relação a determinada questão
 Articulação comunicacional
 Ampliação e conectividade da rede de
suporte social
Por que investir em
avaliação?





ganho
de
legitimidade
pública
e
institucional.
ganho de competência técnica e gerencial.
ganho de reflexão crítica .
possibilita o compartilhamento de saberes
e experiências.
maior competitividade na busca de
recursos cada vez mais limitados de
financiamento

Se quem planeja governa
melhor, quem avalia
aumenta sua
governabilidade
fim
[email protected]